我有带有自定义标记的文本，比如：<adjective>，我正在尝试准备一个不会拆分它们的字节级标记赋予器： tokenizer.pre_tokenizer = ByteLevel()
[('Ġ<', (0, 2)), ('adjective'
浏览 17提问于2020-09-16得票数 0
2回答
我有一些合理的(不是混淆的) Perl源文件，我需要一个标记器，它会将它拆分成令牌，并返回每个标记的令牌类型，例如对于脚本。它会返回这样的东西：
哪个库是最好的库(最好用Perl编写)？它必须是合理正确的，即它应该能够解析像qq
浏览 0提问于2010-08-19得票数 8
回答已采纳
对于转换器模型，特别是对于BERT，以编程方式禁止以特殊令牌作为预测结果的模型是否有意义(并且在统计上是正确的)？这在最初的实现中是怎样的呢？我主要考虑的是掩码CLS令牌
PAD令牌也可能有一些意义(但并不是在所有情况下)。
浏览 6提问于2021-02-13得票数 3
1回答
我正在尝试在Go中编写一个扫描器，它扫描连续行，并在返回之前清理行，这样您就可以返回逻辑行。有人有什么想法吗，还是它是个窃听器？
浏览 3提问于2013-11-12得票数 5
回答已采纳
我无法理解的是，如何忽略(吃)任何输入，而不是指南针的方向。我在寻找一些类似的东西但是g(H)乌龟帮不了我。
浏览 2提问于2012-10-26得票数 5
回答已采纳
1回答
我正在尝试将LetterTokenizerFactory与WhitespaceTokenizerFactory结合起来，并且无法在不使用copyField复制内容的情况下找到如何做到这一点。让我描述一下我的想法：
我有两个文本条目，例如H&M和Hewlett-Packard。用户应该能够找到进入h&m的H&M -我为此目的使用WhitespaceTokenizerFactory，不需要拆分特殊字符上的令牌。用户应该能够找到进入'packard‘- LetterTokenizerFact
浏览 3提问于2017-07-27得票数 0
回答已采纳
在LALR解析器中，是否有一些标准的或被广泛接受的在移位/减少冲突中拾取操作符的算法？问题是幼稚的，我的问题不是执行我的解决方案，而是实施解决方案已经被广泛使用。对于shift，操作符是下一个输入令牌，为了减少，它取决于--我认为所有已经读取的符号(对于给定的生产)都声明为操作符：如果有不止一个--我报告语法错误但是，我的算法正确吗(即与LALR解析器通常使用的相同)？我特别担心在读<e
浏览 0提问于2012-12-31得票数 0
回答已采纳
3回答
我想要一种让块级的HTML标记像<a>标记一样的方式。我的一个想法是把我所有的组件都写成<span>。遗憾的是，这不是我想要的解决方案，因为我也不控制HTML第三方组件。
浏览 0提问于2018-09-21得票数 0
回答已采纳
4回答
我如何修复这个问题，让"dave@gmail“返回"dave@gmail.com"？电子邮件地址也可能包含其他域(如.co.uk)
谢谢
浏览 0提问于2010-11-18得票数 1
aggregation_strategy='simple')
我希望在非常长的文本上获得结果，而且由于我知道用于训练和推理的最大容量为512，所以在将它们传递给ner_pipeline之前，我将ner_pipeline拆分成较小的块但是，为了检查每个块的长度，我如何分割文本而不亲自标记文本呢？我想让它们尽可能长，但同时我不想超过最大的512标记，这样就有可能无法计算出句子的剩余部分。有没有办法知道我提供的短信是否超过了512个最大令牌？
浏览 18提问于2022-10-10得票数 1
回答已采纳
我理解基本的正则表达式，但不知道下面的引号是什么意思(关于如何实现wiki解析器)，有人能提供一些伪代码来启发我吗？这是一种非常流行的方法。它非常快，因为它扫描原始文本整整两次。然后用不同的字符级正则表达式对它们进行处理。
引用来源：
浏览 4提问于2012-01-17得票数 4
回答已采纳
我想到了一个模型，但我很难弄清楚如何在Pytorch中实际实现它，特别是在培训模型时(例如，如何定义小批，等等)。首先，让我简要介绍一下背景：
所以，抛开许多细节，我只想在这里集中讨论模型的NLP方面/分支。我想使用两个变压器:第一个将处理每个字字符的隔离(字符级别的变压器)，以产生一个初始的字级嵌入每个字在问题中。一旦我们有了所有这些初始的字级嵌入，第二个字级
浏览 2提问于2019-06-14得票数 5
我已经阅读了这么多文档，但现在对如何匹配搜索中的部分单词感到有点困惑。我知道有很多技巧，但大多数谈论的是匹配第一部分的一个词。比如“快”可以和“快棕色狐狸”相配。我试过使用标准、关键字、空格等标记器，但我没有得到它。更新pm.Properties(props => props
.Multi
浏览 1提问于2014-05-29得票数 4
回答已采纳
我面临的主要问题是：“如何在不掩盖其他语法规则的情况下匹配任何字符序列(常规文本)？”？我认为为内联标记文本编写规则很容易。我的问题：
fragment R_BRACKET ; : '_'语法对于inline_markup很好，但是normal_text
浏览 2提问于2011-05-30得票数 4
回答已采纳
1回答
此外，我不希望jo sm与文档匹配。我现在有这个分析器： 'settings' => array( 'analysis' =>max_gram' => 50 ) ));
这样做的问题是，首先我们拆分文
浏览 3提问于2013-06-10得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
