有效地找到包含某个单词的所有n元语法
n元语法是一种用于语言模型的统计方法，它通过分析文本中连续的n个词的组合来预测下一个词的概率。n元语法中的n表示连续的词的数量，常见的有1元语法（也称为unigram）、2元语法（bigram）、3元语法（trigram）等。
n元语法的分类：
- 1元语法（unigram）：只考虑单个词的出现概率，不考虑上下文关系。
- 2元语法（bigram）：考虑相邻两个词的组合出现概率，即给定前一个词的情况下，预测下一个词的概率。
- 3元语法（trigram）：考虑相邻三个词的组合出现概率，即给定前两个词的情况下，预测下一个词的概率。
- 更高阶的n元语法：可以考虑更多连续词的组合，但随着n的增加，数据稀疏性会增加，模型的复杂度也会增加。
n元语法的优势：
- 简单有效：n元语法是一种简单而有效的语言模型方法，可以用于自然语言处理任务中的文本生成、机器翻译、语音识别等。
- 上下文关联：通过考虑上下文中词的组合，n元语法可以更好地捕捉语言中的上下文关联性，提高预测准确度。
- 可扩展性：n元语法可以根据需求选择不同的n值，从而在准确性和模型复杂度之间进行权衡。
n元语法的应用场景：
- 文本生成：通过学习n元语法模型，可以生成具有一定上下文关联性的文本，如自动写作、对话系统等。
- 机器翻译：n元语法模型可以用于预测目标语言中的词序列，提高翻译准确度。
- 语音识别：通过建立n元语法模型，可以根据上下文预测下一个可能的词，提高语音识别的准确性。
腾讯云相关产品和产品介绍链接地址：
- 腾讯云自然语言处理（NLP）：https://cloud.tencent.com/product/nlp
- 腾讯云机器翻译（MT）：https://cloud.tencent.com/product/mt
- 腾讯云语音识别（ASR）：https://cloud.tencent.com/product/asr
相关·内容
1回答
从一个文档中，我想生成包含某个单词的所有n元语法。示例：word: years输出：我知道我们可以生成所有可能的n-gram，并过滤掉带有单词</
浏览 7提问于2017-08-01得票数 2
1回答
我知道如何使用nltk制作二元和三元语法，也知道如何只选择包含我感兴趣的单词的二元或三元语法。我使用以下代码(改编自)。(其中一个元素是我的单词)，每个三元组都有它们的对数似然值。我想要在我选择的窗口中进行所有可能的N-Gram组合(例如，从我的单词
浏览 10提问于2017-08-17得票数 1
3回答
我在SO：上找到了之前的问题。操作员给出了这个例子，并询问它是否正确：character level bigrams (2for n): "#I", "I#", &qu
浏览 3提问于2013-08-13得票数 29
回答已采纳
我试图找到一种方法，用python从一段文本中获得所有的二元语法，这些单词不一定是连续的单词，但在文本中由N个单词分隔。虽然我已经找到了很多关于如何找到连续二元语法的答案，但我还没有找到关于非连续二元语法的明确答案。我使用sklearn和CountVectorizer来查找我
浏览 1提问于2019-02-19得票数 0
2回答
我正在编写一个shell脚本来查找二元语法，这在某种程度上是有效的。.' '\012' < $1 > out1tail -n+2 out1 > out2pasteout1 out2 rm out1 out2
唯一的问题是，它将前一句话的结尾和开头的单词配对。这是我
浏览 3提问于2008-10-28得票数 3
回答已采纳
2回答
该算法的简要描述是:当试图找到单词出现在句子中的概率时，它将首先在n元语法级别查找单词的上下文，如果没有这种大小的n元语法，它将递归到(n-1)-gram，并将其分数乘以0.4。因此，如果我想在“一个晴天”的上下文中找到"day“的概率，它将首先查看语料库中是否存在三元</e
浏览 1提问于2013-05-05得票数 16
回答已采纳
1回答
我一直在尝试创建一个代码，它可以看到一个二元语法在一个字符串中出现了多少次(如果你不知道，二元语法包含两个单词，比如'if you‘或'you’t‘)。我尝试将.join函数用于剪切列表，但是，它只返回一个单词，而不是两个单词。我使用了.join函数并使用了一个for循环，该循环将一直持续到n-1 (其中n是单词的长度)时间，并且它将使用从n-
浏览 0提问于2019-09-19得票数 0
1回答
例如，如果我试图预测句子中的下一个单词，我可以使用二元语法方法，并根据语料库中的前一个单词计算单词出现的概率。
相反，我使用神经网络来预测下一个单词。训练数据由单词对组成，其中每对单词都包含语料库中的当前单词和下一个单词。训练网络使用输入值作为单词的矢量化表示，输出值是语料库中下一个单词<em
浏览 13提问于2016-09-27得票数 2
回答已采纳
它们都只包含字符。字符和单词之间不能用空格分隔。其中一些字符构成了英语单词，而另一些字符则只形成了bufflegab。字符串不能包含完整的句子。
我需要找出其中哪些是用有效的英语演讲写的。我的意思是，字符串可以通过连接写得很好的英语单词来构建。我知道我可以用词汇表做点什么。但这两个词并不是相互分离的。因此，测试每个可能的单词组合可能非常耗时。我正在寻找一种高性能<
浏览 8提问于2009-05-24得票数 3
因此，我们忘记了频率为1、2、3的单词；包含这些单词的二元语法和频率为1的二元语法；以及包含任何先前删除的ngram的3gram。
现在我们要找出缺失的单词应该放在哪里，以及它是哪个单词。这里的问题是，我们如何计算/估计每个ngram的概率，以便当我们找到<
浏览 1提问于2014-12-09得票数 1
1回答
我有一个列，每行包含一个单词： ----- wer有没有一种方法可以在所有行中获得最频繁的二元和三元语法？例如，对于二元语法：ab: 9%
.....
浏览 2提问于2011-06-18得票数 2
当我使用二元组时，我将二元组的列表附加到单元组，并将其用作我的语料库。对于三元模型，我将三元模型添加到unigram中，但忽略了二元模型。这是正确的方法吗，或者如果我想合并三元模型，那么包含二元模型会更好吗？相反，这个过程应该是:unigram -> unigram+二元语法-> unigram+二元语法+三
浏览 1提问于2018-09-18得票数 0
1回答
我希望能够使用Android的语音转文本引擎来识别句子中各种不常见的单词。
举个例子，单词“脑电图仪”来自STT作为“电子供应图”。当我使用Soundex或Metaphone将所说的内容与硬编码的值进行比较时，这些值似乎永远不会匹配或随机匹配。如果我使用一个阈值(例如Math.abs(str1.compareTo(Str2)) <= 1 )，那么匹配就会变得非常松散，几乎所有内容都会匹配。从本质上讲，我想做的事情类似于通过背诵报价来从报价数据库中
浏览 4提问于2013-01-28得票数 5
3回答
假设我有一本字典，里面有几百万个单词和短语。对于每个输入句子，我要识别(精确匹配)字典中包含的所有单词/短语。应优先使用最长的字典名称，并且不要重叠。我能想到的一种解决方案是以恒定的查找时间将字典存储在内存中(例如，基于散列的集合)，然后从每个句子中提取所有单词n-gram (n可以设置为字典中最长短语中的单词数量)，
浏览 2提问于2011-09-10得票数 2
回答已采纳
1回答
我正在寻找字数/频率提取根据单词在一般英语中的用法，如。我正在使用JWNL api访问Wordnet字典，但我找不到任何方法来做到这一点。
浏览 0提问于2015-06-05得票数 0
8回答
我遇到了以下编程面试问题：N元语法是来自给定单词的N个连续字符的序列。"pilot“这个词有三个三元格："pil”、"ilo“和"lot”。对于给定的一组单词和n元语法长度，您的任务是
• write a function that finds the n<
浏览 6提问于2014-09-04得票数 9
我想用Python和TextBlob库做一些句子的情感分析。我知道如何使用它，但是有什么方法可以将n-grams设置为它吗？基本上，我不想逐字分析，但我想分析2个单词，3个单词，因为短语可以承载更多的含义和情感。例如，这是我所做的(它是有效的)：
my_string = "This product is very good, you should trymy_string.sentiment.pol
浏览 2提问于2019-12-01得票数 1
1回答
如果你有一些已经被标记的预处理文本，如果你想要一个三重(单词，单词，单词)，那么提取主语-动词-对象(SVO)三元组的规则是什么？你能给出这个句子的例子并提取所有的三元组吗？你只需要找到所有的组合，而不重复从一组N字？
浏览 0提问于2018-10-06得票数 5
我想用下面的代码查询mongodb (3.6)中的一个文本条目： collection.aggregate([{$match:{$text:{$search: "gram"}}}]) 在此查询中，将返回如下结果a unit of weight", tags:"gram"},
{content:"Mobogram is a shell for telegram", tags:"Mobogram"}] 但期望的结果是： {ontent: "gram is a un
浏览 30提问于2019-04-28得票数 1
2回答
我正在开发一个在python中的应用程序，该应用程序根据上传的简历提供工作推荐。在进一步处理之前，我正在尝试对简历进行标记。我想对一组单词进行标记化。有没有在python中做这些提取的库？
浏览 35提问于2018-07-14得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
云直播活动推荐
腾讯云开发者
