如何将句子设置为变量NLTK
NLTK（Natural Language Toolkit）是一个用于自然语言处理（NLP）的Python库。它提供了各种工具和资源，用于处理和分析文本数据。要将句子设置为变量NLTK，可以按照以下步骤进行操作：
- 首先，确保已经安装了NLTK库。可以使用以下命令在Python环境中安装NLTK：pip install nltk
- 导入NLTK库：import nltk
- 下载必要的数据和模型。NLTK提供了一些预训练的模型和数据集，可以使用以下命令下载所需的数据：nltk.download('punkt')
- 将句子设置为变量NLTK，可以使用NLTK的
sent_tokenize()函数将文本分割为句子。该函数将文本作为输入，并返回一个句子列表。from nltk.tokenize import sent_tokenize
text = "这是一个示例句子。这是另一个示例句子。"
sentences = sent_tokenize(text)
在上述示例中，sent_tokenize()函数将文本分割为两个句子，并将其存储在sentence变量中。
通过上述步骤，你可以将句子设置为变量NLTK，并使用NLTK库中的其他功能对文本进行进一步处理和分析。请注意，NLTK库还提供了许多其他有用的功能，如词性标注、词干提取、命名实体识别等，可以根据具体需求进行使用。
腾讯云相关产品和产品介绍链接地址：
相关·内容
2回答
我知道nltk可以使用以下代码拆分句子并打印出来。但是我如何将句子放入列表而不是输出到屏幕上呢？
import nltk.data
from nltk.tokenize import sent_tokenize
import os, sys, re, glob
cwd = './extract_en' #os.getcwd()
for infile in glob.glob(os.path.join(cwd, 'fileX.txt')):
(PATH, FILENAME) = os.path.split(infile)
read = open(i
浏览 6提问于2011-02-25得票数 0
回答已采纳
3回答
我是Python的新手，有一些问题。
我有一个包含1000个句子的csv文件。我试图通过使用nltk删除没有意义的单词来清理所有的句子。我已经导入了csv并将其创建为一个名为mylist的列表。当我使用for循环清理列表中每一项的文本时，我遇到了TypeError:列表索引必须是整数或切片，而不是str。一旦我完成清理文本，我想把它导出回csv。
提前谢谢。
import pandas as pd
import nltk
nltk.download('words')
words = set(nltk.corpus.words.words())
uscomment = r&
浏览 36提问于2021-05-26得票数 1
1回答
我发现使用NLTK (如下)将文件路径和扩展名作为输入来计算句子数量的代码，但是没有关于如何将其应用于存储在变量中的单个字符串的内容。这可以做到吗？ import nltk
folder = nltk.data.find(dirpath)
corpusReader = nltk.corpus.PlaintextCorpusReader(folder, '.*\.txt')
print "The number of sentences =", len(corpusReader.sents())
浏览 19提问于2020-09-10得票数 0
回答已采纳
1回答
我在nltk中用语法来定义名词短语。nltk提供的示例是：
grammar = "NP: {<DT>?<NNP>*<NN>}"
如果我有一个类似于：show me the Paris hospitals的句子，库可以检测到名词短语：
>>> s
'show me the Paris hospitals'
>>> grammar = "NP: {<DT>?<NNP>*<NNS>}"
>>> nltk.RegexpParser
浏览 9提问于2022-01-27得票数 1
回答已采纳
2回答
我正在尝试使用来自nltk.parse.stanford的斯坦福分析器来完成一系列NLP任务。当我明确地传递一个句子或一个句子列表作为输入时，我可以对句子进行某些操作。，但是我如何将大量的文本分割成句子，？(显然，使用周期等的正则表达式不能很好地工作)
我在这里查看了文档，什么也没有发现：
我在这里发现了与java类似的东西：。
对于python版本的库，我想我需要这样的东西。
浏览 0提问于2016-04-09得票数 0
回答已采纳
1回答
作为我的学术项目的一部分，我需要将一堆任意句子解析成依赖图。经过多次搜索，我得到了一个解决方案，我可以使用Malt Parser来解析文本，并使用它预先训练好的语法。
我已经从下载了预先训练好的模型(engmalt.line-1.7.mco)。BUt我不知道如何使用这个语法文件和malt解析器(通过malt的python接口)来解析我的句子。我已经下载了最新版本的malt解析器(1.7.2)，并将其移动到'/usr/lib/‘。
import nltk;
parser =nltk.parse.malt.MaltParser()
txt="This is a test sent
浏览 1提问于2012-12-23得票数 14
回答已采纳
我正在尝试使用来自NLTK的BLEU分数来评估机器翻译的质量。我想用两个相同的句子检查这段代码，这里我使用method1作为平滑函数，因为我比较的是两个句子，而不是语料库。我设置了4-gram和权重0.25 (1/4)。但结果是，我得到了0.0088308。我做错了什么？两个相同的句子应该得到1.0分。我在Python3，Windows7上，用PyCharm编写代码。
我的代码：
import nltk
from nltk import word_tokenize
from nltk.translate.bleu_score import SmoothingFunction
ref =
浏览 6提问于2021-08-25得票数 1
1回答
我刚开始使用nltk，已经被卡住了。我想将文本文件拆分成单独的句子，并将每个句子设置为一个变量以供以后使用。我已经处理了第一部分：
import nltk
from nltk.tokenize import sent_tokenize
text1 = open('/Users/joshuablew/Documents/myCorpus/version1.txt').read()
sent_tokenize(text1)
这会打印出每个单独的句子：
['Who was the 44th president of the United States?',
浏览 4提问于2017-02-12得票数 0
1回答
我用这段代码来确定句子的主语、时间/位置。
from nltk.tag import pos_tag
from nltk.tokenize import word_tokenize
import nltk
text = input('Please enter a sentence: ')
words = text.split()
sentence = pos_tag(words)
grammar = '''
Action: {<NN.*>?<VB.*><RB.*>?}
Location: {<IN>&l
浏览 0提问于2016-01-31得票数 0
回答已采纳
1回答
我在python中使用带有nltk的斯坦福解析器，并得到的帮助来建立Stanford库。
from nltk.parse.stanford import StanfordParser
from nltk.parse.stanford import StanfordDependencyParser
parser = StanfordParser(model_path="edu/stanford/nlp/models/lexparser/englishPCFG.ser.gz")
dep_parser = StanfordDependencyParser(model_path
浏览 7提问于2016-01-23得票数 6
回答已采纳
1回答
NLTK语句的基因组表示
、、、
给定NLTK语法，我如何使用整数数组来表示句子？
我正在使用NLTK从特定的语法生成一些句子。我想生成一个整数数组来表示生成的句子的基因组(表型)。
有了整数的表示，我将在遗传算法中进化基因组，执行一些变异以获得更好的句子。
例如,
from nltk import CFG
from nltk.parse.generate import generate, demo_grammar
g = CFG.fromstring(demo_grammar)
sentence = next(generate(g, n=1))
print(sentence) # ex: ['the',
浏览 34提问于2021-03-03得票数 0
回答已采纳
1回答
我需要处理大量的txt文件来构建word2vec模型。现在，我的txt文件有点混乱，我需要删除所有的“\n”换行符，从我加载的字符串(txt-file)中读取所有句子，然后标记每个句子，以便使用word2vec模型。
问题是:我不能一行行地读文件，因为有些句子不会一行行结束。因此，我使用“nltk.tokenizer.tokenize()”，它将文件分割成句子。
我不知道如何将字符串列表转换为列表列表，其中每个子列表都包含句子，同时通过生成器传递。
或者我真的需要将每个句子保存到一个新的文件中(每行一句)才能通过生成器传递它吗？
好吧，我的代码看起来如下：‘tokenizer = nl
浏览 1提问于2019-07-20得票数 0
回答已采纳
5回答
我有一个(很大的)已解析句子列表(使用Stanford解析器进行解析)，例如，句子"Now you can be entertained“具有以下树：
(ROOT
(S
(ADVP (RB Now))
(, ,)
(NP (PRP you))
(VP (MD can)
(VP (VB be)
(VP (VBN entertained))))
(. .)))
我正在使用句子树的集合来归纳使用nltk的语法：
import nltk
# ... for each sentence tree t, add its pr
浏览 9提问于2013-02-22得票数 20
1回答
我正在尝试将一个句子转换为lambda函数表示法，例如在4.2节中看到的。使用代码，我可以将句子转换成语义值，并使用上下文无关语法来解析句子，但是有什么方法可以将一个句子转换为lambda符号。
import nltk
grammar = nltk.CFG.fromstring("""
S -> NP VP
VP -> V NP
V -> "is"
Adj -> "Chewing"
Coj -> "and"
Nom -> Adj Nom | N
NP -&
浏览 1提问于2015-01-25得票数 2
回答已采纳
我试图通过使用内置方法在文本中查找与NLTK的搭配。
现在我有了下面的示例文本(test和foo相互跟随，但中间有一个语句边框)：
content_part = """test. foo 0 test. foo 1 test.
foo 2 test. foo 3 test. foo 4 test. foo 5"""
令牌化和collocations()的结果如下：
print nltk.word_tokenize(content_part)
# ['test.', 'foo', &#
浏览 4提问于2012-02-05得票数 6
回答已采纳
Python 的第5章给出了在句子中标记单词的示例：
>>> text = nltk.word_tokenize("And now for something completely different")
>>> nltk.pos_tag(text)
[('And', 'CC'), ('now', 'RB'), ('for', 'IN'), ('something', 'NN'), ('completely&
浏览 39提问于2011-04-26得票数 27
回答已采纳
2回答
我有一篇有很多句子的课文。我如何使用nltk.ngrams来处理它？
这是我的密码：
sequence = nltk.tokenize.word_tokenize(raw)
bigram = ngrams(sequence,2)
freq_dist = nltk.FreqDist(bigram)
prob_dist = nltk.MLEProbDist(freq_dist)
number_of_bigrams = freq_dist.N()
然而，上述代码假设所有句子都是一个序列。但是，句子是分开的，我想一个句子的最后一个词与另一个句子的起始词无关。如何为这样的
浏览 0提问于2019-03-02得票数 0
1回答
所以我终于想出了如何使用NLTK中"“提供的麦芽包装器，并且能够成功地将我的句子分块，但我的句子以一种我不熟悉的格式出现。
例如，解析“这是一个句子”将返回：
>>> import nltk
>>> parser = nltk.parse.malt.MaltParser(working_dir="/path/to/dir",mco="engmalt.linear-1.7",additional_java_args=['-Xmx512m'])
>>> txt = "This is
浏览 3提问于2014-09-20得票数 0
1回答
我有一篇有很多句子的课文。我如何使用nltk.ngrams来处理它？
这是我的密码：
sequence = nltk.tokenize.word_tokenize(raw)
bigram = ngrams(sequence,2)
freq_dist = nltk.FreqDist(bigram)
prob_dist = nltk.MLEProbDist(freq_dist)
number_of_bigrams = freq_dist.N()
然而，上述代码假设所有句子都是一个序列。但是，句子是分开的，我想一个句子的最后一个词与另一个句子的起始词无关。如何为这样的
浏览 1提问于2019-03-02得票数 6
回答已采纳
1回答
我有一个用例，在这个用例中，我希望使用spacy或nltk或任何NLP库提取句子的主要有意义的部分。
示例sentence1:“我如何提高嗓门反对骚扰”意图是：“提高声音反对骚扰”
示例sentence2:“唐老鸭是由哪个漫画家/哪个人/谁创造的?”意图是：“唐纳德鸭子是由谁创造的”
示例sentence3:“如何使用spacy或nltk检索句子的主要意图”？意图：“使用spacy nltk检索句子的主要意图”。
我对依赖分析还不熟悉，也不知道该如何做。请帮帮我。
浏览 3提问于2020-02-05得票数 3
我知道如何用NLTK PunktSentenceTokenizer拆分句子。
然而，我有另一个要求:我有一个从pdf格式转换的文本，其中分页符拆分句子。有没有办法使用NLTK来判断字符串结尾是否是句子边界？如果不是句子边界，我可以将这个字符串和下一个字符串连接起来。
例如，以下是我的字符串：
“我有一个文本转换”“有什么方法可以拯救人类吗？”
第一个不是句尾，第二个是句尾。
浏览 16提问于2019-11-01得票数 0
1回答
我使用nltk的PunkSentenceTokenizer将文本标记为一组句子。然而，标记器似乎并不将新段落或新行视为新句子。
>>> from nltk.tokenize.punkt import PunktSentenceTokenizer
>>> tokenizer = PunktSentenceTokenizer()
>>> tokenizer.tokenize('Sentence 1 \n Sentence 2. Sentence 3.')
['Sentence 1 \n Sentence 2.',
浏览 0提问于2015-03-13得票数 19
回答已采纳
通常将文件数据转换为nltk.Text的方法如下：
f=open('my-file.txt','rU')
raw=f.read()
tokens = nltk.word_tokenize(raw)
text = nltk.Text(tokens)
现在，‘nltk.Text’(文本对象)只是一个单词列表。我怎样才能从中获得句子列表呢？主要希望拆分成句子列表的‘文本’。多么?
浏览 0提问于2016-10-14得票数 0
我正在从事一个涉及sentence2vec的NLP项目。我假设我将使用预先训练过的单词嵌入来将标记转换为向量，然后继续进行句子嵌入。
由于我的句子涉及:停止单词如不能，不会，不是等，NLTK将减少为{ca，wo，are} +不。
所以我不能减少它们，我也不想把它们作为停止词删除，因为下面提到的句子应该有不同的嵌入。
我的名字是Priyank
我的名字不是Priyank
另一个重要的疑问是，如何将命名实体(如、MarkK.Hogg、等人的名字)合并到我的句子向量中。
浏览 0提问于2018-02-27得票数 0
回答已采纳
2回答
我已经标记了文本，并希望打印错误的句子没有pos，但它打印错误的每一个句子。我该怎么改呢？
sents = nltk.sent_tokenize(text)
for sent in sents:
tokens = nltk.word_tokenize(sent)
tagged = nltk.pos_tag(tokens)
for pos in tagged:
if 'VB' not in sents :
print('error')
浏览 14提问于2022-04-03得票数 1
我有两个相同的句子。但是流星的分数不是1，而是0.99。 下面是代码：score1 = nltk.translate.meteor_score.meteor_score(sentence1,sentence2)
浏览 16提问于2021-04-05得票数 1
我正在尝试对.txt文件语料库运行word2vec (在gensim中实现的skip-gram模型，默认窗口大小为5)。我使用的迭代器看起来像这样：
class Corpus(object):
"""Iterator for feeding sentences to word2vec"""
def __init__(self, dirname):
self.dirname = dirname
def __iter__(self):
word_tokenizer = TreebankWor
浏览 2提问于2015-08-29得票数 3
5回答
如何将包含自由文本、列表、表格、标题等的HTML页面解析成句子？
以为例。有/正在：
免费文本：
列表：
表：
在使用python 之后，我想测试所有这些不同的语料库注释方法(来自)：
单词令牌化：文本的正字法形式不明确地标识它的标记。除了传统的正字法版本之外，令牌化和规范化版本可能是一个非常方便的资源。
句子切分：正如我们在第三章中看到的，句子切分可能比看起来更困难。因此，一些语料库使用显式注释来标记句子切分。
段落分段：段落和其他结构元素(标题、章节等)可能被显式注释。
词类：文档中每个单词的句法类别。
句法结构：表示句子组成结构的树状结构。
浅
浏览 10提问于2012-06-30得票数 8
在运行nltk.data.path时，我得到以下目录：
nltk.data.path
['/home/alex/nltk_data',
'/home/alex/miniconda3/envs/machinelearning/nltk_data',
'/home/alex/miniconda3/envs/machinelearning/share/nltk_data',
'/home/alex/miniconda3/envs/machinelearning/lib/nltk_data',
'/usr/share/nl
浏览 1提问于2020-09-24得票数 0
回答已采纳
1回答
我能够将非对话框文本标记为句子，但是当我在句子中添加引号时，NLTK标记器不能正确地将它们分开。例如，这如预期的那样工作：
import nltk.data
tokenizer = nltk.data.load('tokenizers/punkt/english.pickle')
text1 = 'Is this one sentence? This is separate. This is a third he said.'
tokenizer.tokenize(text1)
这就形成了三种不同句子的清单：
['Is this one sentence
浏览 0提问于2017-09-30得票数 0
回答已采纳
2回答
我试图使用标记一个句子(首先类似于wiki的例子)，但我始终得到以下错误：
Traceback (most recent call last):
File "test.py", line 28, in <module>
print st.tag(word_tokenize('What is the airspeed of an unladen swallow ?'))
File "/usr/local/lib/python2.7/dist-packages/nltk/tag/stanford.py", line 59,
浏览 0提问于2014-11-27得票数 11
我正在尝试使用NLTK的RIBES评分来评估机器翻译的质量。我想用两个相同的句子来检查这段代码。但是当我运行我的代码时，我得到了错误。 我的代码： from nltk.translate.ribes_score import sentence_ribes
hyp1 = ['It', 'is', 'a', 'guide', 'to', 'action', 'which', 'ensures', 'that', 'the', '
浏览 18提问于2021-08-25得票数 0
回答已采纳
2回答
在scikit学习或nltk分类器中，通常考虑术语频率或TF。
我也想考虑词频，句子结构进行分类。我有15类问题。每一个都有包含新行的句子的文本文件。
类别城市包含这句话：
In which city Obama was born?
如果我考虑术语频率，那么可能不考虑以下内容。因为数据集中的奥巴马或城市与查询语句不匹配
1. In which place Hally was born 2. In which city Hally was born?
是否有既考虑词频又考虑句子结构的量词。因此，在训练时，它也对类似句子结构的输入查询进行分类。
浏览 7提问于2014-12-03得票数 0
回答已采纳
我一直在使用NLTK的POS标记器：
...
nltk.pos_tag(nltk.word_tokenize(tfile[i]))
...
但有时我会得到不准确的结果(NN，当我应该得到JJ的时候，等等。我想要标记的文本是在一个相当具体的业务领域内...我不能在这里自由地说出是什么域名)。诚然，我既不是Python也不是NLTK专家(然而，我正在研究它)，但我想知道是否有一些方法可以提高标记器的准确性。
我认为我理解标记器的工作原理是通过将提供给它的文本与预先标记的文本语料库进行比较。我的自然倾向是尝试在这个语料库中添加一组我自己标记的句子……但我不知道该怎么做。
我非常感谢任何关于如何将我自
浏览 1提问于2012-10-23得票数 2
我正在尝试运行python代码，主要是基于NLTK书籍，从我的GujaratiTextCorpus中为ngram POS标记古吉拉特语文本。我遇到了一个ValueError。
我在Windows10中使用Python 3.7.3。我通过anaconda使用jupyter笔记本。我是一个使用python的初学者。我研究了stackoverflow上可用的答案。com来修复我的ValueError，但解决不了它。
import nltk
f = open('C:\\Users\\BHOGAYATA\\Documents\\GujaratiPosTagging\\cts260.txt'
浏览 11提问于2019-07-27得票数 0
回答已采纳
3回答
我正在通过NLTK的书，我似乎不能做的事情，似乎是一个自然的第一步，以建立一个体面的语法。
我的目标是为特定的文本语料库构建语法。
(最初的问题:我是应该从头开始语法呢，还是应该从预定义语法开始呢？如果我应该从另一种语法开始，那么对英语来说，哪一种语法是好的？)
假设我有以下简单语法：
simple_grammar = nltk.parse_cfg("""
S -> NP VP
PP -> P NP
NP -> Det N | Det N PP
VP -> V NP | VP PP
Det -> 'a' | 'A&#
浏览 5提问于2011-02-01得票数 27
回答已采纳
grammar = nltk.CFG.fromstring("""
S -> NP VP Q |Q NP VP|
NP -> Det N | Det N PP
VP -> V NP | V NP PP
PP -> P NP
NP -> 'I'
N -> 'man' | 'park' | 'telescope' | 'dog'|'car'
Det -> 'the' | 'a'
P -> '
浏览 2提问于2016-03-28得票数 2
回答已采纳
2回答
我正在使用NLTK在Python中设计一个文本分类器。每句话考虑的一个特征就是它的情感。我想要对具有积极或消极情绪的句子进行加权，而不是那些没有任何情绪的句子(中性句子)。使用电影评论语料库和朴素贝叶斯分类器只会产生正面和负面的标签。我尝试在nltk.sentiment.utils中使用demo_liu_hu_lexicon，但该函数不返回任何值，而是将其打印到输出，而且速度非常慢。有没有人知道有一个基于情感给句子赋予某种权重的库？
谢谢!
浏览 0提问于2015-12-10得票数 5
1回答
在自然语言处理中，用单词而不是句子来标记行的代码是什么？
就像句子一样，我使用这个代码，我想根据单词而不是句子来标记。
import nltk
text=" Hi how are you, how is live, what are you doing "
from nltk.tokenize import sent_tokenize
print(sent_tokenize(text))
浏览 0提问于2019-12-09得票数 1
回答已采纳
1回答
根据列表标记单词
、、
我需要根据特定的单词列表对句子中的单词进行标记。
wordlist = ["nlp - nltk", "CIFA R12 - INV"]
示例-输入:这是nlp - nltk CIFA R12 - INV的示例文本。
在使用word_tokenize(Exapmle-input)时，这里需要nlp - nltk作为一个令牌，CIFA R12 - INV作为另一个令牌。这是否有可能而不是将nlp - CIFA作为不同的标记？
浏览 0提问于2018-04-30得票数 0
回答已采纳
0回答
我在一个列表中有一堆句子，我想使用nltk库来阻止它。我可以一次阻止一个句子，但是我在从列表中提取句子并将它们重新组合在一起时遇到了问题。我是不是漏掉了什么步骤？对nltk库来说是个新手。谢谢!
import nltk
from nltk.stem import PorterStemmer
ps = PorterStemmer()
# Success: one sentences at a time
data = 'the gamers playing games'
words = word_tokenize(data)
for w in words:
prin
浏览 6提问于2018-07-14得票数 2
回答已采纳
1回答
NLTK PoS标记
、、、
我是Python的新手，需要它来进行PoS标记。因此，我尝试使用标准的工具。我试图创建一个标签，并得到一个ValueError，我不明白。我的代码：
import nltk
tagged_sents = nltk.corpus.brown.tagged_sents(categories = 'reviews')
tagger =nltk.ClassifierBasedTagger(tagged_sents)
我已经检查过了，tagged_sents是所有句子的列表。每个句子self都是一个元组列表(word，PoS)，如文档中所示：
并列语料库:一个有标记的语料库，由一组带标
浏览 3提问于2016-03-16得票数 0
回答已采纳
任务是定义语法，并使用ChartParser来使用nltk中的ChartParser包解析任何给定的句子。我的代码如下：
import nltk
your_grammar = nltk.CFG.fromstring("""
S -> NP VP
NP -> NP PP
Nom -> N
VP -> V NP | V S | VP PP
PP -> P NP
Det -> 'the'
N -> 'block' | 'table'
V -> 'Put'
P
浏览 0提问于2019-12-07得票数 2
回答已采纳
1回答
在阅读了大量的帖子后，我仍然很难在nltk中制作一个定制语料库。我有一个标记句子的文本文件，表格字符串中的每一项.单词/标签。我想用这东西训练一个标签师。我正在尝试使用一个名为列车标签的nltk包，它可以训练各种类型的tagger。2个问题。1)训练标记者可以使用文本文件作为输入还是只使用nltk语料库对象? 2)如果只使用一个语料库，如何从文本文件中创建一个文本文件？我试过以下代码来创建一个语料库..。
import nltk
from nltk.corpus import PlaintextCorpusReader
corpus_root = './'
newcorpus
浏览 2提问于2012-05-29得票数 0
1回答
智能句切分不分裂缩略语
、、、、
来自SpaCy和NLTK的句子者没有注意到一个事实，即典型的缩略语(例如，德语中Million的Mio. )和由此产生的句子分裂是不正确的。我明白，哨兵应该是简单而迅速的，但我想知道是否有一个更好的，考虑到更多的东西，而不是高感知词和标点符号？或者，如何使SpaCy / NLTK /.句子员为这样的句子工作？
我主要对Python的哨兵感兴趣。
浏览 0提问于2020-10-13得票数 3
回答已采纳
1回答
据我所知，使用NLTK分类器的示例如下：
他们似乎只发挥句子本身的作用。所以你应该..。
corpus =
[
("This is a sentence"),
("This is another sentence")
]
...and对句子本身应用一些函数，如count_words_ending_in_a_vowel()。
相反，我想将一段外部数据应用到句子中，而不是从文本本身派生出来的内容，而是一个外部标签，例如：
corpus =
[
("This is a sentence", "aweso
浏览 3提问于2013-12-18得票数 1
0回答
我正在寻找一种方法来pos_tag一个法语句子，就像下面的代码用于英语句子：
def pos_tagging(sentence):
var = sentence
exampleArray = [var]
for item in exampleArray:
tokenized = nltk.word_tokenize(item)
tagged = nltk.pos_tag(tokenized)
return tagged
浏览 3提问于2017-06-10得票数 10
回答已采纳
1回答
我试图使用NLTK识别小说中的所有名称(作为文本文件提供)。在较小的范围内，POS标签工作得很好。然而，当我提供大量的文本(我指的是三四段)时，这个系统不幸地失败了。我怎么才能解决这个问题？
我读了文件，把它分成几行，句子，然后是单词。我得到的是一个列表，其中每个内部列表都包含一个句子的单词。然后，我使用NLTK标记每个句子。
def process_file(_file, tagger, stemmer, stopwords, filename, printinfo):
sentences = []
_nnp = set()
words = dict()
fo
浏览 0提问于2019-06-27得票数 0
2回答
我在python中导入了nltk，在Ubuntu上计算了BLEU的分数。我知道句子级别的BLEU评分是如何工作的，但我不明白语料库级别的BLEU评分是如何工作的。
以下是我对语料库级别的BLEU评分的代码：
import nltk
hypothesis = ['This', 'is', 'cat']
reference = ['This', 'is', 'a', 'cat']
BLEUscore = nltk.translate.bleu_score.corpus_bleu([r
浏览 9提问于2016-11-11得票数 17
回答已采纳
我不知道我是否正确地提出了我的问题。我对POS标记进行了编码，如下所示
from sklearn.preprocessing import LabelBinarizer
encoder = LabelBinarizer()
transfomed_label = encoder.fit_transform(["CC","CD","DT","EX","FW","IN","JJ","JJR","JJS","LS","MD",
浏览 1提问于2018-04-01得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
