将NLTK块转换为字典列表
NLTK（Natural Language Toolkit）是一个用于自然语言处理的Python库。它提供了各种工具和数据集，用于处理和分析文本数据。NLTK中的块（chunk）是指一组相邻的词汇，可以根据语法规则进行标记和提取。
将NLTK块转换为字典列表的过程可以通过以下步骤完成：
- 导入NLTK库和所需的模块：
import nltk
from nltk.chunk import tree2conlltags- 定义一个函数，将块转换为字典列表：
def chunk_to_dict(chunk):
chunked_tokens = tree2conlltags(chunk)
chunk_dict_list = []
for token in chunked_tokens:
word = token[0]
pos = token[1]
chunk_tag = token[2]
chunk_dict = {'word': word, 'pos': pos, 'chunk_tag': chunk_tag}
chunk_dict_list.append(chunk_dict)
return chunk_dict_list- 使用NLTK进行块标记和提取：
text = "I love natural language processing"
tokens = nltk.word_tokenize(text)
pos_tags = nltk.pos_tag(tokens)
chunked = nltk.ne_chunk(pos_tags)
chunk_dict_list = chunk_to_dict(chunked)
print(chunk_dict_list)运行以上代码，将会输出如下结果：
[{'word': 'I', 'pos': 'PRP', 'chunk_tag': 'O'},
{'word': 'love', 'pos': 'VBP', 'chunk_tag': 'O'},
{'word': 'natural', 'pos': 'JJ', 'chunk_tag': 'O'},
{'word': 'language', 'pos': 'NN', 'chunk_tag': 'O'},
{'word': 'processing', 'pos': 'NN', 'chunk_tag': 'O'}]在这个例子中，我们将输入文本中的块转换为了一个字典列表。每个字典表示一个词汇，包含了词汇本身（'word'）、词性标记（'pos'）和块标记（'chunk_tag'）。
NLTK的块转换为字典列表的应用场景包括自然语言处理、信息提取、命名实体识别等。对于处理文本数据并提取其中的关键信息非常有用。
腾讯云相关产品中，与自然语言处理相关的产品包括腾讯云智能语音（https://cloud.tencent.com/product/tts）和腾讯云智能机器翻译（https://cloud.tencent.com/product/tmt），它们可以与NLTK等工具结合使用，提供更全面的自然语言处理解决方案。
相关·内容
4回答
我想将以下nltk树表示形式转换为JSON格式：
所需输出：
{
"scores": {
"filler": [
[
"scores"
],
[
"for"
]
],
"extent": [
"highest"
],
&#
浏览 0提问于2014-04-16得票数 2
使用NLTK，我创建了一个分类语料库，包含大约100 k个句子，分为36类。
我可以获得这样一个特定类别的句子：
romantic_comedies_sents = (my_corpus.sents(categories='romantic_comedies'))
但是，给定一个标记化的list (如["You", "had", "me", "at", "hello"] )形式的句子，我想有效地识别它发生的类别。有这么快的方法吗？
我尝试过创建和使用以句子作为键和类别作为值的字典，但是在我的计算机上
浏览 3提问于2017-01-30得票数 0
回答已采纳
我有以下代码
import nltk, os, json, csv, string, cPickle
from scipy.stats import scoreatpercentile
lmtzr = nltk.stem.wordnet.WordNetLemmatizer()
def sanitize(wordList):
answer = [word.translate(None, string.punctuation) for word in wordList]
answer = [lmtzr.lemmatize(word.lower()) for word in answer]
浏览 0提问于2014-04-20得票数 57
我试图在python3中使用nltk来做KeyError文本摘要，但是我不确定为什么它会显示nltk。下面是我的代码：
flasexam.py
import bs4 as bs
import urllib.request
import re
import heapq
import nltk
scraped_data = urllib.request.urlopen('https://en.wikipedia.org/wiki/Machine_learning')
article = scraped_data.read()
parsed_article = bs.Beauti
浏览 0提问于2019-12-04得票数 0
1回答
我有以下代码摘录，使用NLTK查找给定输入文本'sample.txt‘中所有单词的音节数：
import re
import nltk
from curses.ascii import isdigit
from nltk.corpus import cmudict
import nltk.data
import pprint
d = cmudict.dict()
tokenizer = nltk.data.load('tokenizers/punkt/english.pickle')
fp = open("
浏览 0提问于2011-05-04得票数 3
2回答
我正在使用NLTK，并试图使单词短语计数达到特定文档的特定长度以及每个短语的频率。我对字符串进行标记化，以获得数据列表。
from nltk.util import ngrams
from nltk.tokenize import sent_tokenize, word_tokenize
from nltk.collocations import *
data = ["this", "is", "not", "a", "test", "this", "is", "real
浏览 27提问于2016-11-18得票数 6
回答已采纳
1回答
NLTK实体分组
、、
我有以下代码：
import nltk
page = '
EDUCATION
University
Won first prize for the best second year group project, focused on software engineering.
Sixth Form
Mathematics, Economics, French
UK, London
'
for sent in nltk.sent_tokenize(page):
for chunk in nltk.ne_chunk(nltk.pos_tag(nltk.word_t
浏览 3提问于2022-03-09得票数 0
回答已采纳
2回答
我试图摆脱这个for循环，而是使用列表理解来给出相同的结果。
fd= nltk.FreqDist()
html = requests.get("http://www.nrc.nl/nieuws/2015/04/19/louise-gunning-vertrekt-als-voorzitter-bestuur-uva/")
raw = BeautifulSoup(html.text).text
for word in nltk.word_tokenize(raw):
freqdist[word.lower()] += 1
我不确定是否可能，但由于+=1，我无法让它工作。我
浏览 1提问于2017-05-02得票数 1
回答已采纳
我对nltk很陌生，我正在使用python。我是以字符串作为输入的大写。当我展示这个项目的时候。我把每一个字都当作一个词。
import nltk
string = "Batman Superman"
bigram = nltk.bigrams(string)
print bigram.item()
[('B','a'),('a','t'),('t','m'),('m','a'),('a','n'),(&
浏览 2提问于2016-06-07得票数 0
回答已采纳
1回答
是否可以使用xlwing将Excel范围作为字典列表来阅读？
假设我在Excel中有数据，例如：
我想把它读成：
[{'Name': 'Joan', 'Age': 45}, {'Name': 'Ali', 'Age': 18}, {'Name': 'Mustafa', 'Age': 37}]
我想我要找的东西有点像csv.DictReader为csv文件所做的工作。
如果这是不可能的，我可以使用.expand(“水平”)阅读列表，然后创建字典
浏览 2提问于2018-06-26得票数 0
回答已采纳
作为文本分类模型预处理的一部分，我使用NLTK库添加了停用词删除和词汇化步骤。代码如下： import pandas as pd
import nltk; nltk.download("all")
from nltk.corpus import stopwords; stop = set(stopwords.words('english'))
from nltk.stem import WordNetLemmatizer
from nltk.corpus import wordnet
# Stopwords removal
def remove_stop
浏览 14提问于2021-10-12得票数 0
通常将文件数据转换为nltk.Text的方法如下：
f=open('my-file.txt','rU')
raw=f.read()
tokens = nltk.word_tokenize(raw)
text = nltk.Text(tokens)
现在，‘nltk.Text’(文本对象)只是一个单词列表。我怎样才能从中获得句子列表呢？主要希望拆分成句子列表的‘文本’。多么?
浏览 0提问于2016-10-14得票数 0
我有一个包含多个列的数据框。我想要迭代数据帧的一些列，并基于一个名为tokenizer的函数将每一行转换为一个列表。
columns = ['stemmed', 'lemmatized', 'lem_stop','stem_stop', 'lem_stop_nltk', 'stem_stop_nltk']
tokenizer = nltk.data.load('tokenizers/punkt/english.pickle')
sentences = []
for i in co
浏览 0提问于2018-04-12得票数 0
在我的python程序中，我有一个添加到文本文件中的键和值列表，我需要能够提取这个字符串列表并将其转换为字典。
例如：
counter = 0
add = str(counter)
counterDict = UserID + ": " + add + ", "
counter = counter + 1
#This should make counterDict look like: ""Smi39119": 0, "Joh38719": 1, " etc.
f = o
浏览 0提问于2019-04-21得票数 0
回答已采纳
1回答
对于如何从查询中对元组进行排序，我找不到明确的示例。这是我的全部代码：
import nltk //http://www.nltk.org/
import pypyodbc
text = raw_input()
token = nltk.word_tokenize(text)
print(token)
tagged = nltk.pos_tag(token)
print(tagged)
class Database(object):
def __init__(self):
self.connected = False
self.conn = Non
浏览 7提问于2015-02-09得票数 1
回答已采纳
我一直在阅读nltk文档recently.And，我不明白下面的代码。
def dialogue_act_features(post):
features = {}
for word in nltk.word_tokenize(post):
features['contains(%s)' % word.lower()] = True
return features
这是NaiveBayesClassifier的一个特性提取器，但是
features['contains(%s)' % word.lower()] = True
浏览 6提问于2015-04-11得票数 1
回答已采纳
1回答
因此，基本上，我有一个文件夹的文件，我打开和阅读到python。
我想搜索这些文件，并计数在每个文件中的关键字，以形成一个数据像附加的图像。
我已设法打开这些文件并将其读入列表中，但我的问题如下：
编辑1:
我决定试着把这些文件作为字典导入。它可以工作，但是当我试图将值小写时，我会得到一个“list”对象属性错误--即使在我的变量资源管理器中，它也被定义为一个字典。
import os
filenames = os.listdir('.')
file_dict = {}
for file in filenames:
with open(file) as f:
浏览 0提问于2019-08-15得票数 0
我有密码
dictionary = {"Hello":{}}
tagged = nltk.pos_tag(data)
for (word, tag) in tagged:
dictionary[word].update({"type":str(tag)})
print(dictionary)
顺便说一下，"NNP“和"NPP”只是占位符。代码应该打印{“Hello”：{“type”：“NNP”}，如果它只是一个，但是如果它被添加到{“Hello”：{}，“再见”：{} it将{}改为{"type":"
浏览 2提问于2022-05-01得票数 1
回答已采纳
我需要执行命名实体识别/分类，并生成IOB标记格式的输出。
我使用的是由提供的NLTK块，但是这会产生一个树，而不是一个IOB标记的列表。
def chunk_iob(list_of_words):
nltk_tagger = nltk.data.load("taggers/conll2002_aubt.pickle")
nltk_chunker = nltk.data.load("chunkers/conll2002_NaiveBayes.pickle")
t = nltk_tagger.tag(list_of_words)
浏览 2提问于2016-11-30得票数 1
回答已采纳
2回答
在单词列表中查找二元语法
、、、
我该如何在列表中找到一个二元语法呢？例如，如果我想要查找
bigram = list(nltk.bigrams("New York"))
在单词列表中，
words = nltk.corpus.brown.words(fileids=["ca44"])
我试着去做，
for t in bigram:
if t in words:
*do something*
以及,
if bigram in words:
*do something*
浏览 0提问于2016-03-21得票数 3
我想要一个作为新行添加到dataframe的列表。 import nltk
import pandas as pd
from nltk.corpus import wordnet
import pandas as pd
import numpy as np
Overviewdataframe = pd.DataFrame([])
synonyms = []
for syn in wordnet.synsets("active"):
for l in syn.lemmas():
synonyms.append(l.name())
浏览 11提问于2019-12-10得票数 1
回答已采纳
我正在尝试拆分NLTK列表，但拆分的列表正在解析为两种不同的类型。第一个列表返回类‘nltk.collection tions.LazySubsequence’，第二个列表返回类‘list’。我希望两个列表都是列表类型，我该怎么做呢？另外，为什么第一个列表变成了一个‘nltk.collections.LazySubSequency’对象？
import nltk
def novel10(words):
first_list = words[:int(len(words)*.90)]
second_list = words[int(len(words)*.90):]
p
浏览 0提问于2018-11-03得票数 0
2回答
import nltk
from nltk.tokenize import word_tokenize
txt = "finding a common place isn't commonly available among commoners place"
fd = nltk.FreqDist()
for w in word_tokenize(a.lower()):
fd[w] += 1
我有上面的脚本，可以很好地工作。如果我输入fd['place']，我得到2，如果我输入fd['common']，我得到1。
是否可以输入
浏览 0提问于2015-09-30得票数 1
我下载了用于python的"NLTK“库的”word“和"wordnet”：
import nltk
from nltk.corpus import words
from nltk.corpus import wordnet
nltk.download('words')
nltk.download('wordnet')
检查列表中的单词是否为英语。
然而，当运行脚本时，它不会识别任何一个单词为英语。
这是我的剧本：
samplewords=['accident scene','a%32','j &
浏览 1提问于2019-09-08得票数 0
回答已采纳
我有一个json文件，我想把它写在许多不同的列表中。要在以后访问它们，它们需要在json文件中有一个名称。我只在一个列表中进行了转储，该列表在文件中没有密钥。那么，如何才能使json文件中的列表在"data“列表下面有一个类似的名称呢？ 发自： list = []
with open("jsonfile.json", "w") as f:
json.dump(list, f, indent=4) 至： {
"list": [
]
}
浏览 34提问于2021-01-31得票数 1
我不明白为什么会发生这个错误：
AttributeError: 'list' object has no attribute 'items'
我使用的是python-3.6。错误发生在下面这一行：
cl = NaiveBayesClassifier.train(trainTweets)
我正在使用一个.csv文件来获取数据，该文件是从以下链接获得的：
我的代码：
import nltk, random, csv, sys
from nltk.corpus import names
from nltk.tokenize import word_tok
浏览 0提问于2018-11-05得票数 0
2回答
从列表到字典顺序的更改
、、、、
我有一个元组的列表
[('By', 'IN'), ('now', 'RB'), (',', ','), ('Cain', 'NNP'), ('has', 'VBZ'), ('created', 'VBN'), ('a', 'DT'), ('small', 'JJ'), ('amount', 'NN'), (&#
浏览 3提问于2013-10-07得票数 0
回答已采纳
我有一个列表(我们称之为list_1)，它来自一个高度基于数组/索引的电子表格，我正在尝试将它与另一个来自API响应的对象列表(list_2)进行比较。
值得注意的是，由于工作表是多维矩阵，每一行都包含一个列数组(例如，6列工作表的row[0]到row[5] )。
为了确保所有数据都匹配，当我在list_1中迭代时(执行一些其他函数)，我需要在list_2中搜索匹配的对象，并使用电子表格的范围更新它。
我已经在迭代电子表格行(list_1)，唯一能够做到这一点的方法就是迭代每个循环的list_2。太贵了：
for row in list_1:
# Do some things wit
浏览 2提问于2020-05-07得票数 0
1回答
我一直试图找到NLTK实体类型的完整列表。我只能在上找到最常见的，但没有找到完整的列表。请您分享NLTK所拥有的命名实体类型的完整列表？
浏览 6提问于2017-07-20得票数 11
回答已采纳
我得到了
TypeError: unhashable type: 'list'
当我尝试这段代码时：
from nltk import FreqDist
fd = FreqDist()
token_words = data['tweet_split'].apply(lambda tweet: tweet.split())
for i in token_words:
fd[i] += 1
print(fd)
浏览 5提问于2020-02-17得票数 1
回答已采纳
1回答
我对python很陌生，我很难理解数据类型、概念以及它们的转换。
我有NLTK树格式的句子(从斯坦福解析器获得并转换为NLTK树)。我需要应用为NLTK块编写的函数。然而，NLTK树格式与NLTK块格式不同。这两种格式都是NLTK树，但元素结构似乎不同(见下文)。
您能帮我把NLTK树转换成NLTK块输出格式吗？
提前谢谢！
这里是一个NLTK分块输出：
(S
(NP Pierre/NNP Vinken/NNP)
,/,
(NP 61/CD years/NNS old/JJ)
,/,
will/MD
join/VB
(NP the/DT board/NN)
as
浏览 1提问于2013-12-29得票数 0
回答已采纳
1回答
我有一个string和一个list，具体如下：
text = 'Sherlock Holmes. PARIS. Address: 221B Baker Street, london. Solving case in Madrid.'
city = ['Paris', 'London', 'Madrid']
我想从word Address之后的列表中提取第一个元素。
下面是我使用nltk解决问题的方法
import nltk
loc = None
flag = False
for word in nltk.word_tokeni
浏览 0提问于2018-08-27得票数 1
回答已采纳
我有这样一个简单的句子。我想把介词和单词(如A和IT )从列表中删除。我查看了自然语言工具包(，NLTK)文档，但找不到任何东西。有人能告诉我怎么做吗？这是我的代码：
import nltk
from nltk.tokenize import RegexpTokenizer
test = "Hello, this is my sentence. It is a very basic sentence with not much information in it"
test = test.upper()
tokenizer = RegexpTokenizer(r'\w+
浏览 3提问于2015-08-05得票数 1
回答已采纳
1回答
那里!
我试着输出课文中每一个单词的所有可能的词性。但是，我需要将输出打印为“列表”或“元组列表”以供进一步使用。
任何人都可以帮忙，非常感谢！
import nltk
from nltk.tokenize import word_tokenize
text = "I can answer those question ." # original text
tokenized_text = word_tokenize(text) # word tokenization
wsj = nltk.corpus.treebank.tagged_words()
浏览 0提问于2018-06-29得票数 0
1回答
我想知道是否可以迭代一些可用的nltk字典，即西班牙语词典。我想找一些符合要求的单词。
假设我得到了这个列表["tv", "tb", "tp", "dv", "db", "dp"]，算法会给出像["tapa", "tubo", "tuba", ...]这样的单词。如您所见，如果去掉这些单词中的元音，它们将出现在初始列表中：
tapa => tp
吐蕃=> tb
tuba => tb
不管怎么说，我只想知道是否可以在
浏览 2提问于2016-09-19得票数 0
回答已采纳
1回答
当我在文件或shell中运行此命令时
import nltk
我得到以下错误：
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
File "/usr/lib/python2.7/dist-packages/nltk/__init__.py", line 83, in <module>
from collocations import *
File "/usr/lib/python2.7/dist-packa
浏览 2提问于2015-12-11得票数 1
回答已采纳
1回答
使用nltk库提取关键字
、、、
我正在开发一个应用程序，它要求我从会话流中提取关键字(并最终生成这些单词的标记云)。我正在考虑以下步骤：
标记每个原始会话(输出存储为strings)Remove停止词列表)、使用词干器(Porter词干算法)、
到目前为止，nltk提供了所有的工具，我need.After这一点，但我需要在某种程度上“排序”这些词，并提出最重要的词。有人能建议我从nltk那里用什么工具来做这个吗？
谢谢尼希特
浏览 4提问于2011-06-08得票数 2
因此，我正在尝试使用朴素贝叶斯来构建twitter情感分析模型。我在尝试预处理我的数据时遇到了一个问题。下面是我的代码： 这是我的数据加载代码 df = pd.read_csv('full-corpus.csv',
encoding='latin1',
names=['topic', 'sentiment', 'TweetId', 'TweetDate','TweetText'])
trainingData = df.to_dict(orient='records'
浏览 32提问于2020-06-25得票数 0
说明我所要做的事情的例子是在的3.1部分
本质上是这样的：
import nltk
text = " ..... " #Whatever the text should be
nltk.chunk.conllstr2tree(text, chunk_types=['NP']).draw()
这将根据给定的text生成树。
我编写的代码试图使用文本文件中的输入。因此，在打开它之后，我使用readlines获得它的字符串版本。
import nltk, re, pprint
f = open('sample.txt', 'r')
f
浏览 0提问于2015-09-19得票数 1
回答已采纳
1回答
如何处理分类任务的n-图？
、、、、
我将使用n-gram在样本数据集上训练分类器。我搜索相关内容并编写了下面的代码。由于我是python的初学者，所以我有两个问题。
1-为什么词典应该有这个“真”结构(加上注释)？这与朴素贝叶斯分类器的输入有关吗？
2-你推荐哪种分类器来完成这个任务？
欢迎任何其他缩短代码的建议:)。
from nltk.corpus import movie_reviews
from nltk.corpus import stopwords
from nltk import ngrams
from nltk.classify import NaiveBayesClassifier
import nltk.cl
浏览 2提问于2020-10-26得票数 0
2回答
我有以下get_or_create方法。
class LocationView(views.APIView):
def get_or_create(self, request):
try:
location = Location.objects.get(country=request.data.get("country"), city=request.data.get("city"))
print(location)
return Response(location,
浏览 0提问于2018-03-17得票数 1
我一直在研究如何在大量单词列表中执行前缀搜索(例如，返回以“as”开头的所有单词)。我注意到，经常为此目的推荐使用Trie。
不过，我想出了一个关于Trie想法的简单变体。这个想法的前提是，在Python中，dict中的键查找非常快。那么，简单地将整个单词列表的所有出现的前缀存储为键，并且值在每个前缀的列表中包含匹配的单词，怎么样？
from collections import defaultdict
import nltk
# For the example I use the entire English word list of the nltk library, but this
浏览 0提问于2023-04-12得票数 5
回答已采纳
我有下面的代码片段
classifier = NaiveBayesClassifier.train(train_data)
#classifier.show_most_informative_features(n=20)
results = classifier.classify(test_data)
错误显示在下面的一行
results = classifier.classify(test_data)
错误：
Traceback (most recent call last):
File "trial_trial.py", line 46, in <module&g
浏览 0提问于2016-05-05得票数 23
回答已采纳
这是我的密码：
file_input1 = open('Amazon_Indi_Seller.py', 'r')
f1 = file_input1.read().lower()
file_input2 = open('Amazon_Prices.py', 'r')
f2 = file_input2.read().lower()
documents = [f1, f2]
import nltk, string, numpy
stemmer = nltk.stem.porter.PorterStemmer()
lemmer =
浏览 0提问于2018-09-12得票数 3
回答已采纳
1回答
在编码4B5B时，规则不超过一个前导零，不超过两个尾随零。例如，要转换1110，结果是11100；只需将零添加到end即可。
要转换0101，我认为结果应该是01010，因为只有一个前导零，而不超过两个尾随零。
然而，正确的结果是01011。为什么会这样呢？
浏览 0提问于2015-10-31得票数 2
回答已采纳
我正在尝试使用NLTK工具包提取主语、宾语和动词组合。到目前为止，这是我的代码。我怎么能做到这一点呢？
import nltk
from nltk.tokenize import sent_tokenize, word_tokenize
grammar = r"""
NP:
{<.*>+} # Chunk everything
}<VBD|VBZ|VBP|IN>+{ # Chink sequences of VBD and IN
"""
cp = nltk.Regexp
浏览 4提问于2014-08-20得票数 2
我正在尝试使用nltk.ConditionalFreqDist生成的表，但似乎找不到任何关于将表写入csv文件或导出为其他格式的文档。我喜欢在pandas dataframe对象中使用它，这也很容易写到csv中。我能找到的唯一一个推荐的线程并没有真正解决我的问题。
我编写了以下函数将nltk.ConditionalFreqDist对象转换为pd.DataFrame：
def nltk_cfd_to_pd_dataframe(cfd):
""" Converts an nltk.ConditionalFreqDist object into a pandas Da
浏览 2提问于2013-03-01得票数 7
回答已采纳
1回答
NLTK正则表达式使用如下标记：
<DT>? <JJ>* <NN>*
有没有一种方法可以在regex中包含单词？即："<N> <such> <as> <N> <and> <N>"
浏览 0提问于2014-11-09得票数 2
1回答
我目前正在运行这段代码，用于搜索我的整个文本处理的bigram。
可变的全文是真正长的文本(超过一百万字)。
我运行这个代码来提取bigram
from nltk.tokenize import RegexpTokenizer
from nltk.corpus import stopwords
import re
tokenizer = RegexpTokenizer(r'([A-za-z]{2,})')
tokens = tokenizer.tokenize(alltext)
stopwords_list = stopwords.words('english&#
浏览 6提问于2016-10-12得票数 2
回答已采纳
我需要用python将一个列表写到一个文件中。我知道这个列表应该用join方法转换成一个字符串，但是因为我有一个元组，所以我搞糊涂了。我尝试了很多将变量改为字符串等，这是我的第一次尝试：
def perform(text):
repository = [("","")]
fdist = nltk.FreqDist(some_variable)
for c in some_variable:
repository.append((c, fdist[c]))
return ' '.join(reposi
浏览 0提问于2011-01-11得票数 2
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
