2回答
我试图做一些关于简体中文文本的NLP (需要提取句子结构和做命名实体识别)。我以前在英语文本中使用过spaCy，但我看到关于中国模式的一点注记表明它们是一项正在进行的工作，对于我尝试过的例子来说，for提取的准确性很低。
哪个NLP库拥有最成熟的预建汉语模型？理想情况下，基于Python的。
浏览 0提问于2020-08-02得票数 1
1回答
使用Python3.5、NLTK和WordNet (最新版本)，我计算了单词"continuous“和”continuous“的所有同义词集对之间的wup_similarity()。每个距离都是"None“，即使这两个单词的简单英语含义看起来很相似。我还注意到这些词的词性分别是“形容词”和“形容词卫星”。
是否因为词性不同导致计算失败？有没有办法以某种方式将这两个词性结合起来以规避这个问题？
提前谢谢你。下面给出了我的代码片段。
import nltk
from nltk.corpus import wordnet as wn
sl1 = wn.synsets("con
浏览 2提问于2018-06-01得票数 1
我正在做Python NLTK标签，我的输入文本是非印地语。为了对输入文本进行标记化，必须首先对其进行训练。
我的问题是如何训练数据？
我在stackoverflow上给我建议了这行代码。
train_data = indian.tagged_sents('hindi.pos')
*非印地语数据输入如何。
浏览 2提问于2015-06-01得票数 0
我有位置标签输入从OpenNLP...我需要使用这些与WordNet...but wordnet只使用4个标签-名词，动词，形容词，adverb...where OpenNLP生成基于的标签。我需要把它们转换成兼容wordnet的标签...我确实在网站上找到了 --但都是python..我需要java
同意我可以自己写一个简单的函数来重命名这些tags..but，以及如何处理其他标签，如DT，PP，PDT，POS，MD等。
浏览 0提问于2011-04-19得票数 2
1回答
我真的不明白。我正在使用WordNet，我遇到了麻烦。我用这样的字符串调用以下方法：
F2F -开始处理，创建计划数据，创建货物收据，创建货物收据
def lemmatise(word, pos=NOUN):
return WordNetLemmatizer().lemmatize(word, pos)
这个方法调用下一个方法：
def lemmatize(self, word, pos=NOUN):
lemmas = wordnet._morphy(word, pos)
return min(lemmas, key=len) if lemmas else wo
浏览 1提问于2017-01-06得票数 0
1回答
这是语料库
abcdef
abcd
xabcd
b
bcef
ef
aef
我想提取的是abcd，ef，然后我试着计算所有的n-gram：
abcdef 1
abcd 3
abc 3
...
我的问题是如何区分abcd、abcdef和abc，因为abcdef只出现一次，而abc是'abcd‘的子字符串。当然，我可以用这两个条件进行过滤，但只想知道解决这个问题的任何现有算法目标，还是python中的一个包？
更新
我确实知道如何在python中计算n-gram，所以我的问题更多的是如何区分abcd和abcdef和abc，而不是如何计数。但是，如果您知道任何旨在解决这个NLP问题的pyth
浏览 0提问于2015-12-01得票数 1
我正在训练一个做序列预测的模型。例如，给定某人写的前10个单词，我正在训练LSTM来预测他们将写的下一个单词。我有一个模型，它有时是有效的，所以我想创建一个度量来跟踪模型通过词性标签预测下一个单词的能力(即预测动词时的损失的一个度量，预测名词时的损失的一个单独度量，以及预测其他所有词性时的损失的最后一个度量)。所以，我拥有的数据看起来像这样： |----------------------------------------------------------|----------|----------------|
| X
浏览 10提问于2019-12-20得票数 1
在python nltk中有没有什么包可以为一个给定的单词生成所有不同的词性呢？例如，如果我给出add(动词)，那么它必须产生加法(名词)、加法(Adj)等等。有谁能让我知道吗？
浏览 2提问于2010-11-11得票数 0
2回答
我有这个函数，它使用NLTK从给定的文本中推断出词性，并在用冒号替换每个单词及其词性之间的cammas后将它们成对压缩，但我在regex中有一个我无法理解的错误。请帮我纠正一下我的功能。这是我的功能：
def getTokenss(tweet):
poses = []
words = tweet.split()
for i in nltk.pos_tag(words):
re.sub(r",", ":", j)
poses.append(i)
浏览 0提问于2017-03-07得票数 0
我试图将python 3中的日期字符串转换为date对象，如下所示：
from datetime import datetime
import locale
date_string = "Добавлено: суббота, 26 декабря 2015 г. в 11:01:59"
locale.setlocale(locale.LC_TIME, "rus")
ru_date_object = datetime.strptime(date_string , 'Добавлено: %A, %d %B %Y г. в %H:%M:%S')
浏览 0提问于2016-11-23得票数 1
3回答
频率分布比较Python
、、、
我正在使用python和nltk来研究一些文本，我想要比较不同文本中词性的频率分布。
我可以通过一条文本来实现：
from nltk import *
X_tagged = pos_tag(word_tokenize(open('/Users/X.txt').read()))
X_fd = FreqDist([tag for word, tag in X_tagged])
X_fd.plot(cumulative=True, title='Part of Speech Distribution in Corpus X')
我试着添加另一个，但没有太多的运气。
浏览 2提问于2015-08-17得票数 2
1回答
我希望在python中执行部分词性标注和实体识别，类似于R中Maxent_POS_Tag_Annotator和Maxent_Entity_Annotator函数的openNLP函数。我希望在python中使用一个以输入作为文本句子的代码，并将输出作为不同的特征--例如"CC“号、"CD”号、"DT“号等。CC，CD，DT是宾州银行使用的POS标签。因此，应该有36列/特性的POS标签对应于36个POS标签，如在。我想在Azure ML "Execute Python Script“模块上实现这一点，Azure ML支持python 2.7.7。我听说python
浏览 1提问于2015-09-06得票数 0
回答已采纳
1回答
我正在用Stanford标签标记西班牙文本(通过Python中的NLTK )。
这是我的代码：
import nltk
from nltk.tag.stanford import POSTagger
spanish_postagger = POSTagger('models/spanish.tagger', 'stanford-postagger.jar')
spanish_postagger.tag('esta es una oracion de prueba'.split())
结果是：
[(u'esta', u'pd
浏览 1提问于2014-11-20得票数 6
回答已采纳
3回答
我想知道一个句子在python中是否真的有意义。例如
Hello, how are you today? --> Correct
Hello, are today are how --> Incorrect
到目前为止，我已经有了这段代码，它执行以下操作：
1-从nltk.browns语料库中获取20000个句子。
2-混淆最后10000个句子的单词(用于不正确的数据)
3-使用斯坦福词性标记器标记所有句子
from nltk.corpus import brown
from nltk.tokenize import sent_tokenize, word_tokenize
fro
浏览 0提问于2016-12-25得票数 3
我是NLP的新手；我在寻找一些可以将一些“单词”，如"add up"，"sign up"，"log in“等简化为其主要部分"add"，"sign”和"log“的东西。
我尝试了词根化和词干提取，但它们都没有给我带来我想要的结果。
感谢您的帮助:)
浏览 12提问于2017-07-10得票数 0
回答已采纳
1回答
我有多个文本，我想根据它们对各种词性的使用情况来创建它们的配置文件，比如名词和动词。基本上，我需要计算每个词性使用了多少次。
我已经标记了文本，但不确定如何进一步：
tokens = nltk.word_tokenize(text.lower())
text = nltk.Text(tokens)
tags = nltk.pos_tag(text)
如何将每个词性的计数保存到一个变量中？
浏览 0提问于2012-05-20得票数 20
回答已采纳
2回答
我想知道如何在Python的列表中找到专有名词的位置。我知道如何找到特定单词在list中的位置，如下所示：
for position, item in enumerate(list):
if item == 'word':
print position
理想情况下，我希望能够找到文本中专有名词的位置，然后找到离'word'最近的专有名词。
任何帮助都是最好的，谢谢。
浏览 0提问于2016-04-24得票数 0
2回答
我有一个文本语料库，其中包含用带有词性标记的树表示的句子。我想构建一个系统，可以从这个树结构中学习概率语法。有没有什么内置的python模块可以解决这个问题，或者我必须构建一个解析器？
浏览 0提问于2012-11-23得票数 2
回答已采纳
我正在尝试使用Python包装器来处理TreeTagger，这是一个词性标注器.用于导入和调用包装器的代码是：
import TreeTaggerWrapper
tagger = TreeTaggerWrapper.TreeTagger(TAGLANG='en',TAGDIR='D:/Programme/TreeTagger')
tags = tagger.TagText("This is a very short text to tag.")
print tags
错误是：'AttributeError: 'module'
浏览 3提问于2013-02-03得票数 0
回答已采纳
1回答
比较wordnet相似性度量以查看哪个与我的语料库最相关/最有用-在尝试计算lch时遇到以下错误消息-
“计算lch相似度要求Synset('home'.n.01)和Synset('chronological.a.01')具有相同的词性。”
在尝试lch之前，我必须将列表中的所有单词归一化为相同的词性吗？
作为参考，我能够在没有任何POS值归一化的情况下成功地计算。我试图计算相似度的单词列表都使用进行了词汇化。
浏览 5提问于2017-08-04得票数 1
回答已采纳
2回答
如果我想制作一个像NLTK这样的NLP工具包，那么在标记化和正常化之后，我将首先实现哪些特性。贴标签还是留标签？
浏览 4提问于2017-03-16得票数 1
回答已采纳
1回答
我正在使用spacy来处理语句中单词的pos_tags，我希望在所有情况下都将单词select作为动词阅读。所以，“我想选择一件棕色的衬衫”和“选择棕色的衬衫”(不管语法如何)都应该有select作为动词。
在spacy(python)中有什么方法可以做到吗？
浏览 1提问于2018-08-13得票数 0
1回答
我正在寻找一些POS机标签网络服务。有许多可用的解决方案(主要是在java中)可以集成，但我找不到一个可以完成这项工作的在线服务。我的问题陈述非常简单，我想发送一个单词，并得到它的词性，例如名词，动词，形容词等。
浏览 0提问于2013-06-28得票数 0
1回答
我在Python中使用CRF词性标记器，训练英文PTB样本语料库，效果很好。
现在，我想使用CRF在一个大型越南语语料库上进行训练。我需要添加一些越南功能到这个标记器，如适当的名称，日期-时间，数字，...我试了好几天，但想不出该怎么做。我已经知道数据的格式，所以这不是问题。
我对Python还很陌生。因此，任何详细的答案都会很有帮助。谢谢。
浏览 4提问于2016-03-02得票数 0
Python的arff库中的dump命令使用户能够根据给定的输入创建一个arff文件，例如：
arff.dump("outputDir", data, relation="relation1",
names=['age, fatRatio, hairColor'])
生成以下arff：
@relation relation1
@attribute age real
@attribute hairColor string
@data
10,0.2,black
22,10,yellow
30,2,black
对于给定的数据：
da
浏览 3提问于2013-04-28得票数 0
在下面的步骤中，我试图找出语句是正的还是负的：
1.)使用Stanford解析器从句子中检索词性部分(动词、名词、形容词等)。
2.)用SentiWordNet来找出与词性每个部分相关的正负值。
3.)总结得到的正负值，计算出与句子相关的净正负值。
但问题是，SentiWordNet返回一个基于不同感官/上下文的正/负值列表。是否可以将特定的句子和词性部分传递给SentiWordNet解析器，以便它能够自动判断意义/上下文，并且只返回一个正负值的对？
或者对这个问题还有其他替代的解决方案吗？
谢谢。
浏览 2提问于2013-03-27得票数 1
我是一个新的文本挖掘和自然语言处理相关的东西。我正在做一个小项目，我试图从一些文档中提取信息。我基本上是在做一个词性标记，然后使用一个分块程序来找出基于标记的words.Do的模式，在做这个词性标记之前，我需要使用停用词?使用停用词会影响我的词性标记器的准确性吗？
浏览 0提问于2016-10-20得票数 2
2回答
我是一个自然语言处理的初学者，我正在阅读关于词性标注和成分。我遇到了这样的情况:句子的成分是正确的，但词性标注是错误的。
我用了斯坦福大学的Parser。
以为例，“夫人，我是亚当”把“女士”作为副词产生，这个副词不正确，但成分是正确的。
我在找一个词性标注正确但成分错误的句子。上述条件可以适用于任何句子吗？
浏览 2提问于2014-03-07得票数 2
2回答
是否可以从文档中删除特定类型的单词(例如冠词、名词、代词、形容词、动词、副词、连词、介词和所有格代词)，就像从正文中删除停用词一样？如果是这样的话，是怎么做的？
我想象一个自然语言处理库会有这样的功能，但是我还没有找到任何东西。
浏览 1提问于2017-08-16得票数 1
1回答
我正在为聊天应用程序构建一个情感识别系统。因为核心部分是在用户输入的文本中查找动词，这可以通过词性标记器来完成。有没有可能用Lucene构建一个词性标记器？如果没有，我可以使用什么好的开源/libre软件包或系统？
浏览 1提问于2012-02-06得票数 1
2回答
我正在尝试创建一个模型，它接受一个离线Android应用程序上的输入句子，并返回给我该句子的词性。现在输入语言将是一种印度语言，所以我正在尝试训练我自己的模型来完成这项工作。我已经有了标记的数据，可以用我将要使用的语言进行训练。 我还遇到了Opennlp模型，它们为英语做了同样的工作。现在可以创建一个模型并将其与Opennlp库一起使用，这是一种自定义的Opennlp模型。我不确定这是否真的可能。 或者，我想用一些机器学习算法训练我的模型，然后使用它，但我不知道如何使用这个模型，因为我没有一个预定义的库，其中包含所有可用的命令，就像我使用Opennlp一样。 总而言之，我需要创建自己的模型来
浏览 14提问于2019-03-02得票数 0
我想将文本放在数据框架的一列中。我的脚本似乎可以使用一个简短的测试数据框架，但是每次我试图在实际的项目文件上运行它时，我都会得到一个断言错误。我认为这可能与案文的篇幅有关，但我不知道如何处理。
我的代码：
import pandas as pd
import stanfordnlp
nlp = stanfordnlp.Pipeline(lang = "en", processors='tokenize,mwt,pos,lemma')
def lemmatize(text):
'''lemmatize'''
浏览 1提问于2019-11-15得票数 0
我正在用JWNL做这项工作。我想让usery输入一个查询，然后我需要找到组成查询的单词。我需要从这些单词中识别出名词。下面是我写的代码：
public class graph
{
public static void main(String[] args) throws JWNLException
{
WordNetHelper.initialize("F:\\file_properties.xml");
System.out.println("Enter the query term!!!"
浏览 1提问于2013-10-16得票数 0
1回答
我想让我的程序知道字符串是名词、动词、形容词等等，它需要被标记化，但是我该怎么做呢？
我需要一个数据库来定义单词吗？使用自由上下文语法？
谢谢。
浏览 0提问于2012-09-23得票数 0
回答已采纳
如果我得到一台linux服务器，并在docker上运行python核心应用程序，这个应用程序可以与运行在基础linux操作系统上的.Net脚本交互吗？ 我想将字符串传递给python的nltk，以创建一个词性标记的python列表，并将该列表传递回.Net核心应用程序，该应用程序将在docker中运行。 ...Or我是否可以在同一个容器中运行.Net核心应用程序和python脚本？ 不重要的额外细节:我问这个问题的原因是我不愿意使用像IronPython这样的选项，或者任何使用Java或Python的NuGet包来做NLP (自然语言处理)。我已经在python中使用NLTK了，但我的情况需
浏览 53提问于2019-01-31得票数 0
回答已采纳
我想通过在动词前加一个“X”来标记动词在句子中的位置。我的函数执行以下步骤来实现这一点。
找到动词。我使用spaCy进行POS机标记。SpaCy输出一个词性标签列表，我称之为pos，其中句子中的每个单词都表示为一个标签。将句子也转换为列表L。确定词性列表中动词标记(例如"VBZ")的索引x。将所需的X标记插入到句子列表中的索引x处。
步骤4假设列表pos的长度与句子列表L的长度相同。通常情况就是这样，除非spaCy将标签分配给不单独索引的语句元素。在这种情况下，词性列表比句子列表更长。例如，spaCy会在单词“‘”后面看到一个括号“(”或句号。作为一个单独的位置，而Python
浏览 45提问于2018-06-03得票数 2
回答已采纳
1回答
我正在将我的NER训练成实体类型Phonenumber，它的词性是number。但是，当我测试我训练的相同数据时，分类器无法识别电话号码。
是不是因为电话号码的词性(POS)是号码(CD)？
浏览 15提问于2017-02-23得票数 1
回答已采纳
2回答
keras在嵌入后添加特征
、、、、
在嵌入Keras之后，我想将部分语音特征添加到我的单词向量中。我想把它们加为一个热点，嵌入后再连接它们。但是一个词的词性部分是动态的，所以我不能用另一个嵌入层作为词性的一部分，一个热点查找和两个嵌入层的组合。
浏览 2提问于2018-07-19得票数 0
回答已采纳
2回答
我开始使用坐骨器-学习做一些NLP。我已经使用了一些来自NLTK的分类器，现在我想尝试一下在scikit-learn中实现的分类器。
我的数据基本上是句子，我从这些句子中的一些单词中提取特征来完成一些分类任务。我的大部分特征都是名词性的:词性词性( POS )，词对左，词性字到左，字对右，词性字对右，句法关系路径从一个词到另一个，等等。
当我使用NLTK分类器(决策树，朴素贝叶斯)做一些实验时，特征集只是一个字典，其中包含特征的对应值:标称值。例如：{"postag":"noun"，“path”：“house”，"path":"VPNPN
浏览 1提问于2012-08-24得票数 5
回答已采纳
作为我大学项目的一部分，我目前正在研究一种适用于俄语的共指标记算法，基于斯坦福大学的CoreNLP。在很大程度上，这很容易:已经有了俄罗斯的lemmatisation和PoS标记模型。然而，没有用于该语言的NER模型，至少基于CoreNLP，因此，我必须使用CoreNLP的统计方法自己训练这样的模型。 问题在于如何使这个新的经过训练的NER模型适应lemmatisation和PoS- to模型。虽然我的模型是纯统计的，仍然基于原始的CoreNLP代码，但另外两个完全不同。因此，我实际上不能让我的NER集成它们。你怎么能做到这一点呢？相关代码为： props.setProperty("
浏览 21提问于2019-03-17得票数 0
2回答
假设我给你一个URL...can，你分析单词并说出该页面的“关键字”？(除了使用元标签之外)
有没有很好的开源摘要？(最好是Python)
浏览 1提问于2009-11-25得票数 1
回答已采纳
我直接像这样运行MaxentTagger：
private void test() {
MaxentTagger tagger = new MaxentTagger(modelsdir + "wsj-0-18-bidirectional-distsim.tagger");
String input = "Someone will trip over that cable.";
System.out.println(tagger.tagString(input));
}
并获得以下输出：
Someone_NN will_NN trip_N
浏览 2提问于2015-12-22得票数 0
回答已采纳
1回答
Weka词性标注+标记
、、、、
我是Weka的新手。我试图对电影评论进行感伤分类。问题是，我可以理解StringToWord向量，它标记和属性出现的单词。我想把词性标签的部分也添加到属性词汇表中，但是我是怎么被困住的呢？
以前有人试过吗？
拜托，你能指引我吗？
P.S .我使用OpenNLP进行词性标注，使用Weka J48分类器！
浏览 8提问于2016-06-28得票数 0
1回答
我应该只使用brown_news字典在python语料库中找到出现多个词性标签的单词。到目前为止，我只能做到这一点：
import nltk
brown_news = nltk.corpus.brown.tagged_words(categories="news")
multi_tags = {}
for (word,tag) in brown_news:
. . .
我知道您需要使用if-then-语句将所有单词、标签放入字典(在本例中为multi_tags)。然后，您是否会使用另一个标记来排序不会出现在多个标记中的单词？任何帮助都将不胜感激。
浏览 0提问于2014-03-08得票数 0
2回答
spaCy词性标记器通常用于整个句子。有没有一种方法可以有效地将单字词性标签应用于单个单词(或单个单词列表)？
如下所示：
words = ["apple", "eat", good"]
tags = get_tags(words)
print(tags)
> ["NNP", "VB", "JJ"]
谢谢。
浏览 18提问于2019-08-05得票数 0
回答已采纳
1回答
斯坦福大学的词性标记器能够检测搭配吗？如果是这样，我该如何使用它？
如果我想为斯坦福词性标记器提供自己的培训文件，我是否必须根据对单词进行标记
这意味着我必须将单词“归入”实体和搭配中，对吗？
如果是这样，我如何从标记器中找到搭配？
我避免了使用解析器的需要。
浏览 2提问于2010-07-06得票数 1
回答已采纳
1回答
我想用Python中的非英语语料库使用SVM进行词性标注。看起来Python还不支持使用支持向量机进行标记()。
scikit-learn有一个支持向量机模块。所以我安装了scikit-learn并在Python中使用它，但我找不到任何关于使用SVM进行POS标记的教程。
我真的不知道该怎么做，任何帮助都将不胜感激。
浏览 0提问于2015-09-05得票数 5
1回答
负实例的机器学习问题
、、、
我必须为计算机科学领域构建一个概念分析器，我将其用于机器学习，即Python的橙色库。我有概念的例子，其中的特征是引理和词性，比如算法|NN|概念。问题是，由于缺乏负面例子，实际上不是概念的任何其他单词都被归类为概念。把所有其他单词都放到学习文件中是不可行的，归类为简单的单词而不是概念(这是可行的，但不是一个很好的解决方案)。有什么想法吗？
谢谢。
浏览 1提问于2010-01-24得票数 2
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
腾讯会议活动推荐
腾讯云开发者
