在spacy中，我如何确保一个特定的字符总是被认为是完整的标记？
在spacy中，可以通过自定义的标记规则来确保一个特定的字符总是被认为是完整的标记。具体步骤如下：
- 创建一个新的spacy语言模型，例如英语模型：
import spacy
nlp = spacy.blank("en")- 定义一个函数来添加自定义的标记规则。该函数接受一个
doc参数，表示待处理的文档，以及一个token_match参数，表示要匹配的字符。函数内部使用doc.retokenize()方法来重新标记文档中的标记。
from spacy.tokens import Doc
def add_custom_rule(doc, token_match):
with doc.retokenize() as retokenizer:
for match in token_match:
start, end, label = match
span = doc[start:end]
retokenizer.merge(span)- 调用自定义函数来添加标记规则。可以通过正则表达式或者其他方式来匹配特定的字符。下面是一个示例，将连字符（-）作为完整的标记：
import re
def add_hyphen_rule(doc):
hyphen_match = [(m.start(), m.end(), "HYPHEN") for m in re.finditer(r"\-", doc.text)]
add_custom_rule(doc, hyphen_match)
# 调用示例
text = "I like to eat apples and oranges."
doc = nlp(text)
add_hyphen_rule(doc)通过以上步骤，就可以确保特定的字符（如连字符）被认为是完整的标记。在自定义标记规则中，可以根据具体需求添加其他的字符匹配规则。
注意：以上示例中的代码仅为演示目的，实际使用时可能需要根据具体情况进行适当的修改和调整。
参考链接：
相关·内容
1回答
是一个非常大的字典的实体匹配器，它使用FlashText模块。
下面第二个例子中的标点符号似乎阻止了它与实体匹配。
有人知道为什么会发生这种情况吗?如何解决？
import spacy
from spacy_lookup import Entity
nlp = spacy.load("en_core_web_sm", disable = ['NER'])
entity = Entity(keywords_list=['vitamin D'])
nlp.add_pipe(entity, last=True)
#works for this se
浏览 2提问于2019-11-24得票数 0
1回答
有没有办法使用BERT的偏移量将实体添加到spacy文档对象？问题是我的整个管道依赖于spacy，并且我使用的是spacy不提供支持的最新PUBMEDBERT。 因此，有时pubmedbert给出的实体偏移量不会导致spacy的有效范围，因为标记化是完全不同的。 到目前为止，我做了哪些工作来解决我的问题？我做了一个自定义标记器，要求spacy在标点符号上拆分，类似于bert，但在某些情况下，我就是不能制定规则。例如： text = '''assessment
Exdtve age-rel mclr degn, left eye, with actv chrdl neo
浏览 14提问于2020-09-17得票数 0
我试图使用spaCy Matcher获得以下简单示例：
import en_core_web_sm
from spacy.matcher import Matcher
nlp = en_core_web_sm.load()
matcher = Matcher(nlp.vocab)
pattern1 = [{'IS_DIGIT': True}, {'ORTH': '.'}, {'IS_DIGIT': True}, {'ORTH': '.'}, {'IS_DIGIT': True},
浏览 0提问于2017-11-30得票数 6
回答已采纳
我有一个用于文本生成的Spacy模型，我想用我的Spacy模型在每次迭代中生成的所有文本创建一个熊猫数据框架。如何将spacy.tokens.doc.Doc输出保存到熊猫数据中？
nlp = spacy.load('en_core_web_sm')
newDataSet=pd.dataframe()
docs = nlp.pipe(df['Text'])
syn_augmenter =augmenty.load('random_synonym_insertion.v1',level=0.1)
for doc in augmenty.docs(do
浏览 12提问于2022-07-23得票数 0
1回答
spaCy只能链接指定的实体吗？
、、、、
这是一篇(据说)有趣的餐馆评论的摘录：
我想亲自和Tofu先生握手。虽然我不能从医学上证明这一点，但我100%肯定他们的soondubu含有未定义的属性。从某种程度上说，我在这里用餐后总是感觉更好。吃过冷吗?去他的Nyquil<code>E 210</code>，得到辛辣的<code>e 111/code>和服 soondubu。
我想提取重要的实体，并链接到维基百科实体。我对spaCy进行了维基百科/维基数据的小样本培训，并在评论中运行实体链接：
[('Tofu', 'PERSON', 'Q177378
浏览 8提问于2020-03-23得票数 0
回答已采纳
1回答
操作系统: MacOs
软件: PyCharm
Spacy版本: 3.4.2
Python版本3.10.0
我对Spacy软件包有一个问题，那就是我根本不能使用它，我不能加载任何语言模型。下载总是成功的，但我根本不能使用/导入它。
import spacy
nlp=spacy.load('en_core_web_md')
或
import en_core_web_sm
nlp = en_core_web_sm.load()
或
nlp = spacy.load(r'DIRECTORY PATH CONTAINING THE PACKAGE')
或
import
浏览 19提问于2022-11-04得票数 1
我正在尝试实现自定义标记化来分隔单词，比如‘6英寸长’，‘6英尺’，‘3米高’
因此，我设置了自定义标记器，如下所示。
from spacy.symbols import ORTH,POS
# Add special case rule
special_case = [{'pos': "NUM"}, {'F': "-"}, {'pos': "NOUN"},{'F': "-",'op':'?'},{'pos': "
浏览 0提问于2021-03-05得票数 0
3回答
与nltk相比，我之所以选择spacy来处理各种文本，是因为它的引理性能。但是当我处理数以百万计的短文本时，它总是消耗掉我所有的内存(32G)并崩溃。没有它，只要几分钟和不到10克米被消耗。
这种方法的使用有什么问题吗？是否有更好的解决方案来提高性能？谢谢!
def tokenizer(text):
try:
tokens = [ word for sent in sent_tokenize(text) for word in word_tokenize(sent)]
tokens = list(filter(lambda t: t.lower() no
浏览 3提问于2018-01-11得票数 8
回答已采纳
我正在使用SpaCY的命名实体识别功能从简历中提取姓名、组织等信息。这是我的python代码。 import spacy
import PyPDF2
mypdf = open('C:\\Users\\akjain\\Downloads\\Resume\\Al Mal Capital_Nader El Boustany_BD Manager.pdf', mode='rb')
pdf_document = PyPDF2.PdfFileReader(mypdf)
first_page = pdf_document.getPage(0)
nlp = spacy.loa
浏览 25提问于2020-01-27得票数 1
回答已采纳
3回答
把医生弄得像医生一样？
、、、
我有一个spaCy doc，我想把它命名为。
例如：
import spacy
nlp = spacy.load('en_core_web_lg')
my_str = 'Python is the greatest language in the world'
doc = nlp(my_str)
如何将doc中的每个令牌转换为它的引理？
浏览 1提问于2018-08-02得票数 5
回答已采纳
1回答
我想保留SpaCy通常使用的标记器，但添加了一个条件。
SpaCy通常分隔点(".")从单词中提取并将其作为令牌。我想保留它，除非我有缩写："et al."，在这种情况下，我想作为标记返回：'et‘，'al.'，而不考虑将点作为另一个标记，只是在这种情况下。
我一直在查看这些信息，在我看来，解决方案可能与下面的脚本有关，但是，我不知道我可以将此条件放在哪里。
import spacy
from spacy.lang.char_classes import ALPHA_LOWER, ALPHA_UPPER, PUNCT
from spacy
浏览 25提问于2021-09-29得票数 0
我想用Spacy标记名词的性别，特别是在我的例子中，德语。
我不知道哪条Spacy管道有关于名词性别的信息，例如，标签者还是莱马提泽人？
浏览 4提问于2022-10-28得票数 1
我正在编写一个代码，在Spacy的NER引擎中训练自定义实体。我被困在理解一个在线教程的代码的一小部分。这是一个。下面是代码，我无法理解注释# add labels下的两个for循环。我对蟒蛇很陌生。
import spacy
################### Train Spacy NER.###########
def train_spacy():
TRAIN_DATA = convert_dataturks_to_spacy("dataturks_downloaded.json");
nlp = spacy.blank('en')
浏览 1提问于2021-01-07得票数 0
回答已采纳
1回答
我正在尝试使用Python语言中的spaCy模块来做词性标记。
下面是我的代码
from spacy.en import English, LOCAL_DATA_DIR
import spacy.en
import os
data_dir = os.environ.get('SPACY_DATA', LOCAL_DATA_DIR)
nlp = English(parser=False, tagger=True, entity=False)
def print_fine_pos(token):
return (token.tag_)
def pos_tags(se
浏览 0提问于2015-12-05得票数 13
回答已采纳
当我运行喷鼻狐猴，它并没有混淆“咨询”一词，因此我怀疑它是失败的。
这是我的代码：
nlp = spacy.load('en_core_web_trf', disable=['parser', 'ner'])
lemmatizer = nlp.get_pipe('lemmatizer')
doc = nlp('consulting')
print([token.lemma_ for token in doc])
我的产出是：
['consulting']
浏览 5提问于2022-10-23得票数 1
回答已采纳
我使用spacy en_core_web_trf和doc.noun_chunks来获取名词块。以前，它运行得很好，我可以正确地得到名词块。但最近，从12月中旬开始2021年(我猜)，我用同样的方式，同样的脚本，但我不能正确地得到名词块。例如，在以下脚本中：
import spacy
from spacy import displacy
nlp = spacy.load("en_core_web_trf")
test_sen = "a label on a box that ensures that the status of a parcel can be trace
浏览 16提问于2022-01-26得票数 2
回答已采纳
1回答
用spacy 3构建标签
、、、、
我想在葡萄牙语的SpaCy模型中添加更多的单词，这样我就可以使用特定领域的PoS (词性的一部分)，但是我不想添加孤立的单词，而是添加句子。我做了这三个步骤：
): I将"PetroTok-UDPIPE.conllu“文件(在这里可以免费获得：，它位于"PetroTok”文件中，包含句子(而不是单独的单词)及其各自的PoS和引理)转换为二进制的"PetroTok-UDPIPE.spacy“文件，并使用以下命令(在SpaCy页面上指示)：
python -m spacy convert PetroTok-UDPIPE.conllu .
这创建了"Petr
浏览 7提问于2021-09-27得票数 1
我正在学习NLP，我想看看我用spacy下载的词汇量。
import spacy
nlp = spacy.load('en_core_web_trf')
nlp2 = spacy.load('en_core_web_sm')
在导入Spacy并同时加载较大和较小的包后，我检查了以下内容：
len(nlp.vocab)
给770，
len(nlp2.vocab)
给761，
len(nlp.vocab.strings)
给了83934
len(nlp2.vocab.strings)
给了83914。
两者有何不同，为何不同？如何检查每个包裹的总词汇量？
浏览 3提问于2021-08-21得票数 1
回答已采纳
我们有一个熊猫数据栏，有三栏:主语、动词和宾语。
在主题栏中，数据看起来像"I“或”we“。动词栏中的，看起来像是"had”、“not”或“loved”。在object列中，看上去像“真空”或“地板”。
我试图用spacy对所有这些列进行分类，以添加三个新列: subject_lemma、verb_lemma和object_lemma。我可以用下面的代码做到这一点，但我遇到的问题是有些事情没有被正确地命名(例如，动词栏中带有“爱”的单元格没有被更改为现在时态“爱”，它只是保持不变)。在做了一些测试之后，我认为这是因为“爱”被标记为形容词而不是动词。有什么办法能让我解决这个问题吗
浏览 1提问于2021-07-17得票数 1
回答已采纳
1回答
我想将以下代码转换为使用新的spacy rekonizer.。但是，我不知道该怎么做。
>>> import spacy
>>> nlp = spacy.load("en_core_web_sm")
>>> doc = nlp("sydney is a cool town")
>>> t = doc.merge(0,6)
>>> t
sydney
>>> z = doc.merge(0,11)
>>> z
sydney is a
我尝试了
浏览 2提问于2019-10-08得票数 0
回答已采纳
编辑由于非主题
我想使用SpaCy中的regex查找(应计或应计或年度或年度)休假的任何组合：
from spacy.matcher import Matcher
nlp = spacy.load('en_core_web_sm')
matcher = Matcher(nlp.vocab)
# Add the pattern to the matcher
matcher.add('LEAVE', None,
[{'TEXT': {"REGEX": "(Accrued|accrued|Annua
浏览 0提问于2019-08-20得票数 2
回答已采纳
我已经将大约40 of的英文维基百科提取成纯文本。我会用它来构建一个带有gensim的word2vec模型。要做到这一点，我需要先把它分成几个句子。我该怎么做？我试过：
from __future__ import unicode_literals, print_function
import spacy
from spacy.lang.en import English
nlp = spacy.load('en_core_web_sm')
nlp.max_length = 47084146
ftest = open("test_02", "r"
浏览 3提问于2020-07-24得票数 0
回答已采纳
我使用spaCy库对POS进行标记，但是当我运行这段代码时，它会在pos标记的位置返回数字：
import spacy
from spacy.lang.fr.examples import sentences
nlp = spacy.load('en')
mystring = " I am missing my lovely family a lot."
exuu = nlp(mystring)
for word in exuu:
print(word.text, word.pos)
以下是输出的样子：
102
I 94
am 99
missing 99
浏览 0提问于2018-12-04得票数 3
回答已采纳
我尝试运行以下代码，这是关于从句子中识别主题并将主题写入Excel文件的代码：
from nltk.tokenize import sent_tokenize
import spacy
import xlsxwriter
workbook = xlsxwriter.Workbook('Sub.xlsx')
worksheet = workbook.add_worksheet()
row=0
col=0
nlp = en_core_web_sm.load()
f=open("cdata.txt").read()
s=sent_tokenize(f)
for se
浏览 0提问于2017-04-22得票数 3
回答已采纳
1回答
我正在尝试使用spaCy从像这样的字符串中提取信息：GENERAL SYSTEM INFORMATION: 194V MAX DC VOLTAGE MODULES: (19) phonosolar PS310M-24/T 10.36A MAX POWER CURRENT，而不是专门像这样。其中重要的实体是19: EQUIP_QUANTITY、phonosolar: EQUIP_MANF和PS310M-24/T: EQUIP_MODELNO。然而，在这样的事物的大型数据集(10k)样本上训练它的结果并不是很好，它错误地分类了许多实体。它说未对齐的实体将被认为是"-“，然而，当查看o
浏览 20提问于2021-07-09得票数 0
2回答
是否可以正确地使用:) Python库来标记像:(、spaCy、;~(这样的表情符号？例如，如果我运行以下代码：
import spacy
nlp = spacy.load('en')
doc = nlp("Hello bright world :)")
然后使用可视化文档。
它错误地将world :)解析为一个令牌。如何修改spaCy以使其识别这些附加符号？谢谢。
编辑：发现了以下内容：，但我认为它只支持✨之类的Unicode表情，而不支持:)这样的
浏览 1提问于2018-02-26得票数 4
回答已采纳
英语语言模式在德语敬语实体上的表现是否比德语模型更好？
# pip install spacy
# python -m spacy download en
# python -m spacy download de
nlp = spacy.load('en')
# Uncomment line below to get less good results
# nlp = spacy.load('de')
# Process text
text = (u"Das Auto kauft Herr Müller oder Frau Meier, Frank
浏览 0提问于2018-07-25得票数 0
2回答
我有使用Spacy的Tokenised法语文本，但不能使用TFidfvectoriser矢量化
我尝试了这个代码，但它给出了错误
vectorizer.fit_transform(data.spacyd)
from sklearn.feature_extraction.text import CountVectorizer,TfidfVectorizer
from spacy.tokenizer import Tokenizer
vectorizer=CountVectorizer()
“spacy.tokens.doc.Doc”对象没有属性“lower”
浏览 17提问于2019-07-28得票数 1
基本上是在寻找与spacy.strings.get_string_id()相反的东西，它不需要加载语言模型来获取词汇表。我尝试过StringStore方法，但您需要先添加字符串，否则会出现"Can't retrieve string for hash 'xxx'“错误。
用例是散列被序列化，然后在其他地方被反序列化。
浏览 6提问于2020-02-06得票数 0
回答已采纳
1回答
gigaword数据集是一个用于训练抽象摘要模型的大型语料库。它包含了这样的摘要：
spain 's colonial posts #.## billion euro loss
taiwan shares close down #.## percent
我想用spacy处理这些摘要，并为每个标记获取正确的pos标记。问题是，数据集中的所有数字都被#符号所取代，而spacy并不将其归类为数字(NUM)，而是作为其他标记分类。
>>> import spacy
>>> from spacy.tokens import Doc
>>> n
浏览 1提问于2020-02-10得票数 6
回答已采纳
我想用spaCy在我自己的语料库上训练NER，它是通过WebAnno注释的.不幸的是，spaCy中的一个NE类别的表示法与WebAnno中的相应表示法不匹配:在WebAnno中，标签是"OTH“，而spaCy标记它是"MISC”(语义上是相同的)。这会否以负面的方式影响训练过程或测试准确性？在这种情况下，是否需要再训练一种NE型的"OTH“？谢谢你的帮助!
使用的spaCy版本: 2.2.5
浏览 1提问于2020-02-11得票数 0
回答已采纳
我有一个文本文件，我已经使用SpaCy创建了一个DOC对象： doc = nlp.make_doc(raw_text) 对于此DOC对象中的每个单词，我还有一个自定义IOP标记列表： ['O', 'B-PER', 'I-PER', 'O', 'O', 'O', 'O', 'B-DATE', 'I-DATE', 'I-DATE', 'I-DATE', 'I-DATE', 'O', '
浏览 95提问于2021-08-12得票数 1
2回答
我正在尝试在一个新的python3环境中下载spaCy库。 这就是我所拥有的： python3 -m venv .env
source .env/bin/activate
conda install -c conda-forge spacy
conda install -c conda-forge spacy-lookups-data
python3 -m spacy download en_core_web_sm 我得到的错误是: /Users/KerryChowChow/Dropbox/2019data_art/.env/bin/python3:没有名为spacy的模块 我在环境下同时安
浏览 25提问于2019-12-19得票数 1
回答已采纳
我试图在文本中识别概念。我常常认为，当两个或多个单词相对接近时，一个概念就会出现在文本中。例如，一个概念将是森林、树木、大自然中任何一个离火、燃烧、过热的距离小于4字的词。
我正在学习spacy，到目前为止，我可以像这样使用matcher：
import spacy
from spacy.matcher import Matcher
nlp = spacy.load("en_core_web_sm")
matcher = Matcher(nlp.vocab)
matcher.add("HelloWorld", None, [{"LOWER": &
浏览 1提问于2019-07-01得票数 2
回答已采纳
1回答
我正在为“en_core_web_sm”spaCy nlp型号的令牌添加规则，以便正确地将以下字符串标记化:将“s = "This string M=20kg/H=200mm"”放入标记“This”、“string”、“M=”、“20”、“kg”、“/”、“H=”、“200”、“mm”，但将'/‘作为前缀，而'kg’则作为前缀之前的后缀。我怎样才能制定正确的代币规则？
这是我的密码：
import spacy
nlp = spacy.load('en_core_web_sm')
s = "This string M=20kg/H=200m
浏览 3提问于2022-11-01得票数 1
我正在使用training spacy NER从resume.But error中提取技能信息 在NER模型中找不到名为“U-SKILL”的过渡 训练数据： [(U“我有2年的Python经验”，{"entities"：(30，35，"SKILL")})] 代码： other_pipes = [pipe for pipe in nlp.pipe_names if pipe != "ner"]
with nlp.disable_pipes(*other_pipes):
optimizer = nlp.begin_training()
浏览 46提问于2019-04-17得票数 4
1回答
因为有Spacy 2.3和3.0，我不知道哪一个是相关的。我运行的是2.3，因为迁移到3.0就像迁移到dojo 2.0。所有youtube上的视频都付诸东流了。不管怎么说，下面的代码是可行的：
spacy.load(r'C:\Users\martingale.henrietta\AppData\Local\Continuum\anaconda3\envs\spacy\Lib\site-packages\en_core_web_sm\en_core_web_sm-2.3.1')
或
nlp = en_core_web_sm.load()
但是在每个教程中都有这样的一句话-
spa
浏览 2提问于2021-02-04得票数 2
我试图在spaCy中创建一个词汇化程序，但是当我运行我拥有的代码时，这个错误总是弹出。
Traceback (most recent call last):
File "word_pract.py", line 46, in <module>
from spacy.lang.en import LEMMA_INDEX, LEMMA_EXC, LEMMA_RULES
ImportError: cannot import name 'LEMMA_INDEX' from 'spacy.lang.en'
这就是代码
import
浏览 65提问于2019-11-09得票数 4
回答已采纳
我使用scattertext来解析xlsx中的文档，但我使用的是非英语语言，我很乐意添加词汇化和标记化。我只在spaCy上检查过，它可以工作，但我不知道如何将它集成到我的散点图中。
import pandas as pd
import spacy
import pl_core_news_sm
nlp = spacy.load("pl_core_news_sm")
#nlp = pl_core_news_sm.load()
import scattertext as st
from pprint import pprint
from spacy.lang.pl.stop_w
浏览 2提问于2020-06-30得票数 0
1回答
在德语中，名词奇异化似乎存在一个问题。Spacy似乎依赖于被大写的单词来识别它们为名词。举个例子：
import spacy
nlp = spacy.load("C:\\Users\\somepath\\spacy\\de_core_md\\de_core_news_md\\de_core_news_md-2.2.5")
def lemmatize_text(text):
"""returns the text with each word in its basic form"""
doc = nlp(text)
浏览 12提问于2020-04-06得票数 3
2回答
我有几个元素是在空间操作后得到的，输入输入-
li = ['India', 'Australia', 'Brazil']
for i in li:
print(type(i))
输出：
<class 'spacy.tokens.token.Token'>
<class 'spacy.tokens.token.Token'>
<class 'spacy.tokens.token.Token'>
我希望使列表中的所有元素都具有str类型用于迭代。预期产
浏览 0提问于2018-11-02得票数 3
回答已采纳
1回答
在Spacy NLP中，我无法获得命名实体的准确输出。我的字符串值在多行上。请检查以下代码：
from spacy import displacy
from collections import Counter
import en_core_web_sm
nlp = en_core_web_sm.load()
m = (u"""Release the container 6th August
USG11223
USG12224
USG21113""")
doc = nlp(m)
print([(X.text, X.label_) for X
浏览 0提问于2019-08-09得票数 0
我正在重新标记一些spaCy文档，然后我需要它们的依赖关系树("parser"管道组件)。 然而，我不确定spaCy是否正确地处理了这个问题。我在文档和spacy教程中找不到任何关于retokenizer如何工作的信息。我发现的唯一一件事是原始retokenizer cython源代码，它们确实处理依赖关系，但是看起来它们只处理它们，它们不会再次进行分析。 所以我需要知道我是否可以相信我可以进行任何奇怪的retokenizations，或者我必须再次创建依赖树。
浏览 7提问于2021-01-20得票数 0
回答已采纳
1回答
我正试图用Named Entity Recognition来训练Spacy模型。作为其中的一部分，我需要将句子转换为文档，以便Spacy模型既可用于训练，也可用于预测。以下是我最初使用的方法：
import spacy
# Taking a blank model
nlp = spacy.blank('xx')
# Convert a sentence to document
doc = nlp("Hafiz's e-book reader.")
但是，在打印了分段实体之后，我得到了以下信息：
>>> print([t.text i
浏览 10提问于2022-08-22得票数 0
我已经分别安装了Spacy和en_core_web_sm，并且我试图用完整的路径加载en_core_web_sm。
import spacy
import en_core_web_sm
nlp = spacy.load(r'C:\Anaconda3\Lib\site-packages\en_core_web_sm\en_core_web_sm-2.0.0')
doc = nlp("The big grey dog ate all of the chocolate, but fortunately he wasn't sick!")
这将导致以下错误：
s
浏览 5提问于2019-12-05得票数 0
我在我的模式中指定了以下代码和常规表达式。我试图让SpaCy匹配24.51c/kWh，但是返回的匹配文本是24.51c
import spacy
from spacy.matcher import Matcher
nlp = spacy.load("en_core_web_sm")
matcher = Matcher(nlp.vocab)
pattern = [{"TEXT": {"REGEX": "[0-9]+[,.]?[0-9]+[Cc/KWHkwh]+"}}]
matcher.add("Usage", N
浏览 9提问于2020-06-18得票数 3
回答已采纳
我正在用SpaCy创建一个短语匹配器，如下所示： import spacy
from spacy.matcher import PhraseMatcher
nlp = spacy.load("en")
label = "SKILL"
print("Creating the matcher...")
start = time.time()
matcher = PhraseMatcher(nlp.vocab)
for i in list_skills:
matcher.add(label, None, nlp(i)) 我的list_sk
浏览 18提问于2020-01-06得票数 2
回答已采纳
SpaCy的文档中有一些关于添加新俚语的信息。
然而，我想知道：
(1)何时调用以下函数？
lex_attr_getters[NORM] = add_lookups(Language.Defaults.lex_attr_getters[NORM], NORM_EXCEPTIONS, BASE_NORMS)
根据介绍指南spaCy，的典型用法如下：
import spacy
nlp = spacy.load('en')
# Should I call the function add_lookups(...) here?
doc = nlp(u'Apple is look
浏览 0提问于2018-03-26得票数 3
回答已采纳
我想做一些相当琐碎的事情，但却很费力地编写函数来完成它。对于自然语言处理多类分类任务，我必须对熊猫DataFrame进行预处理。感兴趣的列被解析为html文本(列："tweet")。我规范化了我的数据(小写，去掉标点，停用词，...)然后我想用spacy对它进行词汇化，然后把它写回一个列。但是，我无法将函数组合在一起。我在SO上找到了几个示例，但它们都使用列表，我无法将其转换为DF。因为我有一个很大的DataFrame (10 to )，所以我想使用一个不太慢的函数。如有任何帮助或建议，将不胜感激。谢谢您:) # My real text is in german, but
浏览 30提问于2020-07-03得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
云直播活动推荐
腾讯云开发者
