检测语料库中的模式匹配
模式匹配是一种在文本或数据中查找特定模式的技术。在语料库中进行模式匹配可以帮助我们快速准确地检测出特定的模式或规则，从而实现各种应用，如文本分析、信息提取、自然语言处理等。
模式匹配可以通过正则表达式、字符串匹配算法等方式实现。正则表达式是一种强大的模式匹配工具，它可以用来描述字符串的特定模式，例如匹配邮箱、电话号码等。常见的字符串匹配算法包括KMP算法、Boyer-Moore算法等，它们通过预处理模式串，提高匹配效率。
在语料库中进行模式匹配可以应用于多个领域。例如，在文本分析中，可以使用模式匹配来检测特定的词语、短语或句子，从而实现关键词提取、情感分析等任务。在信息提取中，可以利用模式匹配来抽取结构化信息，如日期、地点、人名等。在自然语言处理中，模式匹配可以用于语法分析、句法分析等任务。
对于检测语料库中的模式匹配，腾讯云提供了一系列相关产品和服务。其中，腾讯云的自然语言处理（NLP）服务可以用于文本分析和信息提取，包括关键词提取、情感分析、实体识别等功能。腾讯云的人工智能开放平台（AI Lab）也提供了多种自然语言处理的API接口，可以满足不同的需求。
此外，腾讯云还提供了云原生的容器服务（TKE）和服务器less架构（SCF），可以帮助开发者快速部署和运行应用程序。腾讯云的数据库服务（TencentDB）提供了多种数据库类型，如关系型数据库、NoSQL数据库等，可以满足不同的存储需求。腾讯云还提供了网络安全服务，如DDoS防护、Web应用防火墙等，保障用户的数据安全。
总之，模式匹配在语料库中的应用非常广泛，可以通过腾讯云提供的各种相关产品和服务来实现。腾讯云的自然语言处理、人工智能开放平台、容器服务、数据库服务和网络安全服务等都是推荐的腾讯云产品，可以满足不同场景下的需求。具体产品介绍和更多信息，请参考腾讯云官方网站：https://cloud.tencent.com/
相关·内容
1回答
我正试图为一个大型语料库编写一个复杂的正则表达式。但是，由于有很多OR，我无法捕捉到" not“在not to to not not
我希望它能分别匹配基动词和n t：例如 it 和n t
我在第一行中添加了它:带有regex的。
任何线索为什么它没有选择，尽管它存在于一阶表达式:a{1}‘\w
编辑： regex是长的，因为它是一个大型语料库的一部分。我的问题是，即使我把OR放在第一位，它也没有被分离出来。
提前感谢
浏览 1提问于2018-11-26得票数 0
回答已采纳
我有一堆纯文本文件，我想将它们分类为A类或B类。
为了进行训练，我正在考虑将类型作为A类或B类添加到每个文件中，并尝试识别一些可以预测文件类型的特征。我可以创建一个纯文本语料库，但有没有办法在创建语料库时添加文件的类型？
浏览 2提问于2013-02-25得票数 0
回答已采纳
我有两百万的播客名单。此外，我有一个巨大的文本语料库从一个子-Reddit(帖子，评论，线程等)我们列表中的播客经常被用户提及。我想要解决的任务是，我必须用我们的语料库中的每个名字来计算提到的次数。换句话说，生成(name: count)对的字典。
这里的挑战是，这些Podcast的大多数名字都有几个字长，例如：“犹他州正午新闻”；“国会听到技术政策辩论”等等。然而，Reddit用户所提到的通常是原始名称的一个粗略的子串，例如：“犹他州正午/犹他州新”或“国会技术辩论/国会听到技术”。这使得从列表中识别姓名相当困难。
我尝试过的:首先，我处理并连接原始播客名称中的所有单词为一个单词。例如，“国
浏览 5提问于2021-10-30得票数 0
回答已采纳
1回答
我已经下载了语料库，并希望将其导入到NLTK。我在问题的答案中描述了一种方法。在这个答案中，他们是为一个数据文件这样做的。我想把它们收集起来。
BLLIP语料库是由几百万个文件组成的集合，每个文件都包含几个被解析的句子。包含数据的主文件夹名为bllip_87_89_wsj，它包含3个子文件夹，1987、1988、1989 (每年一个)。在子文件夹1987中，您有子文件夹，每个子文件夹都包含许多与解析句子相对应的文件。子文件夹的名称类似于w7_001 (对于文件夹1987)，文件名是w7_001.000、w7_001.001等等。
有了所有这些，我的任务如下：使用NLTK解析器顺序读取所有文件。
浏览 1提问于2017-03-06得票数 9
我试着用Solr创建一个语料库。我有一个名为"content“的字段，我需要索引和搜索bigram和trigram。还需要使用默认搜索进行索引和搜索。如何配置这些东西？
浏览 4提问于2014-07-17得票数 0
回答已采纳
1回答
我有一个大的文件语料库，有200多个文件。你可以从这么大的语料库中预料到，有些单词拼错了，以不同的格式使用，等等。我已经做了标准的文本处理，如转换为小写，删除标点符号，词根词干。在开始分析之前，我正在尝试替换一些单词来纠正拼写和标准化它们。我已经使用了与下面相同的语法做了更多的100次替换，并且对于大多数替换，它都是按预期工作的。然而，有些(约5%)没有工作。例如，以下替换似乎只产生有限的效果：
docs <- tm_map(docs, content_transformer(gsub), pattern = "medecin|medicil|medicin|medicinee&
浏览 4提问于2016-07-27得票数 5
回答已采纳
“在大型语料库中使用Tf-Idf方法的一个本质是，使用的语料库越大，术语的唯一权重就越多。这是因为语料库中文档大小或文档长度的增加使得语料库中两个术语的权重值重复的概率较低。也就是说，Tf-Idf方案中的权重可以呈现权重的指纹。在小语料库中，Tf-Idf不能造成这种差异，因为有巨大的潜力找到具有相同权重的两个术语，因为它们在每个文档中以相同的频率共享相同的源文档。通过在抄袭检测领域中使用Tf-Idf加权方案，根据语料库的大小，该特征可以成为反对者和支持者。
这是我从tf-idf技术中推导出来的。是真的吗？
是否有任何链接或文档可以证明我的结论؟
浏览 2提问于2017-07-01得票数 6
我有一个很大的语料库，里面有一些句子，比如
text = ["$3.4 million but not section 4.1"]
我想把它打扫干净
text = ["$3,4 million but not section 4.1"]
使用简单的行，例如
text.replace("$\d.\d","$\d,\d")或re.sub。但我不知道如何映射字符串“$”+digit+。到“$”+digit+，“
有什么想法吗？谢谢
浏览 7提问于2022-05-26得票数 1
回答已采纳
1回答
我要问的问题听起来可能非常类似于post ，但我已经完成了对文本中句子的解析和令牌化。我的问题是
到目前为止，我在NLTK电影评论示例中看到的任何示例似乎都与我的问题非常相似，但是对于movie_review，培训文本已经以一种形式存在，因为它有两个文件夹pos和neg，文本存储在那里。如何对我的大型文本进行分类，是否手动读取数据并将其存储到两个文件夹中。这是否构成了语料库。在此之后，我可以像示例中的movie_review数据那样处理它们吗？
2.如果对上述问题的回答是肯定的，是否有任何手段可以加快这项任务。例如，我只想处理包含"Monty“内容的文本。然后我将它们手动分
浏览 0提问于2012-05-19得票数 1
1回答
我试图建立一个NLTK语料库使用来自Pubmed的信息。
在我的第一次尝试中，我成功地构建了一个使用Entrez包检索数据的小函数，将检索到的文章标题(字符串列表，即标题)放入文件集(每个标题作为一个新文件)，并使用每个'fileid‘(即文件名)作为文档的类别创建了一个语料库。
现在我必须加紧游戏:每个语料库的文档都需要有一个标题、一个摘要和相应的MeSH术语(最后这些需要定义语料库的类别，而不是用文档的名称来定义)。
因此，现在我有一些问题，我不知道如何真正解决。我将向后开始，因为它可能更容易理解：
1)我的语料库读者如下：
corpus = CategorizedPlaintex
浏览 2提问于2017-11-09得票数 0
回答已采纳
我有一个字符串矢量中的大型文本语料库(app。700.000个字符串)。我正在尝试替换语料库中的特定单词/短语。也就是说，我有一个app 40.000短语的向量和一个相应的替换向量。
我正在寻找一个有效的方法来解决这个问题
我可以在for循环中完成，循环遍历每个模式+替换。但它的伸缩性很差(3天左右!)
我也尝试过qdap::mgsub()，但它的伸缩性似乎也很差
txt <- c("this is a random sentence containing bca sk",
"another senctence with bc a but also with z
浏览 0提问于2019-03-31得票数 4
我对在Python中实现自动完成很感兴趣。例如，当用户键入一个字符串时，我希望显示磁盘上名称以该字符串开头的文件的子集。
在大型语料库(比如几十万个字符串)中查找与某个条件匹配的字符串的有效算法是什么？类似于：
matches = [s for s in allfiles if s.startswith(input)]
我希望条件是灵活的。只要输入中的所有字母都以相同的顺序出现在s中，它就是匹配，而不是严格的startswith。还有什么比我在这里展示的蛮力方法更好的呢？
浏览 2提问于2008-12-12得票数 2
回答已采纳
看来，呈现函数折衷了DataTable对我的一列的排序能力。本专栏包含所谓的“语料库排名”。语料库等级都是整数，但为了接口目的，我编写了一个呈现函数来检测语料库等级何时超过4000。如果是这样的话，那么我的呈现函数就会将语料库级别条目更改为一个字符串，上面写着“罕见”。
--这是因为当某人单击列的标题试图按语料库排序时，语料库级别被视为字符串而不是整数。如果我删除呈现函数，则该列实际上被排序为整数，而不是字符串。
columns.push({
"name": $(this).data("fieldna
浏览 4提问于2017-08-10得票数 1
回答已采纳
我试图建立一个闪亮的应用程序，可以动态显示从数据库列匹配语料库从文本框，即句子。当用户开始在文本框中键入文本时，所有将匹配的句子(来自键入的文本的语料库)都需要按与我尝试过的语料库匹配的词数顺序显示kwic函数，但这无助于动态匹配语料库，我尝试的方法，
require(quanteda)
require(tm)
data(crude, package = "tm")
mycorpus <- corpus(crude)
kwic(mycorpus, "company") # Pass the words from the text box corpus
请
浏览 5提问于2017-08-14得票数 0
回答已采纳
我试图解决的问题是:我有一百万个单词(多种语言)和一些类别，它们被归类为我的训练语料库。给定单词的测试语料库(数量肯定会随着时间的推移而增加)，我希望在训练语料库中获得这些单词中每个单词的最接近匹配，从而将该单词归类为其最接近匹配的相应类别。
我的解决方案是:最初，我做了这种没有规模的蛮力。现在，我想在训练语料库(O(n))的连接上构建一个后缀树，并查询测试语料库(固定时间)。尝试用python来做这件事。
我正在寻找工具或包，以帮助我开始，或者寻找其他更有效的方法来解决手头的问题。提前谢谢。
编辑1:至于如何找到最接近的匹配，我考虑的是精确匹配对齐的组合(从后缀树中)，然后对于剩余的输入字符
浏览 46提问于2019-06-26得票数 1
目前，我已经确定了给定场景中的实体，并尝试使用邻域分析技术对输入实体和输出实体进行分类。这种方法不太准确，因为提供场景的方式可能会不时改变。
举个例子：
有一个门，窗口和安全。如果关上门，打开窗户，保险箱就解锁了。
要找到这方面的布尔表达式，我们需要考虑安全，门和窗口是entities.Furthermore，保险箱是一个输出实体，另外两个是输入实体。
有人能建议我使用python来识别哪些是输入实体，哪些是输出实体的正确逻辑吗？
浏览 0提问于2019-02-05得票数 0
大家好，我是iPhone的openCV新手，我想识别任何图像中的不同对象，如钢笔、铅笔、气球、汽车、自行车等。
那么这是可能的吗？或者有没有关于这方面的教程或完美指南？
提前谢谢。
浏览 1提问于2011-08-18得票数 2
回答已采纳
1回答
我是NLP的新手。我正试图在语料库中搜索词性序列。目标是搜索词性标签序列，并从给定语料库中找到与序列匹配的所有句子。
输入:敏捷的棕色狐狸跳过懒惰的狗。Tagger将处理标记句子: POS tagging results in: DTJJVBDDTNNS Apply search将生成匹配此序列或更长的任何句子。
如何按词性搜索？NLTK或spacy中有没有直接函数？
我希望能就解决问题所需的步骤和我可能面临的挑战提供一些指导。
请注意，我发现有人在stackoverflow上发布了类似的问题，但我认为他面临的问题更具体。
浏览 4提问于2020-04-20得票数 0
我用ICD10代码从UMLS数据库创建了一个cTAKES定制字典。
现在我可以通过例如疾病名称来分析文本，例如Asthma和注释索引将包含这个匹配的code = "J45.90"的ICD10代码。
是否可以通过配置cTAKES来逆转这一过程，以便在文本中查找ICD10代码外观？
浏览 19提问于2017-12-15得票数 1
1回答
给出一个相关文档语料库(语料库)和一个随机文档语料库( ran_CORPUS )，我想用ran_CORPUS作为基线来计算语料库中所有单词的TF-以色列国防军分数。在我的项目中，ran_CORPUS的文档数量大约是语料库的10倍。
CORPUS = ['this is a relevant document',
'this one is a relevant text too']
ran_CORPUS = ['the sky is blue',
'my cat has a furry tai
浏览 1提问于2018-11-12得票数 2
回答已采纳
2回答
我正在尝试用NLTK创建我自己的语料库。我已经阅读了一些关于这方面的文档，它看起来相当复杂……我想做的就是用我自己的文本“克隆”影评语料库。现在，我知道我可以将move评论语料库中的文件更改为我自己的...但这限制了我一次只能处理一个这样的语料库(即。我必须不断地交换文件)。有没有办法克隆影评语料库？
谢谢，亚历克斯
浏览 1提问于2012-06-04得票数 0
回答已采纳
我对机器学习非常陌生。这是我的大学项目。我想在Python中开发CV推荐系统的web应用程序。我有很多.txt格式的简历。
我的问题如下：
我可以申请什么类型的学习？(监督/非监督)
我在一个文件夹里有不同的文件。那么是否需要建立一个语料库呢？如果需要建立一个语料库，那么我可以创建一个语料库吗？
我对应用程序的流程非常困惑。
请任何人建议我如何开始开发web应用程序的步骤？
你的帮助将不胜感激。
浏览 0提问于2019-01-31得票数 0
回答已采纳
1回答
离线语言检测库或脚本
、、、
我的Python服务之一是使用textblob进行语言检测。上个月，Google对textblob调用的API服务做了一个破变。已经提供了更新textblob以使其再次工作的步骤。但我已决定，我希望我的服务不容易受到第三方破坏的变化。因此，我正在寻找一个离线解决方案。
这是目前正在讨论的职能。对此没有太大影响：
def is_english(text):
blob = TextBlob(text)
language = blob.detect_language()
return language == "en"
解决办法应：
能够确定一页文本(~300字
浏览 0提问于2021-10-31得票数 1
回答已采纳
1回答
我用字典来识别语料库中一组特定单词的用法。我已经在字典中包含了多个单词模式，但是，我认为dfm_lookup (来自quanteda包)与多个单词表达式不匹配。有人知道如何使用包含多个单词表达式的字典与dfm_lookup做同样的事情吗？
library(quanteda)
BritainEN <-
dictionary(list(identity=c("British", "Great Britain")))
British <- dfm_lookup(debate_dfm,
British
浏览 0提问于2020-01-23得票数 2
回答已采纳
我有一个ADT表示我想使用/检测的密码算法。泛型类Algo包含一些实用方法，包括一个方便的自动生成的regex，用于检测字符串中algo的名称。
sealed trait Algo {
override def toString = this.getClass.getSimpleName.dropRight(1)
val name = toString
val javaName = toString.replaceFirst("HS", "HmacSHA")
val r = s".*$name.*".r
浏览 0提问于2016-05-30得票数 1
回答已采纳
我在A语料库上训练了我的分类模型，并在B语料库上对其进行了评估。
我这么做是因为A语料库的标记句比B多。A中句子的性质与B中的句子不同。A有电子商店的产品名称，B有在购物清单上出现的产品名称，有所有的俚语、缩写、拼写错误和私人注释。
我在做转移学习吗？
浏览 0提问于2020-11-13得票数 1
回答已采纳
我试图提取所有文本，包括类别(即A，B，C)。
A <some text1>
B <some text2>
C <some text3>
但是，当我应用这个正则表达式时-
ptrn='\n[A-z]*\t'
pattern1= '(.*)'+ptrn
f = re.findall(pattern1,test_doc)
它给了我
f[0] = A <some text1>
f[1] = <some text2>
f[2
浏览 1提问于2018-01-27得票数 0
回答已采纳
1回答
我试图写一个算法，可以计算出一个句子的‘出乎意料’或‘信息复杂性’。更具体地说，我试图对一组句子进行排序，这样最简单的句子就会排在第一位。
我的想法是，我可以使用一个压缩库，比如zlib?，在同一种语言的大型文本语料库上进行“预训练”(称之为“语料库”)，然后将不同的句子附加到文本语料库中。
也就是说，我可以定义一个句子的复杂性度量，它需要多少字节才能压缩整个语料库，而整个语料库则需要一个不同的句子。(额外字节越少，该句子就越可预测或“预期”，因此复杂度就越低)。这有意义吗？
问题在于如何找到合适的库来让我这样做，最好是从python那里。
我可以把句子加到一个大语料库中，并要求压缩库来压缩整
浏览 1提问于2016-10-14得票数 1
回答已采纳
在gensim网站()上的doc2vec教程中，创建了一个包含全文的语料库，然后在该语料库上训练模型。它看起来像这样：
[TaggedDocument(words=['hundreds', 'of', 'people', 'have', 'been', 'forced', 'to', 'vacate', 'their', 'homes', 'in', 'the', 'southern',.
浏览 1提问于2020-02-22得票数 1
我正在尝试创建一个并行的语料库，用于监督机器学习。
本质上，我希望有两个文件，一个每行一个完整的句子，另一个只有特定的手动提取的术语对应于同一行的句子。
我已经创建了每一行一个句子的文件；现在我想要生成带有每行中的术语的标签文件。为了举例说明，这是我想出的代码：
import re
list_of_terms = ["cake", "cola", "water", "stop"]
sentences = ["Let's eat some cake.", "I'd like to have
浏览 1提问于2020-10-27得票数 1
回答已采纳
1回答
我有一个文本文件中的10个句子的列表。我想使用现有的主题模型来获取每句话的主题。 在我找到的所有教程中-他们在他们的语料库上训练主题模型。我想使用一个在现有语料库中训练过的语料库，并将其应用于我的句子。 这个是可能的吗？
浏览 13提问于2020-04-21得票数 0
1回答
没有监督的学习？
、、
如果我们将NER作为一个分类/预测问题来处理，我们将如何处理未在训练语料库中的名称实体？
例如，“詹姆斯出生在英国。”詹姆斯被贴上了“人”的标签，英格兰被贴上了“地点”的标签。但我们键入了另一个完全奇怪的句子，比如"Fyonair是来自Fuabalada的土地“。作为人类，我们可以理解Fyonair是一个人(或者是童话中的公主)，Fuabalada是她的故乡。
如果没有包含在数十亿的语料库和标记中，我们的模型将如何识别它？无监督学习能完成这一任务吗？
浏览 0提问于2019-09-29得票数 2
回答已采纳
我想标记推特，短信(从手机)和电子邮件。我发现了这些特定于这类交流的担忧：
现代语言，充满动词；有些语料库似乎对动词很差。
简短的交流，带有错误的标点符号和句子片段
新词“Jelly 版本”或“BYOD运动”或"yout bank bal is“
我想要一个标签，对这样的“不那么雄辩”的文本是健壮的，仍然是快速和资源高效的实时web服务器。
哪个标签(和语料库)是最好的选择？
浏览 0提问于2012-07-23得票数 3
我正在使用{text2vec}单词嵌入来构建与某个语义类别相关的相似术语的字典。 是否可以在语料库中合成一些标记，但不是全部？例如，我想计算类似于“未来一代”或“正在崛起的一代”的术语，但这些搭配在原始语料库中当然是作为单独的术语出现的。我想知道，如果gsub是“正在崛起的一代”--> "rising_generation"，而没有将所有其他频繁出现的术语混合在一起，比如“气候变化”，这是不是一种糟糕的做法。 谢谢!
浏览 13提问于2020-10-04得票数 1
回答已采纳
1回答
我正在使用几个NER工具来提取一个语料库中的命名实体，我想使用NLTK模块测试它们的准确性。
我使用过的一些工具是：
NTLK
斯坦福大学NER：
MeaningCloud：
为了获得系统的准确性，NLTK的accuracy函数采用两个参数:正确注释的数据集(包含语料库中的所有标记及其分类(人员、位置、组织或表示令牌不是命名实体的'O‘)和NER系统的输出。
当NER返回所有标记及其分类的列表时，这是可以的。但是，有些工具，例如MeaningCloud，只返回在语料库中识别的命名实体的分类。这使得无法获得准确性(为了获得它，应该返回单词的完整列表，以便两个注释之间的
浏览 4提问于2017-07-28得票数 0
1回答
我努力寻找正确的LUA代码来检测两个日期是否出现在彼此之后。
我有一个类似的东西，它可以检测到两个关键字，但它在我的约会中不起作用。
以下是我到目前为止拥有的LUA代码：
(%a+) %- %1$
干杯,
浏览 17提问于2017-03-16得票数 0
回答已采纳
我有一个很大的.txt语料库，我想根据列表中每一项的第一次出现将它text.split()到它的子部分中，如下所示：
"No. 1.", "No. 2.", "No. 3." etc. up to "No. 4800."
这些值标记了我想要将整个语料库划分成的每个新文档的开始，并为其创建一个文档术语矩阵。在一个文档中，这些数字会出现多次，但第一次出现总是标记新文档的开始。
在“不”的时候拆分没有起作用，因为在文本中有许多其他的例子。我已经创建了所有编号为1-4800的指标的列表，但我不知道如何根据该列表拆分文本。如有任何帮助或想法
浏览 10提问于2020-05-11得票数 0
1回答
我试图从R中的语料库(docs)中删除html标记：
tags : </P></TEXT> </BODY> <TRAILER> NYT-06-22-98 1759EDT &QL; </TRAILER> </DOC>
我使用的代码：
tun<-function(x) gsub("<TRAILER>,<HTML>,<BODY>,<P>,<TEXT>,</P>,</TEXT>,
</BODY>,</HT
浏览 0提问于2018-03-21得票数 0
回答已采纳
我觉得这应该很容易，但我没有经验，而且搞砸了。基本上，我有两个文件与相似的数据，但格式不同。我想读取文件1，并在每一行中查找关键数据。然后，我想获取密钥数据，看看它是否存在于文件2中的任何一行中。
例如，File01包含的行如下所示：
- September 08, 2014 at 06:03PM - Task 1 @done
- September 08, 2014 at 06:21PM - Task 2 @done
- September 09, 2014 at 08:04AM - Task 3 @done
- September 09, 2014 at 08:28AM
浏览 2提问于2014-09-09得票数 0
回答已采纳
3回答
我对regex还很陌生，所以我很感谢你的帮助。我试图使用正则表达式在文本语料库中找到特定的语法模式，该文本语料库是使用CLAWS7标记集标记的词性部分。以下是一个示例：
Ya_UH and_CC then_RT uhm_NN1 we_PPIS2 wrote_VVD in_RP but_CCB already_RR taken_VVN that_DD1 day_NNT1 that_CST we_PPIS2 wanted_VVD we_PPIS2 day_NNT1 that_CST day_NNT1 that_CST we_PPIS2 day_NNT1 that_CST day_NNT1 tha
浏览 2提问于2021-05-17得票数 1
回答已采纳
1回答
我想在语料库中把一个文件读成一个单一的文件，但是没有找到任何文件，我已经试过了
>fdat <- readLines(fname)
> reuters=suppressWarnings(Corpus(VectorSource(fdat),readerControl = list(language = "en")))
> reuters
A corpus with 139 text documents
还是可以从语料库中的目录中选择一些选定的文件？
#reading all the files within directory
Corpus(DirSour
浏览 0提问于2014-01-21得票数 1
回答已采纳
我们正在使用沃森发现服务(WDS)来实现问答系统。我们要求每一个答案单位可以在单一的文件。我们有复杂的PDF文件作为语料库。PDF文件包含两个列数据、表和图像。我们使用Watson文档转换服务(WDC)将整个PDF文件作为WDS的语料库，然后使用WDC将每个PDF文件分割成应答单元，然后我们将那里的应答单元摄取到WDS中。
对于复杂的PDF拆分，沃森文档转换服务面临两个问题。
我们期望每个标题作为标题，相应的文本作为数据(答案)。然而，它是将每一章分割成一个单一的回答单元。是否有任何方法根据标题拆分两列文档？
如果输入PDF文件包含表，则文档转换服务以简单文本的形式读取PDF文件中可用
浏览 5提问于2017-09-18得票数 0
2回答
我有一个语料库，里面有像applefruit这样的单词，它没有被任何分隔符分隔，我想这样做。因为这可能是一个非线性问题。我希望仅当字典中的单词是语料库中单词的子字符串时，才将自定义字典传递给split。 如果我的字典中只有apple和语料库aaplefruit，applebananafruit，bananafruit中的3个单词。输出应类似于apple , fruit apple, bananafruit，bananafruit。 请注意，我并没有拆分bananafruit，其目标是通过拆分字典中提供的文本来加快处理速度。我使用的是scala 2.x。
浏览 22提问于2021-03-31得票数 1
回答已采纳
1回答
我试图修改一个词干函数，它能够1)删除http (出现在语料库中)中的连字符，但同时，保留在有意义的连字符表达式中出现的连字符(例如，耗时、成本高得令人望而却步等)。几个月前，我在一个不同的上问了类似的问题，代码如下所示：
# load stringr to use str_replace_all
require(stringr)
clean.text = function(x)
{
# remove rt
x = gsub("rt ", "", x)
# remove at
x = gsub("@\\w+", "&
浏览 1提问于2018-10-05得票数 2
回答已采纳
为了更好地清理我的论坛消息语料库，我想删除标点符号之前的前导空格，如果需要的话在后面添加一个，使用两个正则表达式。后者是没有问题的((?<=[.,!?()])(?! ))，但我至少对第一个有一些问题。
我使用了这个表达式：\s([?.!,;:"](?:\s|$))
但到目前为止还不够灵活：
即使在标点符号前面已经有一个空格(或更多)，它也是匹配的
如果标点符号后面没有空格，则不匹配
它不匹配任何未列出的标点符号(但我想我可以在一天结束时使用[:punct:] )。
最后，两者都匹配小数点(虽然它们不应该)
我怎样才能最终重写这个表达式以满足我的需要？
示例字符
浏览 4提问于2014-10-24得票数 2
回答已采纳
我有一个语料库: txt =“微电子图形中的图案层。”我想用"form“来代替术语"pattern”，我试着写一段代码：
txt_replaced = gsub("pattern","form",txt)
然而，txt_replaced中的响应语料库是：“微电子形式中形成的一层。”
如你所见，术语"patterned“被错误地替换为”term“，因为"patterned”中的部分特征与"pattern“相匹配。
我想问一下，我是否可以使用gsub()精确地替换字符串？也就是说，只有具有完全匹配的术语才应该被替换。
我渴望得
浏览 1提问于2011-10-02得票数 13
回答已采纳
我曾在PunktSentenceTokenizer NLTK中训练过，并获得了一个泡菜文件"learnt.pickle"：
ccopy_reg
_reconstructor
p0
(cnltk.tokenize.punkt
PunktSentenceTokenizer
p1
c__builtin__
object
p2
Ntp3
Rp4
(dp5
S'_Token'
p6
cnltk.tokenize.punkt
PunktToken
p7
sS'_lang_vars'
p8
g0
(cnltk.tokenize.punkt
PunktLangu
浏览 2提问于2017-07-04得票数 1
回答已采纳
2回答
Grep内部工作原理
、、、
我想知道grep内部是如何工作的。具体来说，我想知道第一次匹配是否比找到所有匹配要快得多？例如，第一次匹配从一开始就发生在文件的10%处，所有匹配都分布在整个文件中。然后，我认为只查找第一个匹配将使grep处理的文件内容比找到所有匹配的文件少得多(在本例中，grep必须遍历整个文件，而在前面的情况下则为10% )。我想知道我的假设是否正确，因为这种可能的改进可以极大地改进我的处理工作。谢谢。
浏览 2提问于2014-06-12得票数 1
回答已采纳
我的目标很简单:我有一组字符串或句子，我想在文本语料库中找到最相似的一个。
例如，我有以下文本语料库：“图书馆的正面装饰着由艺术家米勒德设计的”生命之字“壁画。”
我想找到原始语料库的子字符串，它非常类似于：“库外观是绘制的”。
因此，当输出时，我应该得到的是：“库前装饰”。
我想出的唯一办法就是用可变长度的子串把原来的句子分开(例如。在3,4,5字符串的子字符串中)，然后使用来自spacy python模块的类似spacy的东西来评估我的目标文本与所有子字符串的相似之处，然后保留值最高的子字符串。
这似乎是一种效率很低的方法。还有什么更好的办法吗？
浏览 0提问于2019-03-18得票数 1
如果我有一个给定的文本(长的还是短的)，你通常用哪种方法来检测它是用哪种语言写的？
很明显：
你需要一个训练语料库来训练你使用的模型(例如，神经网络，如果使用)
我想到的最简单的事情是：
检查文本中使用的字符(例如，hiragana只在日语中使用，Umlauts可能仅在欧洲语言中使用，在法语、土耳其语和…中使用)将检查增加到两个或三个字母对，以查找languageLookup字典的特定组合，以检查哪种单词出现在哪种语言中(可能只是没有词干，因为词干取决于语言)。
但我想还有更好的方法。我并不是在寻找现有的项目(这些问题已经得到解答)，而是寻找诸如隐马尔可夫模型、神经网络、…之类的方法。无论用于
浏览 3提问于2012-05-17得票数 2
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
