从多个txt文件创建语料库
是指将多个文本文件中的内容整合起来，形成一个统一的语料库，以便进行文本分析、自然语言处理等任务。创建语料库可以通过以下步骤实现：
- 收集文本文件：首先，需要收集多个txt格式的文本文件，这些文件可以是从互联网上下载的文章、新闻、论文等，也可以是自己收集的数据集。
- 文本预处理：对于每个文本文件，需要进行一些预处理操作，例如去除特殊字符、标点符号、停用词等。可以使用Python编程语言中的字符串处理函数或者正则表达式来实现。
- 合并文本内容：将预处理后的文本内容合并到一个统一的文本文件中，可以按照文件的顺序逐个合并，也可以将所有文件的内容一次性合并。
- 构建语料库：将合并后的文本内容作为输入，使用相应的自然语言处理工具或库来构建语料库。常用的工具包括NLTK（Natural Language Toolkit）、Gensim等。可以将文本分割成句子或单词，并进行词干化、词向量化等处理。
- 存储语料库：将构建好的语料库存储到适当的数据结构中，例如列表、数组、数据库等。可以根据需要选择合适的数据结构和存储方式。
语料库的创建可以应用于多个领域，例如文本分类、情感分析、机器翻译、信息检索等。以下是腾讯云相关产品和产品介绍链接地址：
- 腾讯云自然语言处理（NLP）：提供了一系列的自然语言处理服务，包括分词、词性标注、命名实体识别、情感分析等。详情请参考：https://cloud.tencent.com/product/nlp
- 腾讯云文本翻译（TMT）：提供了文本翻译服务，支持多种语言之间的翻译。详情请参考：https://cloud.tencent.com/product/tmt
- 腾讯云智能语音（TTS）：提供了语音合成服务，可以将文本转换为自然流畅的语音。详情请参考：https://cloud.tencent.com/product/tts
- 腾讯云智能音频（ASR）：提供了语音识别服务，可以将语音转换为文本。详情请参考：https://cloud.tencent.com/product/asr
请注意，以上仅为示例，实际选择使用哪些腾讯云产品取决于具体需求和场景。
相关·内容
1回答
我尝试从外部.txt文件构建一个POS标记的语料库，用于分块、实体和关系提取。到目前为止，我已经找到了一个繁琐的多步解决方案：
将文件读入纯文本语料库：
从nltk.corpus.reader import PlaintextCorpusReader my_corp = PlaintextCorpusReader("."，r".*.txt")
带有内置宾州POS标签的标记语料库：
my_tagged_corp= nltk.batch_pos_tag(my_corp.sents())
(顺便说一句，在这个池塘，Python抛出了一个错误：NameE
浏览 3提问于2016-06-24得票数 3
1回答
在阅读了大量的帖子后，我仍然很难在nltk中制作一个定制语料库。我有一个标记句子的文本文件，表格字符串中的每一项.单词/标签。我想用这东西训练一个标签师。我正在尝试使用一个名为列车标签的nltk包，它可以训练各种类型的tagger。2个问题。1)训练标记者可以使用文本文件作为输入还是只使用nltk语料库对象? 2)如果只使用一个语料库，如何从文本文件中创建一个文本文件？我试过以下代码来创建一个语料库..。
import nltk
from nltk.corpus import PlaintextCorpusReader
corpus_root = './'
newcorpus
浏览 2提问于2012-05-29得票数 0
1回答
我正在使用readtext包将我所有的文本文件读取到一个df中。
df <- readtext(directory, "*.txt")
.txt文件使用doc_id (文档名)和text (内容)存储在df中。
在我升级到最新版本的quanteda之前，当我使用以下命令创建语料库时，doc_id存储在语料库对象中：
corpus <- corpus(df)
但现在这不再起作用了，语料库对象的'documents'-df只存储‘Texts值’，而不再存储doc_id-values。
如何将doc_id返回到我的语料库对象中？
浏览 0提问于2018-05-05得票数 1
1回答
我有一个语料库文件和规则文件。我试图找到匹配的词，其中从规则出现在语料库中。
# cat corpus.txt
this is a paragraph number one
second line
third line
# cat rule.txt
a
b
c
这将返回2行
# grep -F0 -f rule.txt corpus.txt
this is a paragraph number one
second line
但我期待像这样的四个词..。
a
paragraph
number
second
尝试使用grep或awk实现这些结果。
浏览 4提问于2022-02-01得票数 0
回答已采纳
我在最新的维基百科文章转储上构建了一个盒子嵌入模型，我需要将它与gensim中的word2vec模型进行比较。我看到，如果我使用WikiCorpus类中的get_texts()方法将语料库数据生成为txt文件，会有很多停用词，所以这让我认为WikiCorpus不会删除停用词，不是吗？现在，一旦在维基语料库txt上训练了我的盒子模型，我注意到调用我为盒子嵌入打印创建的“最相似”函数经常会停止单词，而不是将相同的单词传递给在相同语料库txt上训练的word2vec模型的最相似函数，从而产生最佳结果。有人能告诉我为什么Word2vec模型在语料库txt上有很多停用词，而我的盒子模型在同一语料库上没有
浏览 13提问于2021-11-05得票数 0
我在运行之前编写的相同脚本时遇到了问题。那时，当我在readtext对象上应用quanteda::corpus时，它返回了一个"corpus“和"list”类对象。但是，当我运行相同的脚本时，它现在返回“语料库”和“字符”类对象。这会影响后续代码。出现这种情况的原因是什么?我如何解决这个问题？
下面是脚本：
txt <- readtext("C:/Users/aerol/Desktop/txt_sample")
corpus_txt <- corpus(txt) %>%
corpus_reshape(to = "sentences&
浏览 6提问于2021-01-12得票数 0
有没有一种方法可以创建一个语料库，而不需要在文件中有项目。例如，我想要操作我从网络上抓取的推文或段落。我可以做像这样的事情吗？
myCorpus = MyCorpus([
('id', 'item', 'category'),
('id', 'item', 'category'),
('id', 'item', 'category'),
... ])
或
myCorpus.add('id', '
浏览 0提问于2010-12-27得票数 3
1回答
我正在为我的文档字典中的所有单词计算inverse_document_frequency，我必须根据查询得分显示排名前5的文档。但是我在创建包含文档中单词词汇表的语料库时陷入了循环。请帮助我改进我的代码。这段代码用于读取我的文件，删除标点符号和停止文件中的单词。
def wordList(doc):
"""
1: Remove Punctuation
2: Remove Stop Words
3: return List of Words
"""
file = open("C:\\Users\\Zed\\PycharmProjects\\
浏览 4提问于2019-09-18得票数 0
2回答
我创建了自己的语料库，类似于nltk中的movie_reviews语料库(按neg\pos分类)。
在neg和pos文件夹中是txt文件。
代码：
from nltk.corpus import CategorizedPlaintextCorpusReader
mr = CategorizedPlaintextCorpusReader('C:\mycorpus', r'(?!\.).*\.txt',
cat_pattern=r'(neg|pos)/.*')
当我试图读取或与其中一个文件交互时，我无法。
例如，le
浏览 1提问于2018-02-15得票数 0
回答已采纳
2回答
阅读R中语料库中每个文档的前两行
、、、、
我很难弄清楚如何阅读R语料库中每个文档的前两行，前两行包含了我想分析的新闻文章的标题。我想搜索标题(而不是每一篇文章的其余部分)中的“中止”一词。
下面是我创建语料库的代码：
myCorp <- corpus(readtext(file='~/R/win-library/3.3/quanteda/Abortion/1972/*'))
我尝试在for循环中使用readLines：
for (mycorp in myCorp) {
titles <- readLines(mycorp, n = 2)
write.table(mycorp, "1972_text_
浏览 7提问于2017-03-31得票数 1
回答已采纳
2回答
我读过以下文本文件，有以下问题，
文件名: QnA.txt
问:你叫什么名字？
回答: XXXX
问:请告诉我你的地址？
答案: XXX，，00000
问:告诉我其他细节。
答:当然，.
txt <- "directory path"
QuesAnsFiles <- Corpus(DirSource(txt, encoding = "UTF-8"),readerControl = list(language = "lat"))
我已经在语料库中读取了这个文本文件，现在我必须在该文件中进行一些文本挖掘，为此，我必须将每个语料库文件
浏览 3提问于2013-06-20得票数 0
3回答
我是grep和awk的新手，我想在"frequency.txt“文件输出中创建选项卡分隔的值(这个脚本查看一个大型的语料库，然后输出每个单独的单词，以及它在语料库中使用了多少次--我为高棉语修改了它)。我已经看过了( )，但是对于这个bash脚本我似乎找不到一个有意义的例子(我太像一个纽比了)。
我在cygwin中使用这个bash脚本：
#!/bin/bash
# Create a tally of all the words in the corpus.
#
echo Creating tally of word frequencies...
#
sed -e 's/[a-
浏览 4提问于2011-02-01得票数 4
回答已采纳
->正在下载NLTK语料库...找不到nltk.txt，未下载任何语料库 已在requirements.txt文件中指定依赖项，但未下载该文件
浏览 13提问于2019-06-03得票数 0
嘿，伙计们，我有一个经过预先训练的二进制文件，我想在我的语料库上训练它。
我尝试过的方法:
我尝试从我拥有的bin文件中提取txt文件，并在加载时将它作为word2vec文件使用，并在我自己的语料库中进一步训练它并保存模型，但是模型对于预先训练过的bin文件中的单词表现很差(为此我使用了intersect_word2vec_format命令)。
是我使用的脚本。
我的模型应该用什么方法来表现好从预训练的文件和我的语料库中的单词？
浏览 2提问于2018-07-19得票数 2
2回答
我在一个目录中有1030个单独的.txt文件，它代表了一项研究的所有参与者。
我已经成功地在目录中的所有文件中创建了一个用于R中tm包的语料库。
现在，我正在尝试创建这些文件的众多子集的corpi。例如，所有女性作者和男性作者的一个语料库。
我希望能够传递文件路径列表的Corpus函数子集，但这还没有得到解决。
任何帮助都是非常感谢的。下面是一个可供构建的示例：
pathname <- c("C:/Desktop/Samples")
study.files <- list.files(path = pathname, pattern = NULL, all.fil
浏览 4提问于2016-03-15得票数 0
回答已采纳
1回答
我想在语料库中把一个文件读成一个单一的文件，但是没有找到任何文件，我已经试过了
>fdat <- readLines(fname)
> reuters=suppressWarnings(Corpus(VectorSource(fdat),readerControl = list(language = "en")))
> reuters
A corpus with 139 text documents
还是可以从语料库中的目录中选择一些选定的文件？
#reading all the files within directory
Corpus(DirSour
浏览 0提问于2014-01-21得票数 1
回答已采纳
1回答
在他的文章“预培训变压器的语言模型微调”中，Thilina ()提供了以下代码片段，用于使用库simpletransformers对经过预先训练的模型进行微调
from simpletransformers.language_modeling import LanguageModelingModel
import logging
logging.basicConfig(level=logging.INFO)
transformers_logger = logging.getLogger("transformers")
transformers_logger.setLevel
浏览 1提问于2020-04-28得票数 1
回答已采纳
1回答
我以前从未写过Makefiles，但我怀疑它会对我的情况有所帮助。我有一个文本文件的语料库，我需要预处理，以提取特征的机器学习。目录结构如下所示：
/
+---Makefile
+---/corpus
| +-- a.txt
| +-- b.txt
| +-- ...
|
+---/wordcounts
| +-- a.wordcount
| +-- b.wordcount
| +-- ...
|
+---/lettercounts
| +-- a.lettercount
| +-- b.lettercount
| +-- ...
|
...
/wordco
浏览 8提问于2016-03-09得票数 3
回答已采纳
3回答
我试着跟踪
但有些时候我浪费了很多时间，结果却一无是处。
我只想在我自己的语料库上训练一个GloVe模型(~900 my corpus.txt文件)。我下载了上述链接中提供的文件，并使用cygwin编译了它(编辑了demo.sh文件后将其更改为VOCAB_FILE=corpus.txt )。我应该保持CORPUS=text8不变吗？)产出如下：
cooccurrence.bin
cooccurrence.shuf.bin
text8
corpus.txt
vectors.txt
如何使用这些文件将其作为python上的GloVe模型加载？
浏览 0提问于2018-02-24得票数 28
嘿，伙计们，我现在正在用以下方法为NLTK Python中的文本分类创建自定义语料库
corpus_create = CategorizedTaggedCorpusReader('/home/classification', '(training|test).*',cat_file='cat.txt')
len(corpus_Create.categories())
然后利用一个高信息词函数和一个training_test_feat函数返回train_feats和test_feats。
目前，我们创建了两个名为“培训和测试”的文件夹，其中的分类
浏览 5提问于2015-05-20得票数 0
回答已采纳
1回答
文件数
、、、
我有一个语料库，我需要计算整个语料库中的文档和标记的数量，以及它的子部分。
到目前为止，我开发的代码如下所示：
def gather_data(path):
words = 0
articles = 0
for root, dirs, files in os.walk(path):
for f in files:
if not f.endswith('_metadata.txt') and f.endswith('.txt'):
articles += 1
浏览 3提问于2015-01-22得票数 2
回答已采纳
我有个文本文件。它包含简单的文本。
FileName - 234567.txt
我已经构建了这个文件中内容的语料库。我清理了语料库并创建了字符串向量，以便将完整文本存储在一个字符串向量中，如
FullTextstring <- "Complete text here"
我还将文件名保存在向量中，如
FileName <- "234567.txt"
我在数据库中有一张"TextData“表。以下是表中的字段：
FileId int primary key , where FileID is the FileName
FileContent nv
浏览 2提问于2014-08-11得票数 1
回答已采纳
1回答
我遇到了一个与Python语言中的正则表达式和CategorizedPlaintextCorpusReader有关的问题。
我想创建一个自定义的分类语料库，并在其上训练一个朴素贝叶斯分类器。我的问题如下:我希望有两个类别，"pos“和"neg”。正文件都在一个目录main_dir/pos/*.txt中，负文件在单独的目录main_dir/neg/*.txt中。
如何使用CategorizedPlaintextCorpusReader加载和标记pos目录中的所有正面文件，并对负面文件执行相同的操作？
注:设置与Movie_reviews语料库(~nltk_data\corpora
浏览 0提问于2012-05-06得票数 10
回答已采纳
2回答
我正在为NLP做一个项目。我需要把一些博客，新闻和推文(你可能已经听说过这个顶峰)放在.txt文件中，并创建n-gram频率。
我在将txt文件放到频率data frame进行分析的步骤上做了一些实验：
Read > Conver to corpus > Clean corpus > Tokenize > Convert to dfm > Convert to df
该过程中的瓶颈是标记化和转换为dfm步骤(超过5倍的时间)。
我有两个选择：
1. Split the cleaned corpus to tokenize by piece
2. Split-rea
浏览 0提问于2017-05-25得票数 1
1回答
我创建了一个名为的测试公共语料库/WOZIMA，除非我使用创建它时使用的凭据，否则我无法从它获取任何JSON。当我创建一个新服务并使用这些凭据时，它不会返回任何内容。我认为这是语料库上的权限问题，所以我现在尝试使用CURL命令更新权限
curl -u user:pass -X POST -d '{"access":"private","users":[{"permission":"ReadWriteAdmin","account_id":"nessroingrec6"},],
浏览 7提问于2016-06-05得票数 0
1回答
我有一个很大的文件清单，我想阅读R作为一个语料库。所有的文件都是pdf，但最近，我意识到其中一些文件将是txt。
在获得文本文件之前，我只是创建了目录中的pdf文件列表，并使用readerControl的语料库函数读取它们：
getwd()
files <- list.files(pattern = "pdf$")
corp <- Corpus(URISource(files),
readerControl = list(reader = readPDF))
我尝试创建pdfs和txt的组合列表，但我无法找到一种方法来使用readerC
浏览 1提问于2019-06-18得票数 1
回答已采纳
所以，做一些常见的口吃练习，一切都进行得很顺利，直到我遇到这种奇怪的行为。我将文本从文件(brown.txt)读取到一个可变的语料库中，它应该作为一个列表存储。然而，我怀疑它不是，尽管它有时像一个工作，但在其他时候失败。
下面是为语料库中的list ->存储列表附加的文件->附加的基本读取(在空格上拆分/标记)：
(defun tokenize (string)
(loop
for start = 0 then (+ space 1)
for space = (position #\space string :start start)
for to
浏览 3提问于2014-09-03得票数 4
回答已采纳
我对机器学习非常陌生。这是我的大学项目。我想在Python中开发CV推荐系统的web应用程序。我有很多.txt格式的简历。
我的问题如下：
我可以申请什么类型的学习？(监督/非监督)
我在一个文件夹里有不同的文件。那么是否需要建立一个语料库呢？如果需要建立一个语料库，那么我可以创建一个语料库吗？
我对应用程序的流程非常困惑。
请任何人建议我如何开始开发web应用程序的步骤？
你的帮助将不胜感激。
浏览 0提问于2019-01-31得票数 0
回答已采纳
所以我想弄清楚这个perl脚本是做什么的。
use FindBin qw($Bin);
use strict;
use Encode;
binmode(STDIN, ":utf8");
binmode(STDOUT, ":utf8");
binmode(STDERR, ":utf8");
chdir($Bin);
my $dir = "txt";
my $outdir = "aligned";
my $preprocessor = "$Bin/tools/split-sentences.perl -q&
浏览 5提问于2014-02-27得票数 2
回答已采纳
我是NLTK和Python的新手。我如何添加或上传我们自己的文件到nltk语料库？例如，我如何将我自己的.TXT文件上传到ieer语料库？有可能吗？谢谢。
浏览 4提问于2012-07-13得票数 0
3回答
词频计时器太慢了
、、、、
背景
创建一个脚本来计算纯文本文件中单词的频率。脚本执行以下步骤：
统计语料库中单词的频率。保存在语料库中的每个单词，这是一个以逗号分隔的频率文件。
脚本位于：
#!/bin/bash
# Create a tally of all the words in the corpus.
#
echo Creating tally of word frequencies...
sed -e 's/ /\n/g' -e 's/[^a-zA-Z\n]//g' corpus.txt | \
tr [:upper:] [:lower:] | \
sort | \
浏览 7提问于2011-01-07得票数 1
回答已采纳
我有一堆纯文本文件，我想将它们分类为A类或B类。
为了进行训练，我正在考虑将类型作为A类或B类添加到每个文件中，并尝试识别一些可以预测文件类型的特征。我可以创建一个纯文本语料库，但有没有办法在创建语料库时添加文件的类型？
浏览 2提问于2013-02-25得票数 0
回答已采纳
我最近扩展了nltk中的名称语料库，我想知道如何将我拥有的两个文件(male.txt，female.txt)转换为语料库，这样我就可以使用现有的nltk.corpus方法访问它们。有人有什么建议吗？
非常感谢，詹姆斯。
浏览 2提问于2010-01-31得票数 4
1回答
由于波兰语在quanteda中没有现成的句号，我想使用我自己的清单。我把它放在文本文件中，作为一个由空格分隔的列表。如果需要的话，我也可以准备一个用新行分隔的列表。
如何从我的语料库中删除自定义的冗长的停止词列表？我怎么才能在堵塞之后做到呢？
我尝试过创建各种格式，转换为字符串向量，如
stopwordsPL <- as.character(readtext("polish.stopwords.txt",encoding = "UTF-8"))
stopwordsPL <- read.txt("polish.stopwords.txt"
浏览 2提问于2017-07-26得票数 6
回答已采纳
我在NLTK中成功地使用了concordance()方法，并使用了(我自己的文本文件)，通过古腾堡语料库读取该文件：
bom = open('sentences-with-emoji.txt')
from nltk.text import Text
bom = Text(nltk.corpus.gutenberg.words('/my-own-text-file.txt'))
bom.concordance('messiah')
我之所以说“通过”，是因为concordance()方法只通过指定的语料库读取单词，这
浏览 4提问于2017-12-08得票数 0
回答已采纳
1回答
我有一组文件夹，它们的结构如下 Data
-->1
--->_1.txt
--->_2.txt
--->_3.txt
--->2
--->_1.txt
--->_2.txt
--->_3.txt 1,2是标签，每个文件夹都有一些文本文档。我正在使用keras设计一个文本分类模型。我正在一次将所有数据加载到内存中。 import sklearn.datasets as skds
files_train = skds.load_files(path_train,load_content=
浏览 18提问于2019-03-01得票数 0
我正在使用Python和TextBlob进行情感分析。我想将我的应用程序(在Plotly Dash中构建)部署到Google Cloud Run with Google Cloud Build (不使用Docker)。当在我的虚拟环境中本地使用时，一切正常，但在云上部署后，语料库不会被下载。查看requriements.txt文件，也没有提到这个语料库。 我曾尝试将python -m textblob.download_corpora添加到我的requriements.txt文件中，但在我部署它时它并没有下载。我还试图添加 import textblob
import subprocess
浏览 26提问于2021-05-10得票数 1
回答已采纳
我猜想，这样做的技术类似于从任何数据帧中提取前N个字符，无论它是否是语料库。
我的尝试是：
create.greetings <- function(corpus, create_df = FALSE) {
for(i in length(Charlotte.corpus.raw)) {
Doc1<-Charlotte.corpus.raw[i]
Word1<-Doc1[1:25]
Greetings[i]<-Word1
}
return(VCorpus)
}
Greetings是以n=6开头的语料库，我不知道如何创建一个空语料库，或
浏览 4提问于2016-08-19得票数 0
2回答
我正在尝试使用R中的tm包，并且有一个客户反馈的CSV文件，其中每一行都是一个不同的反馈实例。我希望将此反馈的所有内容导入到语料库中，但希望每行都是语料库中的不同文档，这样我就可以在DocTerms矩阵中比较反馈。我的数据集中有超过10,000行。
最初我做了以下工作：
fdbk_corpus <-Corpus(VectorSource(fdbk), readerControl = list(language="eng"), sep="\t")
这将创建一个有1个文档和>10,000行的语料库，我希望有>10,000个文档，每个文档有1行。
我
浏览 3提问于2013-08-01得票数 9
回答已采纳
我正在尝试从.txt文件目录加载一个语料库，然后创建一个文档列表。
我认为它很简单，但是当我运行它时什么也没有发生，我是不是遗漏了什么？
import os.path
import re
import glob
def load_data_from_dir(path):
file_list = glob.glob('/transcripts/*.txt')
# create document list:
documents_list = []
for filename in file_list:
with open(filename, 'r',
浏览 0提问于2020-05-18得票数 0
如何使用Tidytext加载.txt文件的文件夹以进行文本挖掘？
我偶然发现了Silge & Robinson的"Text mining with R: a tidy approach“()，对于我的目的来说，它似乎非常有前途。但我对R非常陌生(为了这个目的而尝试学习它)，所以我偶然发现了一些非常基本的问题。
虽然我可以跟随并重现这些示例，但它们大多是从导入现有的库(例如have或gutenbergr)开始的，而我拥有的是一个包含30个txt文件的文件夹(每个文件都包含瑞典外交部长向议会提交的年度声明)。
我通过使用其他一些教程和tm包，首先创建了一个语料库，然后创建了一个DT
浏览 6提问于2018-03-03得票数 0
我希望将列中每个单元格的内容导出到一个单独的.txt文件中，单元格的内容也作为.txt文件的文件名传递。我在下面的R中有这个脚本，但由于某些原因，循环i in 1:length()只适用于列，即列A:Z，而不适用于行A1:A26。
如能帮助此脚本导出A1:A26行的内容，我们将不胜感激！
Context:用于从CSV中的非结构化文本创建MALLET语料库，用于自然语言处理。
filenames <- names(NLPL)
for (i in 1:length(NLPL)){
outname <- paste("", filenames[i], ".tx
浏览 6提问于2016-07-23得票数 1
1回答
我需要从语料库A创建模式文件，并使用从语料库A提取的模式在语料库B上运行SPIED。用SPIED怎么做？我相信SPIED比Basilisk好得多，所以我需要这样做。请告诉我怎么做好吗？
浏览 3提问于2015-05-30得票数 0
2回答
我正在编写一个脚本，它将遍历我的语料库，其中包含93,000个txt文件，并在所有这些文件中找到呈现的三叉图的频率分布(所以不是单独的频率分布，而是整个语料库的一个频率分布)。我得到它来做一个文件在语料库中的频率分布，但没有任何技能，以获得任何进一步。下面是代码：
import nltk
import re
from nltk.corpus.reader.plaintext import PlaintextCorpusReader
from nltk import FreqDist
corpus_root = '/Users/jolijttamanaha/Python/CRspeec
浏览 3提问于2014-09-29得票数 2
回答已采纳
1回答
我正在尝试用口袋狮身人面像创建一个僧伽罗语语音识别系统。我使用SRILM工具来创建语言模型。我用来创建语言模型的源文件是。我在windows 8.1上使用cygwin来运行SRILM 1.7.1。但是一旦我运行了这个命令
ngram-count -vocab sinhalalexicon.txt -text sinhalacorpus.Train -order 3 -write sinhala.count -unk
我得到了
iconv: Invalid or incomplete multibyte or wide character
iconv: Invalid or incomp
浏览 5提问于2015-07-23得票数 1
我正在尝试添加一个带有标记语句的文件(布朗语料库可以阅读)。我所做的是，我去了nltk_data/corpora/brown，添加了文件tagged5，转到了cats.txt，并添加了一行tagged5 homework。
但当我这么做的时候
brown_homework = brown.tagged_sents(categories='homework')
它给了我ValueError: "In category mapping file cats.txt: tagged5 not found"
尽管tagged5文件和所有其他的语料库文件都在一起。
有什么想
浏览 4提问于2014-11-13得票数 1
回答已采纳
2回答
我已经创建了一个2层LSTM模型，我想在最近的一堆英文维基百科文章(15.1GB的文本)上进行培训。我无法将语料库加载到文本变量中，以使单词嵌入。Keras RNN模型是如何在如此庞大的文本语料库上进行训练以避免内存错误的？
尝试打开15.1 GB文件后，使用：
text = open('/home/connor/Desktop/wiki_en.txt').read().lower()
我收到以下错误消息：
(结果，消费)=self._buffer_decode(数据，self.errors，最终) MemoryError
浏览 0提问于2018-06-25得票数 5
2回答
标记大型文档
、、、
我目前正试图处理一个包含100万个专利文本文件的语料库，这些文件平均包含大约10k个非唯一的单词。我目前的数据管道工作如下：
从本地sqlite数据库表中以字符串形式加载专利文本
标记每个文档并将结果保存在一个新表中
创建包含语料库中所有唯一单词的字典
使用标记化文档训练tfidf模型
符号化意味着以文档文本(字符串)作为输入，并返回包含文档中每个单词的列表(允许重复)。单词往往被空格、特殊字符、数字等隔开，我的代码中的正则表达式在这方面发挥了很好的作用。
在我的数据管道中，我将tokenize函数确定为我的瓶颈，相关部分在下面的MWE中提供：
import re
import urllib.
浏览 0提问于2020-04-08得票数 1
回答已采纳
我有一个语料库，从这里分成许多不同的.txt文件：http://www.thegrammarlab.com/?nor-portfolio=corpus-of-presidential-speeches-cops-and-a-clintontrump-corpus 这些数据文件是原始的，所以我使用scan函数，如下所示： scan("Clinton_2016-07-28.txt", what = "character", sep=NULL) 我想知道如何自动扫描文件夹中的每个文件。另外，我使用scan是因为它创建了一个我正在寻找的字符向量。
浏览 31提问于2020-11-24得票数 0
回答已采纳
4回答
我想为下载的HTML文件的集合创建一个语料库，然后在R中读取它们，以便将来进行文本挖掘。
本质上，这就是我想要做的：
从多个html文件创建一个语料库。
我尝试使用DirSource：
library(tm)
a<- DirSource("C:/test")
b<-Corpus(DirSource(a), readerControl=list(language="eng", reader=readPlain))
但是它返回“无效的目录参数”。
同时从语料库中读取html文件。不知道该怎么做。
解析它们，将它们转换为纯文本，删除标记
浏览 2提问于2013-02-22得票数 8
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
