Mallet CRF序列分类训练数据格式
是指在使用Mallet工具进行条件随机场（CRF）序列分类模型训练时，所需的训练数据的格式要求。
Mallet是一个开源的机器学习工具包，用于自然语言处理和文本分类任务。CRF是一种统计模型，常用于序列标注任务，如命名实体识别、词性标注等。
Mallet CRF序列分类训练数据格式通常包括以下几个部分：
- 序列标注数据：训练数据由一系列标注的序列组成，每个序列由多个观测值组成。观测值可以是文本中的词语、字符或其他特征。每个观测值都有一个对应的标签，表示其所属的类别。
- 特征表示：每个观测值可以使用多个特征进行表示。特征可以是词性、词频、上下文信息等。在Mallet中，特征通常使用稀疏向量表示，其中每个维度表示一个特征，值表示特征的取值。
- 数据格式：Mallet CRF序列分类训练数据格式要求使用特定的格式进行表示，通常是以文本文件形式存储。每行表示一个观测值及其对应的标签和特征。观测值、标签和特征之间使用制表符或空格进行分隔。
以下是一个示例：
观测值1 标签1 特征1:值1 特征2:值2 ...
观测值2 标签2 特征1:值1 特征3:值3 ...
观测值3 标签1 特征2:值2 特征4:值4 ...
...在实际应用中，Mallet提供了相关的API和命令行工具，用于读取和处理这种数据格式的训练数据。通过使用Mallet进行CRF序列分类模型的训练，可以实现对序列数据的自动分类和标注，例如对文本进行命名实体识别、词性标注等任务。
腾讯云提供了一系列与机器学习和自然语言处理相关的产品和服务，例如腾讯云机器学习平台（https://cloud.tencent.com/product/tcmlp）、腾讯云自然语言处理（https://cloud.tencent.com/product/nlp）等，可以帮助开发者在云计算环境下进行机器学习和自然语言处理任务的开发和部署。
相关·内容
1回答
当我们训练CRF Mallet时，模型文件是什么？java -cp -cp cc.mallet.fst.SimpleTagger -培训真实的-模型文件nouncrf示例
浏览 1提问于2016-02-19得票数 0
回答已采纳
我正在使用Cleartk (V.2.0) simple pipeline为CAS中的单个句子开发二进制分类器。然而，即使生成了训练数据，分类器在训练期间也不会拾取它，请参见下面的内容。
我正在使用，特别是下面的代码片段：
AnalysisEngineFactory.createPrimitiveDescription(
<name-of-your-cleartk-annotator>.class,
CleartkAnnotator.PARAM_IS_TRAINING, true,
DirectoryDataWriterFactory.PARAM_OUTPUT
浏览 1提问于2014-10-03得票数 0
我想使用Mallet在一个相当大的数据集上以离开一序列输出的方式运行条件随机字段。因此，我需要多线程计算来处理这个计算，要么通过并行训练多个CRF来处理，要么在单个线程上对每个CRF进行训练，或者2)以多线程的方式训练每个CRF。
在Mallet中，我找到了一个CRF训练器的多线程版本，它实现了选项2。然而，在我的情况下，我需要对连续变量的支持，对于这些变量，fst似乎没有支持，而且它似乎需要支持。通过一个小小的调整，我设法让GRMM处理连续的输入。然而，对于GRMM，就我所能找到的而言，似乎没有像fst那样的通过选项2来支持多线程培训。
作为另一种选择，我实现了备选方案1，在该选项中，我在不
浏览 1提问于2015-09-02得票数 1
回答已采纳
这可能无关紧要，但我使用的是CRF++ 0.58的windows发行版。
因此，我已经成功地使用mallet训练了一个具有CRF的模型，然后对其进行了测试。当我尝试在CRF++中使用相同的训练和测试文件时(并且在创建模板文件之后)，我得到一个
The line search routine mcsrch failed: error code:0
当我使用以下任一选项时出错
-a CRF-L1
或缺省设置
-a CRF-L2
当我使用
-a MIRA
尽管如此，训练没有错误，测试也是如此。
对于mallet和crf++，测试和训练数据的格式可以是相同的，所以这不是问题所在。我的模板文件很简单，就
浏览 6提问于2013-04-26得票数 1
回答已采纳
2回答
我已经有了一个经过CRF训练的模型，我已经使用SimpleTagger进行了训练。 SimpleTagger.main(new String[] {
"--train", "true",
"--model-file", "/Desktop/crfmodel",
"--threads", "8",
"--training-proportion
浏览 21提问于2020-04-07得票数 2
1回答
我正在尝试使用Mallet库训练CRF序列模型，但我遗漏了一些重要信息。我在的库中找到了一个示例，但是该示例没有说明输入训练数据的格式，因此我不知道如何重新创建它。
Mallet在上确实有一个数据导入示例，但这个特定的示例似乎是用于文档分类，而不是我的用例-- CRF序列模型。
我尝试将输入训练数据放入中使用的形式，即
Bill CAPITALIZED noun
slept non-noun
here LOWERCASE STOPWORD non-noun
和表单中的测试数据
CAPITAL Al
slept
here
然而，根据输出日志，它似乎不是正确的格式。
浏览 4提问于2017-06-29得票数 2
回答已采纳
使用OutOfMemoryError时，分类器经常失败。请提个建议。
我们有UIMA管道，它调用5个模型jars(基于mallet CRF)，每个大约30MB。-Xms设置为2G，-Xmx设置为4G。
在设置堆空间方面有什么指导原则/基准标记吗？如果有关于多线程环境的任何指南，请指出。
我确实尝试了应用补丁，但这并没有解决问题。
堆转储显示，42%的堆大小是char[]，15%是String。
java.lang.OutOfMemoryError: Java heap space
at cc.mallet.types.IndexedSparseVector.setIndex2Locat
浏览 0提问于2015-11-20得票数 1
1回答
我目前正在使用Mallet来训练使用CRF的序列模型。我已经了解了如何为mallet包提供特性(仅依赖于输入序列)。根据我的理解，在mallet中，我们必须计算特征函数的所有值(预先)。现在，我想使用依赖于令牌标签的指示器函数。这些函数的值取决于输出标签序列，在训练过程中，当输出标签序列已知时，我可以计算这些指示函数的值。但是，当我将这个经过训练的CRF模型应用于新的输入(其输出标签序列未知)时，我应该如何计算这些特征的值。
如果任何人能为我提供任何提示/相关文档，那将对我非常有帮助。
浏览 0提问于2018-06-06得票数 0
对于使用过条件随机场(CRF)的Java库Mallet的SimpleTagger类的任何人来说，这是一个问题。假设我已经对可用的最大CPU数量使用了多线程选项(这就是这种情况)：我应该从哪里开始，如果我需要它运行得更快，我应该做些什么？
一个相关的问题是，是否有一种方法可以做一些类似于随机梯度下降的事情，从而加快训练过程？
我想要做的培训类型很简单：
Input:
Feature1 ... FeatureN SequenceLabel
...
Test Data:
Feature1 ... FeatureN
...
Output:
Feature1 ... FeatureN Sequen
浏览 0提问于2011-03-28得票数 5
回答已采纳
1回答
我正在使用StanfordNER分类器。有4个分类器
english.all.3class.distsim.crf.ser.gz
english.muc.7class.distsim.crf.ser.gz
english.conll.4class.distsim.crf.ser.gz
example.serialized.ncc.ncc.ser.gz
这些分类器是如何建立的？因为它们都是基于不同的语料库，所以我猜
在语料库上训练一个机器学习分类器，如SVM和OVR (用于多标签案例)，以检测ORGANIZATION、PERSON、LOCATION等实体，这意味着训练数据将是语料库中文档的完
浏览 3提问于2016-01-22得票数 2
回答已采纳
我必须将我训练过的数据添加到现有的CRF分类器english.all.7class.distsim.crf.ser中。是否有任何API来提取现有模型或对其进行反序列化？
谢谢
浏览 0提问于2015-11-09得票数 0
1回答
我用GenericAcrfTui训练了一个CRF，它将一个ACRF写入一个文件。我不太清楚如何加载和使用训练的CRF，但是
import cc.mallet.grmm.learning.ACRF;
import cc.mallet.util.FileUtils;
ACRF c = (ACRF) FileUtils.readObject(Paths.get("acrf.ser.gz").toFile());
似乎很管用。然而，标签似乎不正确，似乎依赖于标签，我传递作为输入。如何使用加载的标记
我的标签是这样的：
GenericAcrfData2TokenSequence inst
浏览 1提问于2014-03-20得票数 6
回答已采纳
3回答
条件随机场
、、、、
是否有适合于图像分类的二维(二维)条件随机场(CRF)的训练和优化算法？
有没有人用过R ()中的CRF包进行图像分类？我想有一个工作的例子代码的看法。谢谢。
浏览 0提问于2011-10-18得票数 5
我正在使用Mallet的GenericAcrfTui训练和测试数据。所以我正在使用Mallet (GRMM)中的图形模型来进行CRF培训。我已经为我的训练集和测试集创建了特性，并希望从命令行运行GenericAcrfTui。当我运行它时，我会得到每一个标签的F分数和准确性度量，但是我没有得到每一行的实际标签。我做了这样的事：
java -cp $GRMM/class:$GRMM/lib/mallet-deps.jar:$GRMM/lib/grmm-deps.jar \
edu.umass.cs.mallet.grmm.learning.GenericAcrfTui \
--training
浏览 1提问于2014-01-14得票数 1
回答已采纳
2回答
哪个产品(Mallet或Weka)更适合文本分类任务：
更简单的训练resultsDocumentation 更好
我是这个问题的新手，所以任何评论都会很棒
浏览 3提问于2011-10-31得票数 7
1回答
我有一个csv文件，格式如下
productname，产品的评论
现在使用mallet，我必须训练分类器，以便如果给出一个包含产品评论的测试数据集作为输入，它应该告诉我特定评论属于哪个产品
将非常感谢mallet java api帮助。
浏览 2提问于2012-08-11得票数 3
1回答
我正在尝试将mallet包合并到我的java代码中，以执行序列标记任务。然而，我不太确定我应该如何做它只是数据导入指南上的木槌网站。有人能帮我摆脱这一切吗？
我的第一个问题是关于序列数据的导入。我在网站上看到的唯一数据格式是InstanceList，但是，我们应该如何用数据结构来描述序列。例如，如果我们有多个序列(A，B，C是标签)：S1: A，A，B，B；S2: B，B C；S3: C，B，B B。InstanceList表示S1，InstanceList表示S2，InstanceList表示S3？然后，我如何把它们作为培训数据呢？
我的第二个问题是如何将特性设置到实例中。我已经有了特性权重
浏览 1提问于2016-06-23得票数 2
回答已采纳
我正试着用我自己的标签做我自己的NER分类器。我尝试使用中的指令来训练我的模型。但问题是我没有太多的训练数据。因此，我在想，是否有一种方法可以在现有的分类器中添加我们自己的标签，如english.all.3class.distsim.crf.ser，english.all.7class.distsim.crf.ser等。我可以为我自己的标签训练分类器。
请在这方面帮助我。提前谢谢你。
浏览 18提问于2015-02-07得票数 0
1回答
我是机器学习方面的新成员，特别是在条件随机场中。
我读过几篇文章和论文，里面总是与HMM和序列分类相关。我不太懂数学，尤其是在烦人的formula.So里，我不能理解这个过程
我要从哪里开始？
我想使用CRF开发一个名为实体识别(NER)的信息提取应用程序。
我得到了一些教程：
但是我不知道每一步的散文，比如训练散文，评价和测试
还有一件事让我感到困惑：
crf = sklearn_crfsuite.CRF(
algorithm='lbfgs',
c1=0.1,
c2=0.1,
max_iterations=20,
all_pos
浏览 1提问于2019-07-14得票数 0
1回答
所以我用Mallet创建了一个简单的标签应用程序。
我知道如何在命令提示符中使用它，并且已经建立了分类器模型。
那么，现在我如何在代码中调用这个模型，这样我就可以用它创建一个接口了。
因为I只能使用命令提示符加载模型。
我试着看了一下Mallet页面，但它不在里面。有人知道怎么做吗？
我真的很需要这些人，所以请帮帮我。
蒂娅。
训练和创建模型
java -cp -cp cc.mallet.fst.SimpleTagger --训练真实的--模型-文件stopwords_tagger.txt output_1.txt
执行模型
java -cp -cp cc.mallet.fst.Si
浏览 4提问于2017-10-13得票数 1
我已经使用以下命令从一些文档生成了一个主题模型：
bin/mallet train-topics --input topic-input.mallet --num-topics 100 --output-state topic-state.gz
但是，我没有使用--output-model选项来生成序列化的主题训练器对象。有没有办法可以使用状态文件来推断新文档的主题？训练很慢，如果我必须从头开始创建序列化的模型，我需要几天的时间来重新训练。
浏览 1提问于2011-07-20得票数 0
4回答
文本分类分类器
、、、、
有没有人知道好的开源文本分类模型？我知道斯坦福分类器，Weka，Mallet等，但它们都需要培训。
我需要将新闻文章分类为体育/政治/健康/游戏/等等。有没有预先训练好的模型？
炼金术、OpenCalais等都不是选项。我需要开源工具(最好是Java)。
浏览 1提问于2013-03-07得票数 6
回答已采纳
1回答
将数据并行地输入到mallet
、、、、
我正在尝试使用木槌构建文本分类器。数据有些大，所以我正在寻找一种方法，如果可能的话，在多个线程上运行“导入”任务，因为加载需要很长时间。这里有几个问题：
是否有一种方法可以手动并行化进程，方法是将数据分开并分别导入，然后加入它们。我知道我可以并行地运行它们并获得多个输入文件，但是在训练分类器之前，我可以组合生成的mallet输入文件吗？
如果机器上有可用的线程，mallet本身是否与此进程并行？
谢谢你帮忙！
浏览 4提问于2017-03-28得票数 1
1回答
我对学习文本分类很感兴趣，对理论也很感兴趣。下一步是做事情，因此我正在寻找和研究不同的工具。一些链接指向，但是似乎更适合这个任务，但是没有人链接到这个工具。如果想从事一个“严肃”的项目，有什么理由要远离Mallet吗？我可以使用Mallet快速训练一些分类器并对其进行测试，而使用WEKA时，在使用过滤器在以文本类别命名的地图中转换文本文件后，我遇到了标签“消失”的问题。
浏览 3提问于2011-04-10得票数 2
回答已采纳
2回答
我试图在主题建模等方面使用Mallet，没有任何解释。我的目的是获得我现在拥有的M文档的N个主题，将每个文档分类为一个或多个主题(doc 1=主题1；doc 2=主题2，可能还有主题3)，并根据这个结果对未来的新文档进行分类。我第一次尝试使用bigartm，但是在这个程序中没有发现任何用于分类的东西，只有主题建模。所以Mallet，我创建了一个corpus.txt文件，格式如下：
Doc.num. \t(tab) Label(actualy 1 everywhere) \t Text 1 1 some text of document to classify 2
浏览 0提问于2016-11-14得票数 2
回答已采纳
1回答
Mallet:每个预测的特征贡献
、、、、
我正在使用CRF在Mallet上开发一个NER系统。
您是否知道是否可以收集每个预测的特征贡献？我需要知道并理解CRF模型的精确行为。
有什么建议吗？
谢谢。
干杯，乌克兰尼亚
浏览 0提问于2011-04-30得票数 2
回答已采纳
当我想训练我的NER模型时，我会得到一个类路径错误：
加载JAR-内部分类器/edu/stanford/nlp/models/ner/english.all.3class.distsim.crf.ser.gz .线程“主”java.lang.RuntimeException中的异常:错误从jar文件加载分类器(很可能不是从jar文件中运行此代码，或者命名分类器没有存储在jar文件中)
我使用这个命令行：
java -cp“斯坦福-ner.jar:lib/*”edu.stanford.nlp.ie.crf.CRFClassifier /edu.stanford.nlp.ie.crf.CR
浏览 9提问于2016-06-24得票数 0
回答已采纳
1回答
我正在为三个标签(PER，ORG，LOC)做NER分类器。我正在基于斯坦福crf分类器检查我的结果。因此，我想知道斯坦福crf分类器评估部分是如何工作的。它是考虑了所有的标签(PER，ORG，LOC，O)还是只考虑了(PER，ORG，LOC)？
浏览 21提问于2019-03-07得票数 0
1回答
我正在尝试使用斯坦福CRF-NER来训练我自己的地址分类器模型，但是性能很低。我对我培训过的培训数据的格式感到困惑。培训数据通常是地区、城市、省份及其各自标签的列表。但是该模型并没有将相应的地址标记标记到其令牌上。
培训数据的格式如下：
巴拉特省
马鲁古省
马鲁古省
卡布平摄政
SIMEULUE摄政
卡布平摄政
亚齐摄政
这是一个csv格式的培训数据样本，有三个标签：省、摄政区和地区。
以下是标记标记的输出：
您可以将所有标记标记为“区域”，尽管我有“摄政”、“区”和“省”标签数据。
我想知道我的训练数据格式是否正确，因为我看到斯坦福大学NER 在
浏览 0提问于2019-05-06得票数 0
1回答
我是Mallet的新手，我尝试使用mallet简单的标签/CRF，并尝试使用短语--我尝试在mallet站点上查找文档，并查看用户档案--没有任何帮助。
我试过用锤子做简单的标记，它的效果很好。下面是我的数据的样子(Pls注意到，在培训之间有一条新的行来表示它们是不同的集合)
培训样本数据：
where STOPWORD
is STOPWORD
chicago CITY
<---Newline---->
Sunnyvale CITY
<---Newline---->
Chicago CITY
<---Newline---->
Washington CITY
浏览 0提问于2013-03-18得票数 0
我知道这是一个简单的问题。但我只是想确认一下。在CRF分类器中，训练数据集中的所有样本是否都在每次迭代中使用？
浏览 27提问于2019-03-14得票数 0
我正在尝试执行分类过程，其中我的训练数据如下所示：
(状态，(feature_1，feature_2，feature_3，...，feature_n))
因此，给定一组特征，我需要预测这些特征最可能对应的状态/标签/类。
我有一个很好的模型，可以非常快速地制作CRF，但是CRF真的很适合这种学习吗？我过去使用CRF表示状态序列，也就是说，$nth$状态的标签也可能取决于前$n-1$状态的标签/特征。例如，下面是我用来预测儿童语音输出的训练序列，给出了成人IPA转录：
e Adult=e __BOS__
i Adult=-
d Adult=d
r Adult=-
i Adul
浏览 4提问于2014-09-18得票数 0
1回答
我是斯坦福大学NLP和NER的新手，我试图用一组货币和国家的数据来训练一个定制的分类器。
我在训练中的训练数据-数据-现在，看起来-
USD CURRENCY
GBP CURRENCY
而且，培训数据国家的培训数据看起来像是-
USA COUNTRY
UK COUNTRY
而且，分类器的属性看起来像-
trainFileList = classifiers/training-data-currency.tsv,classifiers/training-data-countries.tsv
ner.model=classifiers/english.conll.4class.distsim.c
浏览 4提问于2015-05-09得票数 0
回答已采纳
1回答
我有一个包含大约250000条酒店评论的评论数据集，我计划使用crfsharp dll从其中提取方面，但是我拥有的数据是普通文本段落形式，我需要将其转换为crfsharp格式，这样我就可以训练和测试数据来提取方面。有没有人能告诉我最好的方法是什么，我想写一个小程序来进行数据格式转换。另一件事，我想知道CRF sharp是否可以使用它拥有的crf模型进行方面提取？我使用的是c#。
浏览 1提问于2014-03-20得票数 0
我正在尝试用来训练我自己的中文NER模型。我将数据转换为一行一个汉字，并在字符后面标注实体，它喜欢：
红ORG
帽ORG
首O
席O
执O
行O
官O
吉姆人
怀特赫斯特人
曾O
表O
示O
，O
亚ORG
马ORG
逊ORG
公O
共O
云O
有O
许O
多O
..。
在使用命令java -cp stanford-ner.jar edu.stanford.nlp.ie.crf.CRFClassifier -prop tech.prop之后，它最终生成了类符(chinese.misc.distsim.crf.ser.gz)。然后，我检查了类函数在带注释的测试数据上的工作方式，我使用了
浏览 4提问于2017-05-23得票数 1
1回答
所以我有一个经过训练的模型，它是用MALLET通过命令行创建的。我想以某种方式将这个经过训练的模型导入到Java类中。我查看了MALLET文档，发现了他们的ParallelTopicModel类，但找不到一种合适的方法将模型导入为ParallelTopicModel，而这正是我想要做的。
我知道可以在Java类内部使用MALLET Java API训练模型，但我不想这样做。
这个是可能的吗？
浏览 0提问于2017-03-15得票数 0
1回答
我试图根据我训练过的MALLET主题模型来推断文档的主题。我在mallet中使用以下命令
./mallet infer-topics --inferencer topic-model --input indata.mallet --output-doc-topics infered_docs
但是它陷入了抛出的异常中：
java.lang.ClassCastException: cc.mallet.topics.ParallelTopicModel cannot be cast to cc.mallet.topics.TopicInferencer我怎么能解决这个问题？
浏览 2提问于2016-12-19得票数 8
回答已采纳
我正在按照这个链接("")上的说明操作，但是在尝试训练模型时遇到了一个错误：
model = models.LdaMallet(mallet_path, corpus, num_topics =10, id2word = corpus.dictionary)
IOError: [Errno 2] No such file or directory: 'c:\\users\\brlu\\appdata\\local\\temp\\c6a13a_state.mallet.gz'
请分享你的任何想法。
谢谢。
浏览 0提问于2014-06-10得票数 4
1回答
我希望使用Mallet根据我定义的主题对不同的文档进行分类。我知道Mallet将首先确定主题，然后对文档进行分类，但我想跳过第一步，因为我已经有了一个主题列表，其中包含与它们相关联的单词。有没有办法使用我创建的预定义主题列表来使用Mallet对文档进行分类？
任何指导都是值得感谢的。谢谢!
浏览 0提问于2014-10-18得票数 1
1回答
在MALLET文档中，主题模型训练需要--keep-sequence标签(详情请参见：)
然而，据我所知，常规的LDA建模使用文档作为词袋，因为包括二元语法将大大增加特征空间。我想知道为什么MALLET在LDA训练中需要保持顺序，以及MALLET实际上是如何使用顺序信息的？
感谢您阅读这篇文章。
浏览 1提问于2015-03-13得票数 2
3回答
前一项分类重要时的分类
、、、、
我有一个分类问题要解决，这似乎是常见的，但我正在努力寻找这个任务的名称和最好的方式来模拟这个问题。
假设我有一系列在时间上是连续的事件。
2 Jan - I matched with a nice girl on Tinder - ACTION_TYPE = SOCIAL_EVENT
5 Jan - I meet with her, it was nice - ACTION_TYPE = SOCIAL_EVENT
8 Jan - I just got accept to a new job. I will meet my boss tomorrow- ACTION_TYPE = PROFESS
浏览 0提问于2021-11-06得票数 3
我有一个在Java中通过Mallet训练的LDA模型。从Mallet LDA模型生成了三个文件，这允许我从文件运行模型并推断新文本的主题分布。
现在，我想实现一个Python工具，它能够根据经过训练的LDA模型，在给定新文本的情况下推断主题分布。我不想在Python中重新训练LDA模型。因此，我想知道是否可以将经过训练的Mallet LDA模型加载到Gensim或任何其他python LDA包中。如果是这样，我该怎么做呢？
感谢您的回复或评论。
浏览 18提问于2017-05-04得票数 5
当在Mallet中训练数据时，由于OutOfMemoryError而停止处理。bin/mallet中的属性MEMORY已设置为3 3GB。训练文件output.mallet的大小只有31MB。我已经尝试减少训练数据的大小。但它仍然抛出相同的错误：
a161115@a161115-Inspiron-3250:~/dev/test_models/Mallet$ bin/mallet train-classifier --input output.mallet --trainer NaiveBayes --training-portion 0.0001 --num-trials 10
Trainin
浏览 16提问于2017-06-22得票数 2
好的，我试着用Mallet对Windows中的一些文档进行分类
我已经在Linux上实现了它。只是不能让它在Windows (目标环境)中完成工作
我已经将数据导入到.mallet文件中。
然后使用这些输入数据创建一个分类器。
-rw-r--r-- 1 henry henry 15197116 Feb 23 15:56 nntp.classifier
和
07/03/2014 21:28 15,197,116 nntp.classifier
然而，当我在Linux中运行时：
bin/mallet分类-dir--输入./output文件夹--输出--分类器nntp.classi
浏览 3提问于2014-03-07得票数 1
回答已采纳
我已经训练了一个自定义分类器来理解金融领域的命名实体。我想生成自定义的培训数据，如下面的链接所示
我可以手工标记自定义关系，但希望首先使用自定义命名实体生成数据格式(如conll )。
我还尝试了下面的解析器，但这并不会生成关系训练数据，比如链接中提到的Roth和Yih的数据。
斯坦福大学-解析器-完整-2013-06-20/*：“edu.stanford.nlp.parser.lexparser.LexicalizedParser -outputFormat "penn”edu/stanford/nlp/models/lexparser/englishPCFG.ser.gz stan
浏览 2提问于2017-05-07得票数 0
回答已采纳
1回答
我正在看Mallet的源代码，似乎大多数分类器实现(例如朴素贝叶斯)并没有真正考虑到特征选择，即使InstanceList类有一个setFeatureSelection方法。
现在，我想对我的数据集进行一些快速的实验，其中涉及到特征选择。我在想，从技术捷径的角度来看，我可能会得到排名最低的特征，并在实例向量中将这些值设置为0。这在机器学习中是否等同于分类器训练中的特征选择，因此根本不考虑它们(如果不涉及平滑，例如拉普拉斯估计)？
谢谢
浏览 2提问于2013-10-04得票数 1
1回答
训练不带句子边界的CRF
、、、
我需要标记HTML文档中的部分文本。但是，它主要由日期、公司名称、地址等文本组成。我计划使用CRF (sklearn-crfsuite)。
我的问题是很难将数据集划分为句子。我们能不能训练一个没有句子边界的CRF模型，把所有东西都当作一个单一的序列？CRFSuite或sklearn-crfsuite中的教程没有讨论这一点。
如果没有句子切分是不能做到的，那么如何将这样的文本分成句子有什么建议吗？
数据是这样的：(我不能分享实际的数据)
浏览 12提问于2017-07-18得票数 0
2回答
我看到了一些关于培训斯坦福大学的其他语言的帖子。
例如：
然而，斯坦福CRF分类器使用了一些与语言相关的功能(例如:Speech标签的一部分)。
我们真的可以使用相同的Jar文件训练非英语模型吗？
浏览 6提问于2018-10-09得票数 1
我已经做了很多关于线性CRF和Word2Vec的阅读，并想知道哪一个是最好的做命名实体识别。我使用Stanford (这是一个线性CRF实现)训练我的模型，精度达到85%。我知道Word2vec将相似的单词组合在一起，但它是一个很好的模型吗？
浏览 7提问于2017-07-13得票数 2
回答已采纳
我从一堆指定20个主题的文本中训练了一个模型，但是当我在一个新文档上运行推理器时，它只输出10个主题权重。下面是我使用的命令：
bin/mallet导入-文件-输入/data/research/bazaarvoice/data/review_nouns.txt -输出/data/research/bazaarvoice/data/review_nouns_mallet.mallet -保持顺序-使用-管道-从/data/research/bazaarvoice/data/ques_mallet.mallet
bin/mallet列车-主题\-输入/data/research/bazaa
浏览 4提问于2016-06-11得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
