fasttext介绍
1.1 fasttext作用
作为NLP工程领域常用的工具包, fasttext有两大作用:
进行文本分类
训练词向量
1.2 fasttext工具包的优势
正如它的名字, 在保持较高精度的情况下...当今文本分类的实现多是使用机器学习方法从训练数据中提取分类规则以进行分类, 因此构建文本分类器需要带标签的数据.
2.2 文本分类种类
二分类:
文本被分类两个类别中, 往往这两个类别是对立面,...参数需要指定验证数据集所在路径, 它将在验证集上使用随机搜索方法寻找可能最优的超参数.
# 使用autotuneDuration参数可以控制随机搜索的时间, 默认是300s, 根据不同的需求, 我们可以延长或缩短时间..., 来看一下它的输出结果.
# 参数k代表指定模型输出多少个标签, 默认为1, 这里设置为-1, 意味着尽可能多的输出.
# 参数threshold代表显示的标签概率阈值, 设置为0.5, 意味着显示概率大于..., k=-1, threshold=0.5)
# 我看到根据输入文本, 输出了它的三个最有可能的标签
((u'__label__baking', u'__label__bananas', u'__label