FastText类使用未定义的对象
FastText是一个用于文本分类和文本表示的开源库，由Facebook AI Research开发。它基于词袋模型和n-gram特征，并使用了层级Softmax和负采样来加速训练过程。FastText在处理大规模文本数据时表现出色，并且具有较低的内存占用。
FastText的主要优势包括：
- 快速训练和推理：FastText使用了高效的算法和数据结构，可以在大规模数据集上快速训练和进行推理。
- 文本分类和表示：FastText可以用于文本分类任务，例如情感分析、垃圾邮件过滤等。同时，它还可以生成文本的向量表示，用于文本相似度计算等任务。
- 多语言支持：FastText支持多种语言，并且在处理不同语言的文本时表现良好。
- 开源和可扩展：FastText是一个开源库，可以根据需要进行定制和扩展。
在腾讯云中，可以使用腾讯云的AI开放平台（https://cloud.tencent.com/product/ai）来进行FastText相关的开发和部署。腾讯云的AI开放平台提供了丰富的人工智能服务和工具，可以帮助开发者快速构建和部署各种AI应用。
注意：本答案中没有提及亚马逊AWS、Azure、阿里云、华为云、天翼云、GoDaddy、Namecheap、Google等品牌商，以符合问题要求。
相关·内容
1回答
我刚刚训练了我的快速文本模型，我试图使用pins、 和vetiver 来控制版本。
但是，要做到这一点，我需要选择快速文本对象/模型。那就是我一直在挣扎的地方。
PS:当我将快速文本模型保存到磁盘时，它将保存为.bin或二进制文件。下面是使用pins时代码的外观
import pins
import fasttext
board = pins.board_temp(allow_pickle_read = True)
board.pin_write(ft_model, "ft_model", type="joblib") #ft_model is a fastt
浏览 9提问于2022-08-16得票数 1
回答已采纳
我正在使用fastText获取相似的单词。我已经训练了我的模型，但当我使用model.most_simlar时出现错误。
下面是我的代码：
from pprint import pprint
import gensim
from gensim.models import FastText
pprint(test_model.most_similar('room', topn=10))
这就是错误。
AttributeError: '_FastText' object has no attribute 'most_similar'
--------
浏览 14提问于2021-09-27得票数 0
我试着从上加载经过预先训练的载体。
我的代码在下面，运行良好。
from gensim.models import FastText
model = FastText.load_fasttext_format('./wiki.en/wiki.en.bin')
但是，这个警告信息有点烦人。
gensim_fasttext_pretrained_vector.py:13: DeprecationWarning: Call to deprecated `load_fasttext_format` (use load_facebook_vectors (to use pretraine
浏览 0提问于2020-05-28得票数 5
回答已采纳
2回答
我用的是预先训练过的模型：
import fasttext.util
fasttext.util.download_model('en', if_exists='ignore') # English
ft = fasttext.load_model('cc.en.300.bin')
在哪里可以找到用于训练模型的超参数值的详尽列表？列出了默认值，这与使用的值不同:例如，单词向量的维数是300，而不是100 (引用没有列出它们的全部)。
浏览 4提问于2021-06-03得票数 0
回答已采纳
1回答
在阅读我在这里找到的一篇文章时，我偶然发现了FastText类... https://stackabuse.com/python-for-nlp-working-with-facebook-fasttext-library/#disqus_thread 作者使用了一个未定义的对象"word_tokenized_corpus“。 ft_model = FastText(word_tokenized_corpus,
size=embedding_size,
window=window_size,
浏览 12提问于2019-09-06得票数 0
回答已采纳
我正在使用FastText.load_fasttext_format()在谷歌Colab中加载fastText官方日语训练模型(300dim)。这是我的代码。 model_path = "/content/drive/MyDrive/IDR/rakuten/wikipedia_fastText/cc.ja.300.bin"
model = FastText.load_fasttext_format(model_path) 这是编码错误。 ----------------------------------------------------------------------
浏览 62提问于2021-09-30得票数 0
编辑:在Windows上工作
我只想加载一个已经下载的快速文本嵌入模型，但得到了一个错误(见底部)，我找不到解决方案。这是代码：
import fasttext
from pathlib import Path
base_path = Path("..")
fasttext_model = base_path / "models" / "cc.de.300.bin"
class EmbeddingVectorizer:
def __init__(self):
self.embedding_model = fastte
浏览 8提问于2021-11-24得票数 0
回答已采纳
1回答
我在我的python库中使用了快速文本模型(来自官方的fasttext库)。为了运行我的u-test，我需要一个尽可能轻的模型(fasttext.FastText._FastText对象)，这样我就可以在我的存储库中对其进行版本控制。 我尝试创建了一个包含5行"fake.txt“和几个单词的假文本数据集，并调用 model = fasttext.train_unsupervised("./fake.txt")
fasttext.util.reduce_model(model, 2)
model.save_model("fake_model.bin")
浏览 15提问于2020-10-23得票数 0
回答已采纳
2回答
背景
我想执行代码来使用fastText对每种文本的语言进行分类。
我所做的
下载了模型lid.176.bin
安装python绑定
$ git clone https://github.com/facebookresearch/fastText.git
$ cd fastText
$ pip install .
上面的模型lid.176.bin和文件夹fastText与下面的python代码所在的级别相同。
我不知道如何避免这个错误。
错误
ImportError: No module named fastText
代码
sample.py
from fastTex
浏览 4提问于2021-01-12得票数 2
回答已采纳
我使用FastText生成单词嵌入。我从下载了预先训练过的模型，模型有300个维，但是我想要100个维，所以我使用了减少模型命令，但是我得到了一个错误。
import gensim
model = gensim.models.fasttext.FastText.load_fasttext_format('cc.th.300.bin')
gensim.models.fasttext.utils.reduce_model(model, 100)
我得到了AttributeError: module 'gensim.utils' has no attribute &#
浏览 3提问于2021-10-20得票数 0
回答已采纳
1回答
尝试使用gensim's fasttext，测试来自gensim的示例代码，并将论证替换为corpus_iterable https://radimrehurek.com/gensim/models/fasttext.html gensim_version == 4.0.1 from gensim.models import FastText
from gensim.test.utils import common_texts # some example sentences
print(common_texts[0])
['human', 'interf
浏览 44提问于2021-09-02得票数 0
回答已采纳
我对fasttext和NLP还不熟悉。我在法语中有一个语料库，结构如下：
| value | sentence | pivot |
|-------|--------------------------------|----------|
| 1 | My first [sentence] | sentence |
| 0 | My second [word] in a sentence | word |
| .. | ... | ...
浏览 0提问于2019-04-01得票数 0
我正在使用Ubuntu 16.04，并尝试使用以下命令(从他们的网站)通过终端安装fasttext： $ wget https://github.com/facebookresearch/fastText/archive/v0.2.0.zip
$ unzip v0.2.0.zip
$ cd fastText-0.2.0
$ make 但是当我尝试这样做的时候，我得到了以下错误： c++ -pthread -std=c++0x -march=native -O3 -funroll-loops -c src/args.cc
c++ -pthread -std=c++0x -march=nativ
浏览 7提问于2019-05-18得票数 0
1回答
我用Python语言训练了一个FastText模型，并将文件保存到一个文件夹中。以下是该文件夹的内容：
fasttext.model
fasttext.model.trainables.syn1neg.npy
fasttext.model.trainables.vectors_ngrams_lockf.npy
fasttext.model.trainables.vectors_vocab_lockf.npy
fasttext.model.wv.vectors.npy
fasttext.model.wv.vectors_ngrams.npy
fasttext.model.wv.vectors_v
浏览 7提问于2021-03-10得票数 0
1回答
我正在进行网络抓取，我将utf-8保存到csv，清理它，现在我正在尝试创建我的培训和测试文件，以便能够使用Facebooks，现在这就是我所拥有的，它给了我一个错误。
from sklearn.cross_validation import train_test_split
y_all = df["normalized"]
X_all = df.drop('normalized', axis = 1)
X_train, X_test, y_train, y_test = train_test_split(X_all, y_all, `test_size=0.
浏览 5提问于2017-04-15得票数 1
从ubuntu终端执行->
B@PC：~/ supervised $./快速文本监督的-input /traningText.txt -output model_trained -label -label阅读200万单词: 78155个标签:116个进度: 100.0%的单词/秒/线程: 296977 lr: 0.000000 ETA: 1.616176 ETA:0H0m
从jupyter笔记本执行->尝试1(切换到fastText文件夹后)
/快速文本监督的-input traningText.txt -output model_trained -label label
给出错误
浏览 2提问于2019-03-21得票数 0
回答已采纳
我已经构建了一个有16个类的分类器。我需要排名前三的预测类。我过去常常使用较老版本的快速文本，并且为了获得我使用的概率，给出了
mymodel = fasttext.load_model("path to saved model")
mymodel.predict_proba(_mysentence, k= 3)
但当我尝试使用fasttext=0.9.1时，系统提示该功能不存在。
AttributeError: '_FastText' object has no attribute 'predict_proba'
在新版本中如何修改以获取前3个
浏览 225提问于2020-02-11得票数 0
1回答
我想使用FastText进行一些情绪分析。然而，在声明库的过程中，我总是会出现错误，而且网络中的任何示例和教程似乎都无法修复这个问题。
我尝试遵循这里描述的步骤：
但从一开始，也就是
import fasttext
from fasttext import train_unsupervised
我得到了以下错误：
---------------------------------------------------------------------------
ImportError Traceback (most recent c
浏览 4提问于2020-05-23得票数 0
回答已采纳
1回答
我的工作是文本分类，在那里我想分类电影类型。我想提供输入作为电影摘要/情节，并希望输出作为电影类型。我使用了FastText，使用Gensim库获得了文字的向量表示，我想把神经网络中的FastText输出输入到神经网络中，这样我就可以把电影摘要/情节作为神经网络的输入，获得戏剧、恐怖等电影类型的输出。我读过很多博客，都在神经网络中输入TFIDF，但没有人在神经网络中输入FastText的输出。能不能有人向我解释一下，如果可能的话，或者你不这么认为。
感谢你在这方面的合作和理解。
import time
from gensim.models import FastText
start = tim
浏览 3提问于2021-08-02得票数 0
fasttext_model.save("fasttext.model")
fast_text = FastText.load("fasttext.model")
我无法加载经过训练的快速文本模型：(我如何解决此问题？请帮帮我！
浏览 2提问于2020-11-09得票数 0
我在Gensim中训练了一个FastText模型。我想用它来编码我的句子。具体地说，我想在原生FastText中使用这个特性：
./fasttext print-word-vectors model.bin < queries.txt
如何将模型保存在Gensim中，以便它是本机FastText可以理解的正确的二进制格式？
我使用的是Python3.4.3下的FastText 0.1.0和Gensim 3.4.0。
本质上，我需要中给出的load_binary_data()的逆函数。
浏览 3提问于2018-05-04得票数 0
请原谅我在这里的新鲜感，但是快速文本并不适用于我的python。我使用的是运行python 3.6的anaconda。我的代码如下(只是一个例子)：
import fasttext
model = fasttext.load_model('/home/sproc/share/fastText/model.bin')
print(model.words)
这将返回以下错误：
Traceback (most recent call last):
File "/media/sf_VBoxShare/LiClipseWorkspace/test/testpack/fas
浏览 10提问于2017-07-28得票数 2
1回答
我们要在命令提示符中运行
我已经克隆了github存储库，例如，为了在我使用的命令中进行监督学习而更改网络参数，如下所示
./fasttext supervised -input FT_Race_data.txt -output race_model -lr 0.4 -epoch 30 -loss hs
我在改变自己的时代和失落。我可以训练和获取所需的输出。
对于python脚本中的编程，我安装了快速文本库，并尝试如下
classifier = fasttext.supervised('FT_Race_data.txt','race_model')
模型经
浏览 2提问于2018-04-12得票数 0
回答已采纳
我在使用gensim.model.FastText.load()加载模型时遇到了麻烦。
下面是我得到的一些代码和错误：
from gensim.models import FastText
class FastTextModel:
def __init__(self, model_path, dim=300):
self.dim = dim
self.model = FastText.load(model_path).wv
...
class GeneralModel:
def __init__(self, config):
浏览 41提问于2020-02-22得票数 0
回答已采纳
2回答
我想用fastext来训练我自己的单词嵌入。然而，在遵循了教程之后，我无法正确地完成它。到目前为止，我尝试了：
在：
from gensim.models.fasttext import FastText as FT_gensim
# Set file names for train and test data
corpus = df['sentences'].values.tolist()
model_gensim = FT_gensim(size=100)
# build the vocabulary
model_gensim.build_vocab(sentence
浏览 44提问于2019-07-15得票数 1
回答已采纳
目前，我正在研究堆栈溢出标记预测器，其中我使用的是快速文本。 当我运行这行代码时，我安装了fasttext： import fastText as fasttext
from fastText import train_supervised 我得到了错误 ImportError Traceback (most recent call last)
<ipython-input-176-72aec327c85a> in <module>
----> 1 from fastText import tra
浏览 77提问于2020-01-30得票数 1
回答已采纳
1回答
有没有一种方法让model.wv.most_similar在gensim中只返回正义词(即表示同义词，而不是反义词)？
例如，如果我这样做：
import fasttext.util
from gensim.models.fasttext import load_facebook_model
from gensim.models.fasttext import FastTextKeyedVectors
fasttext.util.download_model('en', if_exists='ignore') # English
model = load_fa
浏览 1提问于2021-07-19得票数 2
回答已采纳
1回答
我正在做一个使用FastText的文本相似度项目，我找到的训练模型的基本例子是： from gensim.models import FastText
model = FastText(tokens, size=100, window=3, min_count=1, iter=10, sorted_vocab=1) 据我所知，由于我指定了向量和ngram大小，模型在这里是从头开始训练的，如果数据集很小，我会检测出很好的结果。 我发现的另一个选择是加载原始的维基百科模型，这是一个很大的文件： from gensim.models.wrappers import FastText
model
浏览 28提问于2019-09-05得票数 2
我尝试通过conda使用两个通道安装fasttext：
conda install -c conda-forge fasttext
和
conda install -c conda-forge/label/cf201901 fasttext
根据()。
我使用以下命令导入：import fasttext，但是，导入失败时出错：
ModuleNotFoundError跟踪(最近一次调用)在->1导入快速文本中
ModuleNotFoundError:没有名为“快速文本”的模块
然而，试图以一种旧的方式导入import fastText，但失败了。
已经在python和python3
浏览 2提问于2019-10-01得票数 8
2回答
我正在尝试使用FastText的法语预培训二进制模型(从官方下载)。我需要的是.bin模型，而不是.vec字向量，以便近似拼写错误和词汇量不足的单词。
但是，当我尝试加载上述模型时，使用：
from gensim.models import FastText
model = FastText.load_fasttext_format('french_bin_model_path')
我得到以下错误：
NotImplementedError: Supervised fastText models are not supported
令人惊讶的是，当我尝试加载英语二进制模型时，它工
浏览 2提问于2018-07-23得票数 5
我正在尝试使用FastText Python API ，尽管据我所知，该API不能像中建议的那样在中加载更新的.bin模型文件
我已经尝试了在这个问题上提出的所有建议，而且没有英文版的.bin，否则问题就会解决。有没有人知道解决这个问题的办法？
浏览 56提问于2017-08-29得票数 9
fasttext_embeddings = WordEmbeddings('en-crawl')
fasttext = Embeddings(fasttext_embeddings, min_similarity=0, model_id="FastText")
tfidf = TFIDF(min_similarity=0, model_id="TF-IDF")
rapidfuzz = RapidFuzz(n_jobs=-1, score_cutoff=0, model_id="RapidFuzz")
matchers = [tf
浏览 8提问于2022-06-07得票数 0
只是好奇，但我正在调试gensim的FastText代码，以复制OOV (OOV)单词的实现，但我无法完成它。所以，我遵循的过程是用一个玩具语料库训练一个小模型，然后比较词汇中一个单词的向量。这意味着如果整个过程正常，输出数组应该是相同的。
下面是我用于测试的代码：
from gensim.models import FastText
import numpy as np
# Default gensim's function for hashing ngrams
from gensim.models._utils_any2vec import ft_hash_bytes
# Toy
浏览 3提问于2020-03-04得票数 0
回答已采纳
我刚开始深入学习，我正在尝试使用一个来自的预先训练过的单词嵌入模型。我下载了以下文件：
1)sa-d300-m2-快速文本.模型
2)sa-d300-m2-fasttext.model.trainables.syn1neg.npy
3)sa-d300-m2-fasttext.model.trainables.vectors_ngrams_lockf.npy
(4)sa-d300-m2-Quicktext.model.wv.vectors.npy
5)sa-d300-m2-fasttext.model.wv.vectors_ngrams.npy
6)sa-d300-m2-fasttext.mod
浏览 1提问于2020-08-28得票数 1
回答已采纳
2回答
我希望在ML管道中使用FastText模型，它是我在s3上创建并保存为.bin文件的。我希望所有这些都保持在一个基于云的管道中，所以我不想要本地文件。我觉得我已经很接近了，但是我不知道如何制作一个临时的.bin文件。我也不确定是否以最有效的方式保存和读取FastText模型。下面的代码可以工作，但它将文件保存在本地，这是我想要避免的。 import smart_open
file = smart_open.smart_open(s3 location of .bin model)
listed = b''.join([i for i in file])
with open(&
浏览 17提问于2021-10-05得票数 0
回答已采纳
我找不到任何关于gensim快速文本参数的默认值。
还是与原来的Facebook快速文本实现相同？
浏览 0提问于2019-02-02得票数 2
回答已采纳
2回答
我下载了一个.bin FastText模型，并将其与gensim一起使用，如下所示：
model = FastText.load_fasttext_format("cc.fr.300.bin")
我想继续培训的模式，以适应我的领域。在检查了和之后，似乎是，而不是，使用这个人提出的 (尚未合并)是可行的。
我是不是遗漏了什么？
浏览 0提问于2018-08-29得票数 8
回答已采纳
我从facebook (https://fasttext.cc/docs/en/crawl-vectors.html)下载了预先训练好的词向量文件(.bin)，但是当我尝试使用这个模型时，它碰巧出错了。 from gensim.models import FastText
fasttext_model = FastText.load_fasttext_format('cc.ko.300.bin', encoding='utf8')
UnicodeDecodeError: 'utf-8' codec can't decode byte
浏览 41提问于2019-03-06得票数 0
回答已采纳
我们已经使用Facebook的Fasttext惊人的图书馆一段时间了。我们使用python包装器()访问经过训练的模型。它曾经是一个第三方图书馆，但现在是Facebook的，并与他们的合并。
问题是这两个包装器不兼容。旧的通过import fasttext (低驱动)导入，新的通过import fastText导入。API也有点不同。但是最重要的是，新的库不支持由旧的Fasttext版本训练的模型，而旧的库支持它们，但是不支持新的训练版本。
我们计划将我们所有的模型迁移到新的Fasttext版本(它有量化，而且据说更快)，但是我们需要时间来支持这两种类型的模型。所以我们需要两个包装纸并排工作。
浏览 0提问于2018-07-03得票数 0
回答已采纳
2回答
我是的新手，这是一个有效学习单词表示和句子分类的图书馆。我正在尝试。但是在单一的过程中，这需要花费很长的时间。
所以，让我明确地提出我的问题：
是否有任何选项可以用于加速单个fastText进程？
在并行fastText进程中是否有生成字向量的方法？
在我阅读时，是否有其他的实现或解决方法可以解决问题，但我无法找到它。
谢谢
浏览 4提问于2018-05-01得票数 2
1回答
我想使用pip安装fasttext。但是fasttext需要Cython。错误可以在这里看到：
Complete output from command python setup.py egg_info:
Traceback (most recent call last):
File "<string>", line 1, in <module>
File "/tmp/pip-install-3if14395/fasttext/setup.py", line 3, in <module>
浏览 6提问于2018-08-17得票数 1
回答已采纳
当我试着跑的时候 import fasttext.util
fasttext.util.download_model('en', if_exists='ignore') 我得到以下错误 AttributeError: module 'fasttext.util' has no attribute 'download_model'
浏览 36提问于2020-03-25得票数 0
回答已采纳
1回答
我下载了fasttext model li.176.bin。如果我在文件夹中使用model在本地运行我的代码，一切都很好。但我需要在GC中运行它，所以，我将模型上传到存储桶中，并将路径从本地更改为gs存储桶，得到一个错误：ValueError: gs://models/fasttext-model/lid.176.bin cannot be opened for loading!我如何使用存储桶中的模型？ path_to_pretrained_model = 'gs://models/fasttext-model/lid.176.bin'
fasttext_model = f
浏览 68提问于2021-07-10得票数 1
我将非常感谢如果我能得到你的帮助，我想使用快速文本的windows 10 (快速文本与mac和linux的正式工作)，我已经安装了这个提示的基础
然后我想在下面运行这段代码(train prodigy sesne2vec)
我相信我的电脑里有正确的快速文本
我试着运行这个
但是我遇到了这个错误
我使用了这个命令
!python 04_fasttext_train_vectors.py -c 10 "C:/Users/moha/Documents/Models/Debug/fasttext.dll" " ../data/output02" "
浏览 2提问于2020-04-09得票数 1
2回答
我编写了一个简单的flask web服务来使用fastText进行预测。我想把它们放进码头。我的Dockerfile是这样的： FROM python:3
WORKDIR /app
COPY . .
RUN pip3 install -r requirements.txt
RUN git clone https://github.com/facebookresearch/fastText.git /tmp/fastText && \
rm -rf /tmp/fastText/.git* && \
mv /tmp/fastText/* / &
浏览 3提问于2020-12-13得票数 0
1回答
我训练了一个机器学习句子分类模型，该模型除其他特性外，还使用了从经过预先训练的fastText模型(如)中获得的向量( 7Gb )。我使用经过预先训练的fastText意大利语模型:我使用这个词嵌入只是为了获得一些语义特征，以输入到有效的ML模型中。
我构建了一个基于fastText的简单API，它在预测时计算有效的ML模型所需的向量。在遮罩下，这个API接收一个字符串作为输入并调用get_sentence_vector。当API启动时，它将fastText模型加载到内存中。
如何减少加载到内存中的fastText的内存占用量？
制约因素：
我的模型工作得很好，训练既费时又昂贵，所以我不想
浏览 32提问于2022-06-29得票数 0
回答已采纳
6回答
我在玩FastText，，这与Word2Vec非常相似。由于它似乎是一个非常新的图书馆，没有多少内置的功能，我想知道如何提取形态学相似的词。
例如：model.similar_word("dog") ->狗。但是没有内置的功能。
如果我输入model["dog"]
我只得到向量，这可以用来比较余弦的相似性。model.cosine_similarity(model["dog"], model["dogs"]])。
我是否需要做一些循环，并对文本中所有可能的对执行cosine_similarity？那需要时间！
浏览 3提问于2017-02-13得票数 13
回答已采纳
我刚刚安装了来自的快速文本包。然后我尝试了这个网站上的例子：
import fasttext
# Skipgram model
model = fasttext.skipgram('data.txt', 'model')
print model.words # list of words in dictionary
# CBOW model
model = fasttext.cbow('data.txt', 'model')
print model.words # list of words in dictionary
然而，
浏览 0提问于2016-10-06得票数 0
2回答
我使用gensim包以这样的方式加载模型：
from gensim.models import FastText
model = FastText.load_fasttext_format('wiki-news-300d-1M-subword.bin')
如前所述，这里。
UnicodeDecodeError: 'utf-8' codec can't decode byte 0xe6 in position 57: unexpected end of data
.bin文件是从这个来源下载的。
如何正确加载模型？
浏览 0提问于2019-01-28得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
