基于Bert进行实体识别任务微调
所需要的pip包
pandas
numpy
sklearn
pytorch
transformers: https://github.com/...torch import cuda
device = 'cuda' if cuda.is_available() else 'cpu'
print(device)
cuda
数据处理
比赛数据下载地址:商品标题实体识别...', 'I-11', 'B-11', 'I-11', 'B-4', 'I-4', 'I-4', 'B-5', 'I-5', 'B-5', 'I-5', 'B-5', 'I-5', 'B-5', 'I-5...', 'B-5', 'I-5', 'I-5', 'O', 'O', 'B-4', 'I-4', 'I-4', 'B-11', 'I-11', 'B-11', 'I-11', 'B-8', 'I-8',...'O', 'B-11', 'I-11', 'B-11', 'O']
保存模型
保存模型词汇表 、模型权重、配置文件,之后可以用 from_pretrained()
import os
directory