好评or坏评？AI用Hugging Face和PyTorch解码答案

Hugging Face是一家专注于自然语言处理（NLP）技术的人工智能公司，致力于开发和提供前沿的NLP工具和大规模预训练模型，以推动自然语言理解和生成的研究与应用。公司成立于2016年，总部位于纽约，其使命是民主化人工智能技术，让开发者、研究人员和公司能够轻松地利用最先进的NLP技术。

Hugging Face背后最著名的产品是transformers库，这是一个开源的机器学习库，提供了数百种NLP模型，如BERT、GPT-2、T5和BART等，支持文本分类、信息提取、文本生成、翻译以及其他多种NLP任务。transformers库以其易用性、灵活性和高效性受到广泛欢迎，成为了自然语言处理领域的事实标准之一。

除了提供强大的transformers库，Hugging Face还运营一个名为Hugging Face Hub的平台，这个平台允许社区成员共享和发现预训练模型和数据集。通过这个平台，用户可以轻松地上传、分享和使用NLP模型，促进了知识的共享和合作。

Hugging Face不仅在开源社区中具有重要影响，也与许多学术机构和企业合作，推动了NLP领域的研究和商业应用。公司持续在自然语言处理、机器学习和人工智能领域进行创新，旨在通过其技术和平台使AI更加普及和易于访问。

https://hf-mirror.com/

pip install transformers

import pandas as pd
data=pd.read_csv("ChnSentiCorp_htl_all.csv")
data.head()

from torch.utils.data import Dataset
class MyDataSet(Dataset):
    def __init__(self):
        super().__init__()
        self.data=pd.read_csv('ChnSentiCorp_htl_all.csv')
        self.data=self.data.dropna()
        
    def __getitem__(self,index):
        return self.data.iloc[index]['review'],self.data.iloc[index]['label']
    
    def __len__(self):
        return len(self.data)
    

dataset=MyDataSet()
for i in range(10):
    print(dataset[i])

from torch.utils.data import random_split
trainset,validset=random_split(dataset,lengths=[0.9,0.1])

from transformers import AutoModelForSequenceClassification
model=AutoModelForSequenceClassification.from_pretrained('rbt3')

from transformers import AutoTokenizer
tokenizer=AutoTokenizer.from_pretrained('rbt3')

import torch
from torch.utils.data import DataLoader

def collate_func(batch):
    texts,labels=[],[]
    for item in batch:
        texts.append(item[0])
        labels.append(item[1])
    inputs=tokenizer(texts,max_length=128,padding="max_length",truncation=True,return_tensors="pt")
    inputs["labels"]=torch.tensor(labels)
    return inputs

trainloader=DataLoader(trainset,batch_size=16,shuffle=True,collate_fn=collate_func)
validloader=DataLoader(validset,batch_size=16,shuffle=False,collate_fn=collate_func)

from torch.optim import Adam
model=AutoModelForSequenceClassification.from_pretrained('rbt3')
optimizer=Adam(model.parameters(),lr=2e-5)
# 因为微调 所以学习率不用很大

def evaluate():
    model.eval()
    acc_num=0
    with torch.inference_mode():
        for batch in validloader:
            output=model(**batch)
            pred=torch.argmax(output.logits,dim=-1)
            acc_num+=(pred.long()==batch['labels'].long()).float().sum()
    return acc_num/len(validset)


def train(epoch=3,log_step=100):
    global_step=0
    for ep in range(epoch):
        model.train()
        for batch in trainloader:
            optimizer.zero_grad()
            output=model(**batch)
            output.loss.backward()
            optimizer.step()
            if global_step%log_step:
                print(f"ep: {ep}, global_step: {global_step}, loss: {output.loss.item()}",)
            global_step+=1
        acc=evaluate()
        print(f"ep:{ep},acc: {acc}")
        

sen="这家民宿的床很舒服，隔音很好，投影仪配合100寸大幕布超级nice"
id2_label={0:'差评',1:'好评'}
model.eval()
with torch.inference_mode():
    inputs=tokenizer(sen,return_tensors='pt')
    logits=model(**inputs).logits
    pred=torch.argmax(logits,-1)
    print(f"输入：{sen}\n模型预测结果：{id2_label.get(pred.item())}")

from transformers import pipeline
pipe=pipeline("text-classification",model=model,tokenizer=tokenizer)
pipe(sen)