使用自定义LLM：RAGAs评估

from langchain_community.chat_models import ChatZhipuAI
from langchain_community.embeddings import ZhipuAIEmbeddings
from ragas.llms import LangchainLLMWrapper
from ragas.embeddings import LangchainEmbeddingsWrapper
import os
os.environ["ZHIPUAI_API_KEY"] = "Your_API_KEY"

zhipu_chat = ChatZhipuAI(model='glm-4')
zhipu_embedding = ZhipuAIEmbeddings(model="embedding-3")

zhipu_llm = LangchainLLMWrapper(zhipu_chat)
zhipu_embeddings = LangchainEmbeddingsWrapper(zhipu_embedding)

import pandas as pd
from datasets import Dataset

# 使用 Pandas 创建 DataFrame
data = {
    "question":["中国的成立时间？","中国的成立时间？","中国的成立时间？"],
    "answer":["中国成立于1949年10月1日","中国成立于1949年10月3日","成立于1949年,是社会主义国家"],
    "contexts":["中华人民共和国，简称“中国”，成立于1949年10月1日，是工人阶级领导的的社会主义国家","中华人民共和国，简称“中国”，成立于1949年10月1日，是工人阶级领导的的社会主义国家","中华人民共和国，简称“中国”，成立于1949年10月1日，是工人阶级领导的的社会主义国家"],
    "reference":["中国成立于1949年10月1日","中国成立于1949年10月1日","中国成立于1949年10月1日"]
}
df = pd.DataFrame(data)
print(df.head())
# 将 evalsets 列表转换为字典格式
evalsets = [
    {
        "user_input": row["question"],  # 使用 question 作为 user_input
        "reference": row['reference'],      # 使用 answer 作为 reference
        "query": row["question"],
        "answer": row["answer"],
        "retrieved_contexts": [row["contexts"]]
    }
    for index, row in df.iterrows()
]

# 将 evalsets 列表转换为 Dataset 对象
evalsets = Dataset.from_list(evalsets)
print(evalsets)

# 然后重新指定各评价指标使用的llm
from ragas import evaluate
from ragas.metrics import (
    answer_relevancy,
    faithfulness,
    context_recall,
    context_precision,    
)

faithfulness.llm = zhipu_llm
answer_relevancy.llm = zhipu_llm
answer_relevancy.embeddings = zhipu_embeddings
context_recall.llm = zhipu_llm
context_precision.llm = zhipu_llm

# 重新一键式测评
result = evaluate(
    evalsets,
    metrics=[ 
        faithfulness,
        answer_relevancy,
        context_precision,
        context_recall,
    ],
)

df = result.to_pandas()
df.head()