遇见您的私人法律顾问：智能法律大模型，智能解答您的法律困惑

原创

汀丶人工智能

发布于 2024-02-27 14:20:45

18500

代码可运行

文章被收录于专栏：NLP/KGNLP/KG

运行总次数：0

代码可运行

遇见您的私人法律顾问：智能法律大模型，智能解答您的法律困惑

为了让法律服务深入到每个人的身边，让更多的人能够得到法律帮助，开启了【律知】这个项目, 致力于打造一系列引领法律智能化的大模型。AI 法律模型是一位虚拟法律顾问，具备丰富的法律知识和技能，能够回答法律问题和提供法律建议。

语言模型

Law-GLM-10B: 基于 GLM-10B 模型, 在 30GB 中文法律数据上进行指令微调.

Name	Params	Language	Corpus	Objective	File	Config
GLM-Base	110M	English	Wiki+Book	Token	glm-base-blank.tar.bz2	model_blocklm_base.sh
GLM-Large	335M	English	Wiki+Book	Token	glm-large-blank.tar.bz2	model_blocklm_large.sh
GLM-Large-Chinese	335M	Chinese	WuDaoCorpora	Token+Sent+Doc	glm-large-chinese.tar.bz2	model_blocklm_large_chinese.sh
GLM-Doc	335M	English	Wiki+Book	Token+Doc	glm-large-generation.tar.bz2	model_blocklm_large_generation.sh
GLM-410M	410M	English	Wiki+Book	Token+Doc	glm-1.25-generation.tar.bz2	model_blocklm_1.25_generation.sh
GLM-515M	515M	English	Wiki+Book	Token+Doc	glm-1.5-generation.tar.bz2	model_blocklm_1.5_generation.sh
GLM-RoBERTa	335M	English	RoBERTa	Token	glm-roberta-large-blank.tar.bz2	model_blocklm_roberta_large.sh
GLM-2B	2B	English	Pile	Token+Sent+Doc	glm-2b.tar.bz2	model_blocklm_2B.sh
GLM-10B	10B	English	Pile	Token+Sent+Doc	Download	model_blocklm_10B.sh
GLM-10B-Chinese	10B	Chinese	WuDaoCorpora	Token+Sent+Doc	Download	model_blocklm_10B_chinese.sh

GLM-模型结果

dev set, single model, single-task finetuning

Model	COPA	WSC	RTE	WiC	CB	MultiRC	BoolQ	ReCoRD
GLM-10B	98.0	95.2	93.1	75.7	98.7/98.2	88.1/63.3	88.7	94.4/94.0
DeBERTa-XXLarge-v2	97.0		93.5			87.8/63.6	88.3	94.1/93.7

Seq2Seq

CNN/Daily Mail (test set, no additional data used)

Model	ROUGE-1	ROUGE-2	ROUGE-L
GLM-10B	44.7	21.4	41.4
T5-11B	43.5	21.6	40.7
PEGASUS-Large	44.2	21.5	41.4
BART-Large	44.2	21.3	40.9

XSum (test set, no additional data used)

Model	ROUGE-1	ROUGE-2	ROUGE-L
GLM-10B	48.9	25.7	40.4
PEGASUS-Large	47.2	24.6	39.3
BART-Large	45.1	22.3	37.3

Language Modeling

test set, zero-shot

Model	LAMBADA (accuracy)	Wikitext103 (perplexity)
GLM-10B (bi)	72.35	11.33
GLM-10B (uni)	67.18	12.22
GPT-2	52.66	17.48
Megatron-LM (8.3B)	66.51	10.81
Turing-NLG	67.98	10.21

2.快速使用部署

推出的语言模型支持 HuggingFace🤗

from transformers import AutoTokenizer, AutoModelForSeq2SeqLM

hf_model = "law-llm/law-glm-10b"
max_question_length = 64
max_generation_length = 490

tokenizer = AutoTokenizer.from_pretrained(
    hf_model,
    cache_dir=model_cache_dir,
    use_fast=True,
    trust_remote_code=True
)

model = AutoModelForSeq2SeqLM.from_pretrained(
    hf_model,
    cache_dir=model_cache_dir,
    trust_remote_code=True
)

model = model.to('cuda')
model.eval()

model_inputs = "提问: 犯了盗窃罪怎么判刑? 回答: [gMASK]"

model_inputs = tokenizer(model_inputs,
                            max_length=max_question_length,
                            padding=True,
                            truncation=True,
                            return_tensors="pt")

model_inputs = tokenizer.build_inputs_for_generation(model_inputs,
                                                     targets=None,
                                                     max_gen_length=max_generation_length,
                                                     padding=True)

inputs = model_inputs.to('cuda')

outputs = model.generate(**inputs, max_length=max_generation_length,
                            eos_token_id=tokenizer.eop_token_id)
prediction = tokenizer.decode(outputs[0].tolist())

3. 效果展示

3.1. 法律咨询示例

的模型能够提供法律咨询服务，在大部分情况下能够依据真实的法律法规生成有指导性的建议。

问题	回答 (Law-GLM-10B, 2023.07.13, 模型输出)
犯了盗窃罪怎么判刑?	盗窃罪是指以非法占有为目的,窃取他人占有的数额较大的财物,或者多次盗窃的行为。盗窃罪侵犯的对象,仅限于国家、集体或个人的财物,而不是骗取其他非法利益。根据《刑法》第二百六十四条规定,盗窃公私财物,数额较大的,或者多次盗窃、入户盗窃、携带凶器盗窃、扒窃的,处三年以下有期徒刑、拘役或者管制,并处或者单处罚金;数额巨大或者有其他严重情节的,处三年以上十年以下有期徒刑,并处罚金;数额特别巨大或者有其他特别严重情节的,处十年以上有期徒刑或者无期徒刑,并处罚金或者没收财产。
未成年犯罪要承担刑事责任吗?	未成年犯罪要承担刑事责任。我国《刑法》第十七条规定,已满十六周岁的人犯罪,应当负刑事责任。已满十四周岁不满十六周岁的人,犯故意杀人、故意伤害致人重伤或者死亡、强奸、抢劫、贩卖毒品、放火、爆炸、投放危险物质罪的,应当负刑事责任。已满十二周岁不满十四周岁的人,犯故意杀人、故意伤害罪,致人死亡或者以特别残忍手段致人重伤造成严重残疾,情节恶劣,经最高人民检察院核准追诉的,应当负刑事责任。对依照前三款规定追究刑事责任的不满十八周岁的人,应当从轻或者减轻处罚。因不满十六周岁不予刑事处罚的,责令其父母或者其他监护人加以管教;在必要的时候,依法进行专门矫治教育。

问题

回答 (Law-GLM-10B, 2023.07.13, 模型输出)

犯了盗窃罪怎么判刑?

盗窃罪是指以非法占有为目的,窃取他人占有的数额较大的财物,或者多次盗窃的行为。盗窃罪侵犯的对象,仅限于国家、集体或个人的财物,而不是骗取其他非法利益。根据《刑法》第二百六十四条规定,盗窃公私财物,数额较大的,或者多次盗窃、入户盗窃、携带凶器盗窃、扒窃的,处三年以下有期徒刑、拘役或者管制,并处或者单处罚金;数额巨大或者有其他严重情节的,处三年以上十年以下有期徒刑,并处罚金;数额特别巨大或者有其他特别严重情节的,处十年以上有期徒刑或者无期徒刑,并处罚金或者没收财产。

未成年犯罪要承担刑事责任吗?

未成年犯罪要承担刑事责任。我国《刑法》第十七条规定,已满十六周岁的人犯罪,应当负刑事责任。已满十四周岁不满十六周岁的人,犯故意杀人、故意伤害致人重伤或者死亡、强奸、抢劫、贩卖毒品、放火、爆炸、投放危险物质罪的,应当负刑事责任。已满十二周岁不满十四周岁的人,犯故意杀人、故意伤害罪,致人死亡或者以特别残忍手段致人重伤造成严重残疾,情节恶劣,经最高人民检察院核准追诉的,应当负刑事责任。对依照前三款规定追究刑事责任的不满十八周岁的人,应当从轻或者减轻处罚。因不满十六周岁不予刑事处罚的,责令其父母或者其他监护人加以管教;在必要的时候,依法进行专门矫治教育。

3.2. 失败案例

的模型还远不够完美.以下是一些失败案例, 模型在这些案例中给出的答案并不完全正确.

正在分析模型的局限性，将继续推出更为强大, 准确的版本.

提问	回答 (Law-GLM-10B, 2023.07.13, 模型输出)	分析
非法集资罪员工如何处理?非法集资罪员工判多少年?	非法集资罪员工的处理: 1、员工构成非法集资罪的,一般处三年以下有期徒刑或者拘役,并处或者单处罚金;2、员工构成非法集资罪的,一般处三年以上七年以下有期徒刑,并处罚金;3、员工构成非法集资罪的,一般处七年以上有期徒刑,并处罚金或者没收财产。法律依据:《刑法》第一百九十二条以非法占有为目的,使用诈骗方法非法集资,数额较大的,处三年以下有期徒刑或者拘役,并处或者单处罚金;数额巨大或者有其他严重情节的,处三年以上七年以下有期徒刑,并处罚金。单位犯前款罪的,对单位判处罚金,并对其直接负责的主管人员和其他直接责任人员,依照前款的规定处罚。	法条引用正确, 刑期有错误 (应当为 "处五年以上十年以下有期徒刑")
犯人被逮捕后，会通知家属吗？多久会有通知？	逮捕后,会通知家属。根据《刑事诉讼法》第六十九条规定,公安机关逮捕人的时候,必须出示逮捕证。逮捕后,应当立即将被逮捕人送看守所羁押,至迟不得超过二十四小时。除无法通知或者涉嫌危害国家安全犯罪、恐怖活动犯罪通知可能有碍侦查的情形以外,应当在逮捕后二十四小时以内,通知被逮捕人的家属。有碍侦查的情形消失以后,应当立即通知被逮捕人的家属。	回答基本正确, 但法条引用错误