浦语·灵笔2（XComposer2）模型部署及使用

官网：https://internlm.intern-ai.org.cn/ 论文地址：https://arxiv.org/html/2407.03320 项目地址：https://github.com/InternLM/InternLM-XComposer 体验地址：https://huggingface.co/spaces/Willow123/InternLM-XComposer

InternLM-XComposer-2.5 模型框架

InternLM-XComposer-2.5 主要功能

多轮多图像对话：浦语•灵笔2.5 支持自由形式的多轮多图像对话，使其能够在多轮对话中与人类自然互动。

细粒度视频理解：浦语•灵笔2.5 将视频视为由数十到数千帧组成的超高分辨率复合图像，从而通过密集采样和每帧更高的分辨率捕捉细节。

超高分辨率理解：浦语•灵笔2.5使用560×560分辨率的VT视觉编码器增强了 IXC2-4KHD 中提出的动态分辨率解决方案，支持具有任意纵横比的高分辨率图像。

1. 网页制作：浦语•灵笔2.5 可以通过遵循文本-图像指令来创建网页，包括源代码（HTML、CSS和JavaScript）的组合。

高质量文本-图像文章创作：浦语•灵笔2.5利用特别设计的“思维链”（CoT）和“直接偏好优化”（DPO）技术，显著提高了其创作内容的质量

出色的性能：浦语•灵笔2.5 在 28 个基准测试中进行了评估，在16个基准测试上优于现有的开源先进模型。它还在16个关键任务上超越或与 GPT-4V 和 Gemini Pro 表现相近。

浦语·灵笔2（XComposer2）模型部署

打卡开发机 --- share 找到模型

conda activate lmdeploy

pip install modelscope==1.9.5 -i https://pypi.tuna.tsinghua.edu.cn/simple/

ln -s /root/share/new_models/Shanghai_AI_Laboratory/internlm-xcomposer2-7b /root/models/internlm-xcomposer2-7b

 cd /root/models/

复制

启动API服务器

首先让我们进入创建好的conda环境，并通下命令启动API服务器

lmdeploy serve api_server \
    /root/models/internlm-xcomposer2-7b \
    --model-format hf \
    --quant-policy 0 \
    --server-name 0.0.0.0 \
    --server-port 23333 \
    --tp 1

复制

命令解释：

1. lmdeploy serve api_server：这个命令用于启动API服务器。
2. /root/models/internlm2_5-7b-chat：这是模型的路径。
3. --model-format hf：这个参数指定了模型的格式。hf代表“Hugging Face”格式。
4. --quant-policy 0：这个参数指定了量化策略。
5. --server-name 0.0.0.0：这个参数指定了服务器的名称。在这里，0.0.0.0是一个特殊的IP地址，它表示所有网络接口。
6. --server-port 23333：这个参数指定了服务器的端口号。在这里，23333是服务器将监听的端口号。
7. --tp 1：这个参数表示并行数量（GPU数量）。

稍待片刻，终端显示如下。

code及技术报告

InternLM/InternLM-XComposer: InternLM-XComposer-2.5: A Versatile Large Vision Language Model Supporting Long-Contextual Input and Output

[2407.03320] InternLM-XComposer-2.5: A Versatile Large Vision Language Model Supporting Long-Contextual Input and Output