一个手机也能跑的开源LLM模型

一个iPhone、安卓手机都可以跑的模型，上线一个多月，就收获了7.7K。

项目简介

这个项目名叫MLC-LLM，可以运行在任何设备的大模型，包含：iPhone、iPad、安卓、Windows、Liunx、MacBook、支持WebGPU的浏览器，其中Windows、Liunx要支持 CUDA 的 NVIDIA GPU。

该项目还提供了采用C++编译好的简单示例，大家可以基于此进行封装，使用任何编程语言集成到自己的应用中去。

这个项目的使命：是希望让每个人、每台设备都能本地开发、部署、运行AI模型。

当然了，当前性能还不是很好，但是该团队还持续优化、调整中，相信后面会越来越好。

模型支持

该项目默认内置一个模型：RedPajama，如果需要更换模型，还可以从 Hugging Face下载、更换模型。

效果

iPhone效果

安卓效果

PC效果

项目地址

https://github.com/mlc-ai/mlc-llm