睡眠拓荒者
读完需要
3
分钟
速读仅需 1 分钟
一直以来运营了几个失眠者联盟的群,运营过程中发现几个群中有一个共同点,就是安静。失眠的群友虽然有倾诉的欲望,但涉及个人隐私确实不方便在群里说。家家有本难念的经,发到群里且不说是否能得到解决,被群友看笑话事小,被截图传播还有暴露隐私的风险。为了能够更好的帮助到每位失眠的朋友,结合最近火爆的chatGPT,我决定借助大语言模型,尝试为每位用户打造专属的AI睡眠助理。
在调研了众多chatGPT平替之后,我还是选择了出身名门(清华大学)的chatGLM。有兴趣的用户可以按照下面的方法部署试玩。有问题可以通过公众号跟我交流,回复可能不一定及时但一定会回。
chatGLM在MAC上的安装方法
1. 下载源码
安装Python环境
安装依赖模块
安装模型
如果你从 Hugging Face Hub 上下载 checkpoint 的速度较慢,可以只下载模型实现
安装openMP
Mac直接加载量化后的模型出现提示 https://mac.r-project.org/openmp/`
OpenMP(Open Multi-Processing)是一套支持跨平台共享内存方式的多线程并发的编程API,使用C,C++和Fortran语言,可以在大多数的处理器体系和操作系统中运行。
这是由于Mac由于本身缺乏omp导致的,此时可运行但是单核。需要安装 openmp 依赖,即可在Mac下使用OMP:
此时会安装下面几个文件:/usr/local/lib/libomp.dylib, /usr/local/include/ompt.h, /usr/local/include/omp.h, /usr/local/include/omp-tools.h。
注意:如果你之前运行ChatGLM项目失败过,最好清一下Huggingface的缓存,默认路径
安装WEB Demo
目前在 MacOS 上只支持从本地加载模型。将代码中的模型加载改为从本地加载,并使用 mps 后端。更改web_demo.py文件中的代码。
启动Web服务器。
开始玩起来吧
看这回答是不是有点内味了,这还只是原始版本,未来用更多睡眠领域知识训练出专业的助眠AI助理,再根据用户对AI助理的交流,创建个性化的专属睡眠助理,她可以化身成营养师Angela,心理医生程菲,健康管理师李晓晓,生活助理海棠,人际关系助理汤盈盈,协助用户解决日常遇到的失眠问题,做最懂您最贴心的小助理。
所有个人助理的形象将由AI算法提供:Stable Diffusion
领取专属 10元无门槛券
私享最新 技术干货