截至2025年3月10日,以下应用或平台已宣布接入或融合了DeepSeek-R1满血版(671B参数版本)
异构计算与量化技术:清华团队开源的KTransformers项目通过GPU/CPU异构计算、4bit量化及高性能算子优化,实现了24GB显存(如4090显卡)本地运行671B满血版模型,推理生成速度达14 token/s1。
CPU部署优势:英特尔至强处理器结合AMX指令集,显著提升CPU推理效率,适用于显存不足或GPU资源紧缺的场景
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。
扫码关注腾讯云开发者
领取腾讯云代金券
Copyright © 2013 - 2025 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号:粤B2-20090059 深公网安备号 44030502008569
腾讯云计算(北京)有限责任公司 京ICP证150476号 | 京ICP备11018762号 | 京公网安备号11010802020287
Copyright © 2013 - 2025 Tencent Cloud.
All Rights Reserved. 腾讯云 版权所有