首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

DeepSeek开源第三弹:300行DeepGEMM代码

​三言科技 2月26日消息,DeepSeek正式启动“开源周”,将陆续开源5个代码库。前两个开源代码库分别为FlashMLA、DeepEP。

今天,DeepSeek官方推出开源第三弹:DeepGEMM。

DeepGEMM:一个支持dense和 MoE GEMM 的 FP8 GEMM 库,为 V3/R1 训练和推理提供支持。Hopper GPU 上最高可达1350+ FP8 TFLOPS。

DeepGEMM可以做到:

1、没有过多的依赖,像教程一样简洁

2、完全即时编译

3、核心逻辑约为 300 行 - 但在大多数矩阵大小上均优于专家调优的内核

4、支持dense布局和两种MoE布局

  • 发表于:
  • 原文链接https://page.om.qq.com/page/OHOaFOrQLPXrSZ2OTE-v2L2A0
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

相关快讯

扫码

添加站长 进交流群

领取专属 10元无门槛券

私享最新 技术干货

扫码加入开发者社群
领券