异构智能谢强：保有自主IP，方能在AI芯片市场立足脚跟

倾听创业故事，对接融资需求

欢迎做客【镁客·请讲】栏目

图 |异构智能中国区副总裁谢强

基于市场和技术分析，异构智能认为当下的AI芯片架构在本质上不会有大的变化。

策划&撰写：Lynn

出于对产品的自信，在接受采访时，异构智能中国区副总裁谢强直接拎着板卡走了过来。“2019年了，我们觉得就不要再讲故事展示PPT了，而是直接Show them the products。”

在这一波人工智能浪潮中，有许多公司顺势崛起，但其中也有很多公司随产业趋于平静逐渐沉寂乃至消亡，这里面有公司因讲了太多故事而立不住脚，有的则是因为没有寻找到AI技术的正确发展走势。后者的AI芯片厂商尤为普遍，因产品设计尚无统一范式。

起起伏伏之后，发展至今，应用端对AI芯片的需求已经产生，这让依然留存下来的公司得以展现实力，也为彼此分出高下提供了机会。异构智能深谙这一点，因此成立不久之后，它就迅速推出了带有浓重“个人”色彩且独具一格的芯片产品——三维张量处理器。

顺应人工智能浪潮发展，深耕推理市场

所谓三维张量处理器，本质上是一款推理芯片，即针对AI细分应用的一款芯片。

而不得不说，在专做推理芯片的公司中，异构智能是为数不多的初创公司中的一家，且它异常坚定这一方向。

“在创业之初选定发展方向时，我们首先就去分析了一下这波人工智能浪潮发展的特点：有算法，但是算力不足。究其根本，在算力提升上，前有英伟达，后有谷歌，训练市场其实已经发展成熟，但是推理市场这一块却是尚未发掘的宝地。”

有数据统计显示，到2021年，训练市场规模将增长到82亿美元，而推理市场规模将达到118亿美元。其中云端推理市场，只有谷歌、亚马逊等少数巨头在开始做尝试。这对初创公司来说，它无疑是一片蓝海。

谢强指出，训练对芯片及芯片周边的计算、编程环境等要求都比较苛刻，这对初入者来说，门槛比较高，且英伟达、谷歌已经在训练市场占据了90%以上的市场份额，同时训练对算力和功耗并不敏感，因此价格高也不是致命缺陷，所以创业公司几乎很难找到“缺口”去撬动这部分市场。但是推理市场就不存在这样的问题，因为直接服务于客户，推理市场有着更多机会和发展空间，这给初创企业提供了更好的生存条件。

“所以当时我们的想法就是躲开红海，提前布局新兴市场，同时竞争也不是那么激烈，可以为我们的成长和发展留有时间。”

一次流片成功，全面覆盖云—边缘—端

因现在几家大厂在布局云—边缘侧推理市场，异构智能想要与他们角逐依然是一件具有挑战的事情。

2018年9月英伟达推出了自己的推理预测芯片；11月，亚马逊也很快在自己的re:Invent大会上发布了一款专用推理芯片AWS Inferentia，以用于自己的服务器推理任务处理。时隔两年，在谷歌的张量处理器之后，大厂开始出现了更为集中地布局。

重压之下，2018年10月，异构智能也拿到了自己在格罗方德代工生产的第一批芯片（NovuTensor）样本，并于九天后完成芯片实测，三周后完成Benchmark测试。

结果显示，运行ResNet-18 等各种测试，无论是吞吐量、延迟还是性能功耗比，NovuTensor均优于Nvidia Xavier芯片，而后者正是英伟达未来收入的重要增长点。

谢强补充说，“2018年ASIC流片成功率是26%，我们去年芯片是一次性流片成功，很多大公司都做不到这一点。”

不得不说，一次性流片成功，且性能超出预期，异构智能俨然已经成功挤入第一梯队。

基于此，异构智能的全业务服务和产品销售也正式启动，其中包括从芯片到模组再到超级计算机产品的板卡系列，同时它也在基于应用场景的计算需求做全栈解决方案。

“所谓全栈，大家有一个公认的定义，就是能够从数据、算法和算力全方位去做解决方案。基于我们的芯片，异构智能能够做到真正意义上的全栈。现在，我们的板卡既可以应用在数据中心里，如阿里云、腾讯云等，也可以放在边缘侧，因为功耗非常低，只有5w。”

“我们最核心的竞争力就是用极低的功耗获得非常高的性能，这就是人工智能推理芯片领域中大家普遍追求的目标。”谢强强调说。

图 | 异构智能产品在图像高清化方面的应用示例

目前，根据用户市场需求，异构智能的产品主要分为两类，一类是板卡，可插在云服务器、中间服务器或者边缘服务器之上，另一类就是模组，“在与新加坡国家电信下面的公司NCS合作中，我们就为它专门设计了一个小模组，放在摄像头里，这样它的摄像头就有英伟达云计算中心的超级计算能力。”

同时，为了让用户将在Tensor、Caffe训练好的各种模型迁移到芯片上，异构智能也搭建了非常完整的生态。

专注三维张量处理器，用IP树立壁垒

因为推理市场是一个完全新兴的市场，各家的切入点几乎都有所不同，这就难免让人好奇异构智能为什么选择三维张量技术。

谢强莞尔，“是这一波人工智能技术的发展特点决定的，而只有真正懂它的人才能做好芯片。”

如谢强所言，想要准确抓住技术的发展特点并精准进入，这对技术团队的经验和实力有着非常大的考验。异构智能成立之初也考虑到了这一问题，因此它十分看重团队的重要性，也形成了自己的第一竞争力。

“在这款性能强劲的产品背后，我们有着一支强大的技术团队，他们中很多人是从惠普实验室出来的，其中有3D视觉的科学家，有获得过数学奖的数学家，更有芯片设计专家，还有我们在人工智能领域相当精通的领导者，吴韧博士。”

因在芯片和数据领域有着深厚造诣，他们认定在这一轮人工智能浪潮中，深度学习算法能够脱颖而出，芯片的设计自然也离不开它。

谢强解释说，“算法的本质是数学，因此在我们看来，这一波人工智能浪潮最大的特点就是卷积神经网络。所谓卷积神经网络，它就是就是1帧‘图像’与一个Filter进行每一个像素点的（3*3、5*5、7*7）乘加运算，因此多层的卷积神经网络就是一个三维的向量；同时现在这一波人工智能应用需要处理的视觉和听觉信号其实都是三维信号，从这个角度去看，我们认为这种运算的本质可以界定为三维张量算法。”

于是2016年，在开始做AI芯片这件事时，异构智能技术团队就开始直接从三维张量计算下手，并在研发中形成了自己的专利。

据谢强介绍，异构智能于2017年中申请专利，后在2018年9月，其原生张量计算处理器（Native Tensor Processor）获得美国专利（US Patent No. 10,073,816, Native Tensor Processor and Partitioning of Tensor Contractions）。从提交到批准，耗时仅 14 个月，而这打破了业内申请专利的“三年”时限，也在某种程度上预示着其技术的新颖性。

“自主研发的重要性大家都知道，但是很少有初创公司能够做到，特别是在芯片设计领域。从三维张量技术角度出发，我们的产品完全融入了自己的IP，这也让NovuTensor的竞争力会加分不少。”

事实确实如此，在基于自研IP的基础上，异构智能已经完全树立了自己的技术壁垒。

最后

在这一波人工智能浪潮之下，有许多应用需求涌现，也有很多新兴技术出现，但异构智能认为在呼吁创新的同时，还是要以商用需求为起点。

谢强表示，“AI推理芯片的硬件架构设计，主要受机器学习方法发展的影响，我们认为深度学习在近几年内都是最有效的方法，因此我们的IP还能用很多年。”无疑，这是异构智能的自信之处。

星标我们，不要错过

镁客网

科技 | 人文 | 行业