GPU 高性能推理加速框架Forward开源啦

项目简介

Forward 是一款腾讯平台和内容事业群（PCG）研发的 GPU 高性能推理加速框架。它直接加载主流框架模型（Tensorflow / PyTorch / Keras）转换成 TensorRT 推理加速引擎，帮助用户节省中间繁杂的模型转换或网络构建步骤。相对于直接使用 TensorRT，Forward 更易用以及更容易扩展支持更多模型和算子。目前，Forward 除了覆盖支持主流的 CV，NLP 及推荐领域的深度学习模型外，还支持一些诸如 BERT，FaceSwap，StyleTransfer 这类高级模型。

行业应用

以近期的百万级 BERT 语言模型推理加速项目为例，原本需要成百上千的 CPU 资源来承载的线上推理服务，使用 Forward 推理加速技术后，能够实现原始已训练模型的无缝接入，并保持与之前线上相当的性能的情况下，能节省 40% 以上的成本，实现大幅的成本效能优化。同样地，其他业务团队（例如 QQ，腾讯看点，腾讯新闻，微视）等团队的业务模型也获得了大幅的吞吐量性能的提升。因此，我们有理由相信 Forward 有广大的需求和落地场景，尤其是在日后 GPU 资源日渐丰富的情况下，更是前景可期。

适用人群

深度学习业务模型运营人员：很多业务模型开发维护团队期望提升自己线上业务的性能，但受限于业界目前工具以及人力资源，迟迟无法提升自己的业务性能。本项目则可助力他们直接提升现有业务模型的性能。

深度学习算法开发人员：包括图像，语言，推荐等各 AI 领域的算法开发人员，经常需要开发或改良新的业务模型。受限于业内现有方案，新模型上线往往耗时耗力甚至不受支持，此时本项目的易用性和扩展性将助力提速其新模型的上线。

功能介绍

模型性能优化高：基于 TensorRT API 开发网络层级的支持，保证对于通用网络层级的推理性能优化处于最优级别。

模型支持范围广：除了通用的 CV，NLP，及推荐类模型，还支持一些诸如 BERT，FaceSwap，StyleTransfer 这类高级模型。

接口简单易用：直接导入已训练好的 Tensorflow(.pb) / PyTorch(.pth) / Keras(.h5) 导出的模型文件，隐式转换为高性能的推理 Engine 进行推理加速。

支持自研扩展：可根据业务模型自研定制扩展网络支持层级。

支持 C++ 和 Python 接口调用。

性能介绍

主流模型：由于最终是直接使用 TensorRT 推理引擎，各主流模型的性能可以参考 TensorRT 官方的 Benchmark。

业务模型：针对业务模型中一些 TensorRT 及 ONNX 等未支持的网络层级进行了自研开发支持。GAN 模型提升 5.4 倍，BERT 模型提升 5 倍以上。

开源愿景

补全市场，助力领域发展

深度学习模型推理加速，是广大算法开发及落地人员所热切关注的领域。如果模型推理能得到提速，则意味着线上服务的降本提效。然而业界现有推理加速方案的开发成本高，支持范围小，易用性低，使得业务团队难以将模型推理加速提上日程。我们可以了解到目前业界这一块正处于起步发展阶段，NVIDIA 和Torch 等团队也想做这样的工具（如 TF-TRT，torch2trt 等）并处于较初级的阶段，有一定局限性，而我们这个项目算是比较成熟的项目，所以期望能开源本项目来补充业界这一块的短暂空白，助力开源社区在这个领域的快速发展。

开源共建，助力项目发展

根据行业应用可知，此项目在业界应有大量的需求，开源此项目则可以满足那些开发用户的需求。且从立项开始，Forward 就秉承开源社区的先进技术和理念，遵循各方面（包括代码质量，工程架构，版本管理等）开源标准来规范项目。因此，为了项目更好的发展，我们期待开源社区的开发人员帮我们一起共建该项目，我们也会随时跟进开源社区需求，提出并解决各种 Issue ，从而使得该项目能逐渐发展壮大。

项目规划

进一步简化接入步骤，提升使用接入体验。

扩展支持更多模型及算子。

进一步优化各算子，提升相关模型性能。

https://github.com/Tencent/Forward