浙江大学获奖项目及成果推介 第VIIII期

海量混合时态数据融合处理关键技术及应用

“2016年高等学校科学技术进步一等奖”

流立方在技术流派里属于流式大数据实时处理领域，但兼顾了批式数据处理技术的优势，一定程度的做到了混合时态的实时处理。

……项目简介……

——————————

流立方通过在数据流水过程中嵌入流处理引擎将所有流过的数据进行实时处理, 并生成多维度的可计算数据魔方。1）超高并发性：“流立方”产品拥有每秒处理百万笔交易流水复杂分析的能力。而达到这样的性能仅需要8台普通的pc服务器搭建的集群。2）超低时效性：流立方对每笔流水处理的延时严格控制在毫秒级，实际生产中平均延时稳定在10毫秒左右。形象一点来说，也就是在海水涌进海洋的几乎同一时刻，数据就被分析完成了，远远低于人类学上0.1秒即有所感知的时间节点，处理速度比一眨眼快了很多倍。最近一年，流立方的高级版本更是提升到了微秒级的处理延时，将被用在春运票务、军工、反恐等要求更加极致的场景。3）高可靠性、高扩展性、高兼容性：流立方自带的可计算分布式缓存高性能、高可靠、高可扩展。在内存不足时, 能够平滑扩展到多节点。流立方平台内支持算法数量达到几十个。计算模型、脚本独立管理，在线编写、即时部署即时生效, 大大节约上线时间。

……相关专利……

——————————

项目为大数据批流协同融合处理提出了对应用透明的系统级解决方案，解决了在大数据集上进行低迟滞高实时Ad Hoc 查询的科学问题，获得发明专利12项，发表论文32篇，获得VLDB2014最佳论文奖。成果在金融、互联网等领域得到广泛应用，完成单位在近三年应用项目成功新增销售额39.3亿元，新增利润21.7亿元。