MPP数据库助力打造视频图像轻量解决方案 满足AI智能应用

根据相关机构最新的市场预测，AI市场目前以计算机视觉为主，而其中视频监控是最大的市场。换句话说，基于视频图像数据的智能化应用是目前AI领域的主要应用。

视频图像数据的应用前景

视频图像数据广泛应用于智能化应用场景

视频图像数据具有对人、物进行识别的特点，这使其在以人、物为中心的应用场景中发挥巨大价值。目前，除了在安防领域中得到了核心应用，视频图像数据在商业、金融、平安城市、无人驾驶等领域均有应用。

例如，在智能商场应用场景中，顾客、店铺经营者、商场运营方分别存在以下需求：

顾客：方便地进店、购物、付款；获取专属折扣及个性化推荐……；

店铺经营者：提升进店率、转化率、客单价；增加经营利润……；

商场运营方：提升整体客流；通过提供增值服务实现租金、广告位收入的最大化；预防安全事故……

针对上述需求，智能应用会基于视频图像数据并融合会员数据、销售数据等业务数据提供智能功能，举一个完整使用各类数据的例子：

顾客到店后，根据抓拍的人脸数据结合会员数据做会员到店识别，再基于会员的购买记录和之前的到店行动轨迹挖掘做用户的购买画像，通过APP推送精准推荐给到店的顾客。在顾客选择其中的商品后，根据抓拍识别客户当前位置并提供直达选择商品的导航。这样一来，既方便了顾客也提高了转化率。

智能商场应用场景解决方案

智能化应用场景中的数据处理需求

智能商场是视频图像数据在智能化场景中的典型应用之一。综合来看，在智能化应用场景中，我们通常会面对结构化与非结构化混合形成的数据，需要对数据做三个阶段的处理，即视频图像数据的接入、视频图像数据及业务数据的处理、数据使用，这也是常见的物联网数据处理架构方案。

数据处理方案

其中，在第二阶段的数据处理中，通常会存在以下四种数据处理需求：

1.数据的感知类计算

需将视频图像数据进行图像处理、建模、识别，结构化等操作。某些应用场景如黑名单报警由于实时性要求高，部分计算需在智能边缘设备中才能实现；

2.数据的实时流式计算

某些应用场景如客流统计、热点区域等需进行实时反馈结果的流式计算；

3.数据的多维计算

某些应用场景如人车关联、频繁出入分析等涉及到聚类后图像数据的碰撞；动线分析等场景需进行图像数据和业务数据之间的关联……通常情况下，这类计算需求和传统数据仓库中的操作类似，需进行大量结构化数据的处理工作；

4.数据挖掘

高级分析、预测类功能如用户画像里大量使用的聚类、预测里大量使用的回归都会涉及到对各类数据做数据挖掘。

由于响应时间、吞吐量和计算模式的不同，上述数据处理需求通常使用多种数据处理组件实现不同类型的计算，以便在几种计算场景中获得较高的效率。目前，大部分数据处理需求都采用Hadoop生态的各类计算组件实现，但在数据量不大、成本存在限制等小规模使用场景中，仍存在硬件资源有限、组件出故障几率高、维护成本突出等问题。

因此，在上述小规模场景下，使用更轻量的解决方案更为合适。轻量的解决方案应满足感知计算、实时计算、多维查询、数据挖掘等计算需求，具备完整的资源配额功能支持和其他模块混合部署，可透明扩展；同时，使用单一组件可降低资源开销及维护成本。

人大金仓MPP数据库：满足小规模场景数据处理需求

人大金仓悉心打造的MPP数据库可以更好解决小规模视频图像数据+业务数据处理场景的数据处理需求，它具备以下优势特点：

1.通过UDF集成感知算法实现感知计算

常见的应用场景如抓拍、以图搜图等可通过SQL实现；同时，MPP数据库本身具备的并行执行方式会在全部计算节点上做并行的比对计算；

2.通过概率数据结构增强实时计算能力

例如使用hyperloglog可做实时的到店流量统计，基于聚类后实名/匿名ID的十亿级数据量可实现毫秒级响应；

3.通过并行SQL支持，提供多维查询功能

通过获取顾客按时间顺序出现的抓拍位置计算行动轨迹、通过关联交易系统的交易数据获取顾客在轨迹中的购买记录等应用场景需要用到聚类后数据和业务数据的OLAP关联查询。支持OLAP是MPP数据库的基础能力，MPP基于代价的优化器和各类优化规则则可以保证执行的效率；

4.内置库内并行数据挖掘算法，提供数据挖掘功能

支持使用内置的聚类算法可对顾客进行画像，使用回归算法可实现客流和销售预测等功能。MPP提供的库内数据挖掘可减少数据移动的开销，在资源有限的情况，这无疑是一个 更好的选择；

5.支持CGROUP方式控制使用资源，支持单机混合部署及透明扩展

可通过资源配额为挖掘/报表类任务和实时任务分配不同的CPU比率，这样一来，夜间进行批量数据挖掘处理时可以占用全部资源计算，也可在有实施任务时降级使用较少的计算资源，减少对系统占用的影响。同时，整体的占用比率限制可以支持MPP和应用系统混合部署在同一服务器。

6.使用单一组件

场景中数据处理所需要的不同类型计算能力都可以通过MPP数据库实现，无需多个组件同时使用，资源使用更少。

除了具备以上特点，MPP数据库还具备以下优势：由于数据的处理和开放使用都使用标准SQL，可以减少数据使用层的开发成本；使用交易数据库的恢复技术实现数据的可靠存储，可减少由于数据故障产生的维护成本；在存储典型的人脸、车辆等视图数据时，历史数据压缩比可达5：1到10：1，减少数据存储成本。

纵观市场，从 2005年Michael Stonebraker首先提出了数据处理不再适合one size fits all的方案，到如今由于不同的数据和处理需求衍生出了DB-Engines排名中数百种数据处理产品，这些都足以说明不同的数据和不同的处理需求需要使用不同的数据处理方案。

未来，随着视频图像数据在更多行业中的深度应用，数据处理将会衍生出更多的需求。人大金仓将持续以“客户需求为中心”，利用自身过硬的技术实力和开放能力服务更多AI应用场景，为客户持续贡献价值。