技术解析 | 线下门店消费场景中的感知和互动

来这里找志同道合的小伙伴！

导 读

随着技术的快速发展和人们生活水平的不断提升，传统的零售模式已经难以满足消费者的需求，而且传统的运营模式需要进行重构。京东提出了无界零售的概念，对于前端门店用户体验来说，需要用运营技术能力来重构整体的购物体验，并通过数字化数据资产的沉淀来反向改进门店运营和用户体验。本文以京东时尚数字化门店为样板，介绍门店的数字化升级及体验升级。

体验架构

对于时尚数字化门店，从引客入店、逛店体验、试衣体验等维度进行技术改造。而当前线下门店也有一些问题导致技术实施难度较大，如网络和带宽问题导致很多计算需要放在边缘，装修和灯光问题导致智能设备的位置需要根据不同的门店进行不同的布局甚至影响到技术应用，还有成本问题导致不同门店会选择不同价位的硬件终端，还有如各种感知技术的成熟度还有待提高导致某些技术应用不能立即商业化等，在实际实施数字化门店过程中还有遇到其他各种问题。结合现状对整体时尚门店提出了如下体验架构，对于架构设计和产品开发人员也是要很清晰的了解产品的体验架构的，如图1。

图1

在整个体验架构中，遵循“人与商品互动，人与营销互动”和所见即所得体验的原则。在体验架构中，尽量的将各种计算放在边缘，通过边缘计算技术感知用户和理解用户。

在店前引客和互动营销技术上，引入了人脸识别包括性别年龄魅力值等，通过与用户的互动增强用户的参与感，并结合人脸会员技术无缝融入千人千面广告。另外还通过基于深度图像的复杂背景抠图技术和人体骨骼关键点识别等AI技术实现与用户互动性更强的互动体验玩法，为体验者营造新奇好玩的体感互动体验，并引入趣味化营销，结合优惠券/红包/折扣券等，提升玩法的趣味性并给消费者带来实惠，同时融入不同门店不同风格的千店千面技术，加入无感知广告植入，实现品牌和广告宣传，从而吸引客流、引客入店，并通过优惠券&红包玩法刺激消费。整体互动营销体验架构如图2所示。

图2

在将顾客吸引入店后，会通过一些互动导购技术来提升购物体验。在顾客进店后，很多导购员的一些做法会顾客很反感，如重复问候、喜欢就试试、想买点什么呢？大概是什么价位的呢？一上来谈价格、店员不说话总跟着你，很多时候顾客只是逛逛，要是遇到喜欢的可以通过互动导购终端与用户互动，当发现用户很喜欢时导购再上前介绍产品，而不是着一直烦扰顾客，给顾客营造一个轻松、新奇的购物体验。

在互动导购技术上引入了商品信息增强技术、服装搭配技术、近距离虚拟试衣技术、互动货架技术、线上和线下一体化技术。

顾客靠近服装龙门架时，安装在龙门架上的商品信息增强终端会通过靠近感知技术感知到顾客，并欢迎顾客和提示该区域的一些信息如新品促销等。当顾客拿起衣服时增强终端会通过拿起感知技术来增强该商品的信息（比如播放该商品的音视频介绍、显示好评度和促销信息等），因为线下服装吊牌上信息太少，像服装风格、适用场景、用户评价等这些数据线下是缺失的，我们需要增强商品信息，包括服装风格、适用场景、用户评价等线上数据和通过大数据技术提供更有用的商品标签云和用户标签云给顾客，影响顾客，产生共鸣，实现人与商品的互动和所见即所得体验。如果用户喜欢商品可以进行试穿或者直接扫码购买。

调研发现在线上门店消费者最不满意的一项就是“缺货”，其中大约3/4的店内销售损失可以通过如虚拟货架挽回当发生缺货断码时，顾客直接在店内下单，快递送货上门，从而提升转化。而解决该问题的一项技术是通过互动货架实现，通过互动货架提供缺失商品的线下购买方式，用户通过扫码完成线上购物，快递送货上门。门店一项很大的支出是租金，所以提升坪效是门店非常重要的一项运营指标，通过互动货架技术可以提升门店的坪效，把一些无法摆放到门店的商品，通过互动货架呈现给消费者，另外可以扩充一些门店没有的商品，通过分佣模式获取佣金，从而提升门店坪效。

在穿衣搭配上，在用户拿起某件衣服时，通过时尚数据算法精准搭配，以搭带购，提升转换率和连带率。用户看到自己喜欢的搭配后，希望能立即上身看下效果，如果到试衣间试衣的话需要先脱衣服进行试穿，试穿一件衣服整个过程非常耗时耗力。所以提供了近距离虚拟试衣技术，用户拿着衣服靠近搭配屏后，首先会展示该衣服的信息，并推荐几套与该衣服搭配的其他服装，顾客如果喜欢这套搭配，可通过深度摄像头采正面人脸照，然后人脸融合到专属模特上，该模特身穿该套搭配，可360度查看穿搭信息，顾客还可输入三维数据、身高、发色、肤色等信息生成符合顾客体型的模特进行更准确的虚拟试穿。通过结合搭配功能和试衣功能，给顾客带来更好的体验，用户能在该屏上看到服装信息、搭配信息，还可以通过虚拟试衣快速查看在模特上的效果，省去了顾客试衣的时间，可以在最短的时间内知道衣服是否合身，在一定程度上提高了消费者的购物体验。顾客如果喜欢推荐的衣服可以直接一键呼叫导购，导购会将顾客挑选的衣服拿给顾客。

用户选了自己喜欢的衣服后会拿到试衣间试衣，衣服上身后，希望能场景化和360度试衣，而让产品身临其镜就是提供沉浸式试衣，根据服装风格切换场景（背景/前景），解决试衣痛点，实现风格场景化试衣；了解自己穿的这套衣服是否适合某个场合，并通过录制小视频实现360度试衣效果查看，实现360度试衣。通过沉浸式试衣营造全新试衣体验。

最底层的体验技术是感知技术，靠近感知、拿起感知、试穿感知、扫码感知，通过这些边缘感知技术采集到用户行为和需求数据，然后云端根据这些数据进行用户理解，从而为顾客提供个性化购物体验。

技术架构

整体技术模块架构如图3所示，分为终端：感知用户和云端：理解用户两部分，并分为三层：感知层、互动展示层和服务层。在体验技术上，应用了商品感知、行为感知、人体感知、距离感知、体感互动、手势识别、人脸识别、换脸技术、抠图技术、实时抠图、AR互动、美颜&滤镜、服装搭配、风格识别等技术。

图3

具体技术架构如图4所示。

图4

最底层是感知层，通过感知一方面可以深度与顾客做互动，另一方面还能采集到曝光量、顾客行为数据和顾客画像数据等。感知层要实现组件化，否则重复开发成本会很高，而且硬件传感器选型是耗时耗力。USB或串口模式的传感器主要考虑设备的稳定性和实时性。广播模式的传感器要考虑网络带宽、芯片低功耗、数据广播的稳定性、芯片内计算等，通过这些技术手段的目的是降低广播数据量，提升广播数据的稳定性。在摄像头应用时因为带宽和延时问题，需要考虑将算法部署到端，实现端的计算，从而提升用户体验。通过感知层就可以进行如下数据采集：顾客全身人像数据、正面人脸数据、性别、年龄、商品浏览记录、浏览深度、商品拿起、商品试穿、设备停留时长、顾客运动轨迹、线上关联用户PIN等。

感知层技术之上是展示&浅计算层，显示网关是之前提到的商品信息增强、互动货架等都属于展示互动终端，通过感知层的顾客行为和画像感知，并通过语音，动画等展示技术手段为顾客提供友好的互动体验，并将相关信息触达到顾客。另外在该层也会收集顾客与终端整个会话过程中的数据，如曝光量、点击数据、停留时长、访问深度等数据。另外如互动营销终端是一个计算型终端，因为要进行一些AI视觉算法运算，如实时抠图&人脸识别&人体骨骼关键点识别，对CPU和显卡计算要求很高，如我们的身临其镜选择了Intel(R) Core(TM) i5-6500 CPU和GeForce GT 1030，通过提升硬件性能来提升终端的用户体验。浅计算关用于简单的门店逻辑计算、数据汇聚和云端上报，如要统计门店服装的“拿起率”，则需要在每个服装上绑定一个拿起传感器，用户拿起后会实时将拿起数据上报到浅计算网关，浅计算网关可以先进行一些数据清洗工作并异步上报到云端。还有如门店客流统计器和人脸识别摄像头计算后的结果是客流和人脸数据，这些数据需在本地计算或上报到云端，但这些传感器不一定全部连接到互联网，可以通过局域网或者蓝牙技术将数据上报到浅计算网关，在浅计算网关进行识别计算或异步上报到云端。该层只进行一些显示或者浅计算，如果是AI互动类型的应用会对端计算能力有很高的要求，但是也只是进行功能层面的计算，业务层面的运算会提交到云端进行统一处理。

在展示&浅计算层，因为门店网络稳定性问题尽量使用push技术替代pull技术，且实现边缘网关缓存和本地数据强缓存，从而当断网时可以显示离线内容，并通过异步技术进行数据交互。

展示&浅计算层之上是管理层，该层使用IoT接入平台完成，通过完成端设备和传感器等管理，和网关的数据交换。

管理层之上是理解层，通过IoT接入平台的网关数据上报，进行相关业务数据分析和应用。业务平台包括商家管理平台、服装搭配平台、算法服务网关等，大数据平台包括数据采集、数据分析、数据资产沉淀等。通过门店产生的数据来理解用户购物行为。

数据资产沉淀

对于线上店铺运营来说，通过数据指标来进行精细化数据化店铺运营已经有非常成熟的技术，一般统计的指标包括流量指标：浏览量、访客数、产品页访客数、访问深度、跳失率等，转化率指标：当日成交转化率、静默转化率、询盘成交转化率、成交人数等，客单价指标：客单价、笔单价、成交金额、成交件数等，通过数据化店铺运营来找出店铺运营中的短板并进行补足。但线下门店目前还没有一套系统化的方法进行精细化数据化运营，一般是通过导购员和门店管理员经验进行门店运营。结合摄像头技术、传感器技术和交易订单数据完成货架维度和场维度的商品曝光量、商品拿起量和转化率统计分析，从而实现数字化门店运营，如图5。

图5

流量指标

1、通过在货架上方安装人脸摄像头，实时采集龙门架当前附近的客流情况，通过客流情况统计到当前龙门架的商品曝光量。线上运营中的曝光量是指整个页面被打开的次数，不管点击与否都算曝光，点击量是点击的次数。而线下门店龙门架曝光量是指经过龙门架或者停留在龙门架的次数，区别于线上，这龙门架上所有服装的曝光量都是该数据，因为无法精确的统计到顾客看的是哪个服装；人脸摄像头会将采集到人脸及该人脸停留时长上报到门店浅计算网关，门店浅计算网关再统一上报到数据统计&分析系统；如果使用人脸摄像头不方便，可以使用红外人体感知传感器或超声波传感器技术，但这种方式的客流准确度会差一些；

2、通过在服装上安装拿起传感器，拿起传感器是指当用户拿起服装时会通过加速度传感器计算出服装被拿起了，这样就知道该服装被拿起了（即线上运营中的点击量），线下门店的服装点击量即服装拿起量，在服装拿起时，加速度会有较明显变化，传感器此时会将此商品拿起数据广播到门店网关，其中传感器通过蓝牙mac地址与商品编号进行绑定，门店网关通过mac地址进行上报开始时间和上报结束时间的统计，从而得出拿起服装、拿起fizz的起始时间、拿起服装的结束时间，即得到类似于线上运营数据中的点击量和页面停留时长数据；

客单价指标

通过交易订单系统我们可以得到线下门店成交订单数据，从而得到客单价指标，包括客单价、笔单价、成交金额、成交件数等。

转化率指标

转化率指标通过流量指标和客单价指标计算得出。线上网站点击率是指是指网站页面上某一内容被点击的次数与被显示次数之比，而线下门店点击率=某一服装总拿起次数/龙门架曝光量，通过该指标知道经过龙门架的人但是没有拿起服装看看的人有多少人；线下门店点击转化率=某商品订单量/某服装总拿起次数，即当该指标不是很好时说明某服装被拿起来很多，但是并没有得到有效转化；线下门店成交转化率=某服装订单量/龙门架曝光量，该指标如果不好时说明龙门架客流量可以，但是服装成交率低，通过结合点击转化率可以得出是服装自身问题还是摆放问题；线下门店龙门架成交转化率=某龙门架订单量/某龙门架曝光量，可以得出某龙门架的整体订单成交情况，如果不是很好，则需要考虑龙门架的重新布局。

技术原则

• 场景化产品下的小前台式快速迭代
• 统一语言与一体化架构
• 测试的可视性与实时质量评估
• 复杂场景下的算法自适应能力与硬件稳定性能力
• 复杂多变需求适应能力：模型抽象+组件化+快速配置化+减法
• 弱网络服务稳定性保障：边缘网关+本地强缓存、 push架构代替pull架构+数据异步回传
• 低功耗芯片：芯片中聚合秒级处理逻辑、降噪：抖动信号过滤及修正
• 工程架构SLA保障：可参考《亿级流量网站架构核心技术》

产品原则

• 人货场感知互动智能化升级：产品场景化、场景数字化、运营自动化
• 智能化：场景化迎宾&导购、基于人脸属性或风格的“千人千面”互动
• 体验“所见即所得”：装修、布局、屏与商品一体化、试衣镜/间、体验实时反馈
• 体验连贯性：从用户经过、靠近、使用、离开，提供连贯的触达体验
• 互动好玩性：体感、互动、有趣、好玩、新鲜
• 营销触达性：被动变主动、体验沉浸式、千店千面、内容”无感知“嵌入
• 有用性：内容增强、数据标签、产生共鸣、触达心智
• 可用性：降低成本、屏反光/亮度/触控体验
• 千店千面：平台化模板、多样化营销场景
• 产品驱动而非需求驱动
• 能力输出OR产品输出OR解决方案输出OR场景化解决方案

总结

在时尚数字化门店方面，我们从引客入店、逛店体验、试衣体验、数据资产沉淀等维度进行技术改造，通过边缘感知技术掌握顾客逛店行为数据，而这部分数据也是门店最难获取的，我们结合摄像头和传感器等技术实现了可落地的较低成本的解决方案，并通过沉淀的数据资产，在云端通过多维度数据分析进行理解顾客，并结合线上线下数据综合分析来发现目前门店运营中存在的问题并进行及时改进，从而实现数字化运营。