十七、如何识别用户上传视频中的人体、运动、动作、姿态？

随着深度学习推理技术的不断发展，让小型设备运行深度学习成为可能，阿里体育等IT大厂，推出的“乐动力”、“天天跳绳”AI运动APP，让云上运动会、线上运动会、健身打卡、AI体育指导等概念空前火热。那么，能否将这些在APP成功应用的场景搬上微信小程序，分享这些概念的红利呢？本系列文章就带您一步一步从零开始开发一个AI运动小程序，本系列文章将使用“AI运动识别”小程序插件，插件详情可以前往微信服务市场搜索相应插件。

一、引言

通过本系列博文的前16篇文章，您已了解通过插件开发一个完整的运动、健身、学生体测、云上运动会等小程序的完整流程了，但是系列之前的文章都是基于相机实时取像的，有的开发者就会问，既然可以实现基于摄像头实时识别，那么能否实现用户上传视频识别呢？今天我们就来看看如何实现基于用户上传视频的运动、动作、姿态检测识别。

二、要解决的关键问题

首先我们来看一下基于相机的运动识别流程，如上图所示，将图像来源改为用户上传视频，只要将第一个环节的相机取帧，改为从用户上传视频中取帧即可，而且其它环节由于只依赖图像数据，不依赖具体来源，所以后续环节都是通用的。由于用户上传视频文件，是一个常见操作，故不在这里赘述，本章重点讨论如何从视频抽帧问题。要对视频抽帧，先要对视频进行解码，再逐帧抽取图像。

三、相关API

微信小程序内置了视频码器VideoDecoder，我们使用此API即可实现抽帧功能，关于此API的更多细节，可以查看官方文档。

四、代码实现

const AiSports = requirePlugin("aiSport");//获取插件对象
const humanDetection = AiSports.humanDetection;  //获取人体识别对象

function async decoding(){
   //创建解码器
   const decoder = wx.createVideoDecoder();
	
    //启动解码
    await decoder.start({
      abortAudio: true, //识别不需要音频
      source: tempFilePath, //通过wx.chooseMedia选择的视频tempPath
    });
	
    //循环抽帧，直到抽取完成
	let frame = null;
    do {
      frame = decoder.getFrameData();
      if(frame)
         break;

      //对帧进行人体识别
      let human =  await humanDetection.detectionAsync(frame);
      console.log(human);//此处可以将人体识别结果推入运动分析器
	  
    } while (!frame)
}

五、写在最后

到此就实现了基于录制视频的运动、人体、姿态识别的基本功能了，在实际产品应用中，可能还需实现帧图像预览、视频长度限制、跳帧抽取等功能，特别是视频长度大小限制，在实际应用中一定要实现，因为视频解码抽帧是非常消耗手机计算资源功能，上传过大过长的视频容易造成小程序卡顿、崩溃。

好了，本期为就为您介绍到这，下期继续为您基于相册图片上传的运动、人体、姿态识别...