乒乓球实时时空视频分析

提要：

俄罗斯人工智能初创公司OSAI的一组研究人员最近介绍了实时神经网络TTNet，该网络用于处理具有时间和空间数据的高分辨率乒乓球视频。

演示视频

从自动打击区和先进的分析到个性化的训练方案，人工智能继续改变着广阔的体育世界。基于深度学习的计算机视觉系统在运动分析中发挥着重要的作用，应用于运动员和运动器材的跟踪、人体姿态预测和与运动相关动作的检测等任务。

对于大多数的运动分析来说，该模型的建立对于尽可能顺利、快速地获得实时的运动成绩信息至关重要。视频分析的速度和准确性通常可以通过用自动化系统代替手动数据采集来提高。

俄罗斯人工智能初创公司OSAI的一组研究人员最近介绍了实时神经网络TTNet，该网络设计用于处理高分辨率乒乓球视频，包括时间（事件定位）和空间（球检测和语义分割）数据。该方法提供了可供各种分析和判断系统使用的核心信息。

乒乓球是一项快节奏的运动，有各种可以分析的视觉数据。乒乓球领域的挑战包括高球速、全视视频中球上的低像素、在相似颜色背景下检测球等。此外，还需要高视频帧速率来准确检测球的轨迹和其他行为。

TTNet是一种用于从乒乓球视频中提取实时数据的轻量级多任务体系结构。它适用于减少全高清视频，并能够检测到像素级精度的游戏球。它可以在单用户级GPU上发现游戏中的事件并预测120fps视频中的语义分割掩码。

TTNet体系结构

为了进行模型评估，研究人员建立了OpenTTGames数据集（并开源），重点是发现快速的比赛事件。该数据集包括用工业摄像机以120 fps的速度录制的带注释的乒乓球比赛全高清视频。标签是手动添加的，使用深度学习，包括特定帧的帧号和相应的目标；比赛中的事件，如球反弹、网击等目标；以及球坐标和分段遮罩。

该网络使用源视频的输入张量，输出游戏表的语义掩码、球的位置、比赛中事件的概率等。由于比赛球分辨率低的问题，现阶段的球位置是一个粗略的估计。下一个球检测阶段优化原始输入的帧，使系统能够以原始视频的空间分辨率执行最终球检测。

TTNet表现

在测试中，TTNet模型在2像素RMSE（均方根偏差）球检测的游戏事件准确率上获得了令人印象深刻的97.0%。OSAI团队正在与俄罗斯乒乓球锦标赛合作，并希望这项研究能有助于开发更多的基于深度学习的体育分析方法。