Meta开源Sapiens人体视觉模型，姿态检测，人体分割，深度估计应有尽有

meta提出了 Sapiens，人类基础视觉模型。这是一个以人为中心的视觉任务的模型。包括： 2D 姿势估计、人体部位分割、深度估计和表面法线预测。

此模型本身支持 1K 高分辨率推理，Sapiens在超过 3 亿张人类图像上预训练的模型进行微调，就可以非常轻松地适应各个任务。在相同的计算预算下，对精选的人类图像数据集进行自我监督预训练可以显著提高各种以人类为中心的视觉任务的性能。

Sapiens 原生支持1024×1024高分辨率图像，而之前的 SOTA 模型（如 Dino v2）则使用 224×224。Sapiens 系列模型是从头开始构建的视觉转换器。Sapiens首先使用Masked AutoEncoder (MAE)方法进行预训练，然后针对特定任务进行微调。预训练是使用自监督训练在未标记的 Human-300M 数据集上进行的，数据集包含 1.2 万亿个标记。

而Sapiens模型是 meta 开源的模型，其代码与预训练模型都可以在 GitHub 上面找到，当然，也可以直接在 hugging face 上面在线体验。