Tensorflow Lite人体姿势跟踪功能上线：基于PosNet的实时人体姿态估计

会员服务 ·

Tensorflow Lite人体姿势跟踪功能上线：基于PosNet的实时人体姿态估计

2019 年 8 月 27 日 机器之心

选自medium

作者：TensorFlow

机器之心编译

参与：陈韵莹、Geek AI

Tensowflow Lite 是移动端计算机视觉应用程序中的明星产品。这个夏天，Tensorflow Lite 再度进化，加入了 PosNet 人体姿态估计模块，性能再度加强！

怀着激动的心情，我们发布了一个「TensorFlow Lite」示例应用程序（https://www.tensorflow.org/lite），通过它在安卓设备上通过使用「PoseNet」模型来实现人体姿势估计。「PoseNet」是一种视觉模型，它可以通过检测关键身体部位的位置来估计图像或者视频中的人体姿势。例如，该模型可以估计图像中人的手肘和/或膝盖位置。这种姿势估计模型不会鉴别图像中的人是谁，只会找到关键身体部位的位置。

TensorFlow Lite 分享了一个安卓示例应用程序，该应用程序利用设备的摄像头来实时地检测和显示一个人的关键部位。

源码链接如下：https://github.com/tensorflow/examples/tree/master/lite/examples/posenet/android

这为什么会令人感到兴奋呢？

通过姿势估计可以实现多种可能性。举几个例子，开发者可以在身体图像上进行增强现实，动画化计算机图形人物，以及分析运动员在运动中的步态。在 Google I/O』19 上，TensorFlow Lite 展示了应用程序 Dance Like，该程序通过使用 PoseNet 帮助用户学习如何跳舞。

这个示例应用程序将会让应用程序的开发者和机器学习的专家们更易于探索轻量级移动端模型的可能性。

PoseNet 示例应用程序

与现有的以 JAVA 写的安卓示例相反，PoseNet 示例应用程序是在 Kotlin 上开发的。开发此应用程序的目的为了让所有人都能以最小的支出轻松地使用 PoseNet 模型。这个示例应用程序包括了一个 PoseNet 库，它抽离了模型中的复杂性。以下的图表展示了应用程序、PoseNet 库和 TensorFlow Lite 库的工作流。

PoseNet 应用程序工作流

PoseNet 库

PoseNet 库提供了一个接口，它以经过处理的摄像头图像作为输入，并返回人像关键身体部位的位置信息。此功能由「estimateSinglePose()」实现，此方法会在处理过的 RGB 位图上运行 TensorFlow Lite 解释器，返回一个 Person 对象。

对 PoseNet 的输入和输出的解释如下： https://www.tensorflow.org/lite/models/pose_estimation/overview

「Person」类包含了关键身体部位的位置和它们对应的置信度。人像的置信度是各个关键点置信度的均值，这表明了该位置存在关键点的概率。

// Person class holds a list of key points and an associated confidence score.
class Person {
  var keyPoints: List<KeyPoint> = listOf<KeyPoint>()
  var score: Float = 0.0f
}