ML Kit 实时人脸追踪精准技巧

本文介绍如何通过融合 ML Kit 的对象检测与人脸检测能力，实现对指定人物的稳定追踪与头部姿态估计，有效避免背景人员运动导致的误识别，并支持实时人数粗略统计。

本文介绍如何通过融合 ML Kit 的对象检测与人脸检测能力，实现对指定人物的稳定追踪与头部姿态估计，有效避免背景人员运动导致的误识别，并支持实时人数粗略统计。

在使用 ML Kit 进行人脸检测（如 getHeadEulerAngleY() 获取头部偏航角）时，若视频中存在多人且无明确目标区分机制，系统默认会返回检测到的第一个（或置信度最高）人脸的姿态数据——这极易导致后台移动人员干扰主目标分析，尤其在头部旋转检测等精细任务中严重影响鲁棒性。

根本原因在于：ML Kit 原生 FaceDetector 不提供跨帧人脸 ID、轨迹跟踪或优先级选择能力，其每次调用均为独立帧检测，无法天然区分“主讲人”与“背景路人”。

✅ 推荐解决方案：分层检测 + 轨迹绑定

采用「对象检测先行、人脸验证后置、ID 持续绑定」的两级流水线：

1. 第一层：使用 ML Kit Object Detection（带跟踪）定位所有人体/上半身区域
   启用 ObjectDetectorOptions 的 enableTracking = true，获取带唯一 trackingId 和稳定 boundingBox 的检测结果：

   val objectOptions = ObjectDetectorOptions.Builder()
       .setDetectorType(ObjectDetectorOptions.DETECTOR_TYPE_PERSON)
       .enableClassification() // 可选：辅助判断人体类别
       .enableTracking()        // 关键！启用跨帧 ID 跟踪
       .build()

2. 第二层：对每个 tracked object 区域裁剪后，单独调用人脸检测器
   仅在该 ROI（Region of Interest）内运行 FaceDetector，避免全局搜索干扰：

   val roiBitmap = Bitmap.createBitmap(
       fullFrame, 
       object.boundingBox.left.toInt(),
       object.boundingBox.top.toInt(),
       object.boundingBox.width().toInt(),
       object.boundingBox.height().toInt()
   )
   val faceInput = InputImage.fromBitmap(roiBitmap, 0)
   faceDetector.process(faceInput)
       .addOnSuccessListener { faces ->
           if (faces.isNotEmpty()) {
               // ✅ 此人脸属于当前 trackingId 对应的目标对象
               val headYaw = faces[0].headEulerAngleY ?: 0f
               updateRotationForTrackId(object.trackingId, headYaw)
           }
       }

3. 实现目标锁定与人数统计

   • 人数统计：objectDetector 输出的 List