MediaPipe实时AI视觉开发指南3分钟跑通人脸、手部与姿态检测【免费下载链接】mediapipeCross-platform, customizable ML solutions for live and streaming media.项目地址: https://gitcode.com/GitHub_Trending/med/mediapipe视频会议应用里要加个虚拟背景健身 App 需要实时数深蹲AR 滤镜要贴着脸部 468 个关键点画特效——这些功能背后都是同一套东西Google 开源的MediaPipe。它是一个跨平台实时 AI 视觉框架人脸、手部、姿态、物体检测都有预训练模型CPU 上就能毫秒级出结果。 MediaPipe 项目速览MediaPipe 是面向移动、Web、桌面和边缘设备的端侧机器学习工具集适合想把 AI 视觉功能塞进 App 的普通开发者也适合要自己搭推理流水线的资深工程师解决的核心问题是不依赖云端、在设备本地实时跑视觉模型。项目说明许可证Apache 2.0LICENSE可免费商用支持平台Android、iOS、WebWASM、桌面 C、PythonLinux/macOS/Windows、Coral 等边缘设备Python 环境通过 pip 安装提供 Linux/macOS/Windows 的 wheel运行要求普通 CPU 即可实时运行可选 GPU 加速两层架构Solutions/Tasks开箱即用的高层 APIFramework用图Graph、计算器Calculator、数据包Packet自建流水线一个容易踩的认知点仓库里mediapipe/python/solutions/是较早的 Legacy Solutionsmediapipe/tasks/是 2023 年后主推的新框架Vision、Text、Audio 三大类 Task二者并存新代码建议优先用 Tasks。 MediaPipe 快速安装与验证最省事的路径就是 pip一行安装一行验证pip3 install mediapipe python3 -c import mediapipe as mp; print(mp.__version__)打印出版本号即安装成功之后import mediapipe as mp就能用。需要从头编译 C/Android/iOS 的走 Bazel 构建文档或用仓库根目录的Dockerfile起容器环境即可普通使用者不必编译。 MediaPipe 核心能力手部、人脸、姿态手部追踪21 个关键点做手势控制适用场景手势交互翻页、控制 PPT、虚拟乐器、无障碍输入。用法要点mediapipe/python/solutions/hands.py 里默认max_num_hands2同时检测两只手min_detection_confidence和min_tracking_confidence都默认0.5——前者管检不检出后者管丢了之后跟不跟。返回的 21 个关键点是归一化坐标0~1乘以宽高才能画到图上。人脸网格 Face Mesh468 点驱动 AR 特效适用场景虚拟化妆、表情驱动虚拟形象、视频会议美颜。用法要点mediapipe/python/solutions/face_mesh.py 默认输出468个人脸关键点打开refine_landmarksTrue会在眼部和唇部追加 10 个点共478个做口型同步和眼部特效时必须开它。人体姿态与其他能力Pose 输出33个身体关键点含 3D z 坐标model_complexity提供 0/1/2 三档——0 最快、2 最准、1 平衡实时应用先试 1不够再降 0。其余能力一张表带过能力入口文件一句话用途人脸检测face_detection.py人脸框 5 个五官点比 Face Mesh 更轻量全身 Holisticholistic.py脸 手 姿势一次出物体检测object_detection80 类 COCO 目标 置信度背景分割selfie_segmentation.py输出人像 mask做虚拟背景 最小实战一张图片跑通手部检测下面这段是完整可运行的脚本逻辑来自 hands_test.py 的官方示例import cv2 import mediapipe as mp mp_hands mp.solutions.hands image cv2.imread(hand.jpg) rgb cv2.cvtColor(image, cv2.COLOR_BGR2RGB) # MediaPipe 吃 RGB必须先转换 with mp_hands.Hands(max_num_hands2) as hands: # 建解决方案最多检测 2 只手 results hands.process(rgb) # 推理返回 21 个归一化关键点 if results.multi_hand_landmarks: for lm in results.multi_hand_landmarks: mp.solutions.drawing_utils.draw_landmarks(image, lm, mp_hands.HAND_CONNECTIONS) cv2.imshow(MediaPipe Hands, image) cv2.waitKey(0)跑通后你会看到每个手指关节上有点、关节之间有连线——这就是手势控制应用的第一个里程碑。️ MediaPipe 常见问题与解法画出来是反色的人脸发绿OpenCV 读图是 BGRMediaPipe 要 RGB喂图前记得cv2.cvtColor(img, cv2.COLOR_BGR2RGB)这是新手最高频的坑。视频流处理时结果闪烁、丢帧默认static_image_modeFalse框架按连续视频流做时间追踪处理静态图片批次时务必设static_image_modeTrue否则单张图会反复触发重初始化。pip 安装失败或找不到 wheelPython 需要3.9~3.12另外 PyPI 目前不提供 aarch64 wheelJetson、树莓派等 ARM64 Linux 要按 python.md 从源码构建。C/Android/iOS 环境编译报错Framework 层依赖 Bazel 和 OpenCV手搓环境很痛苦先用根目录Dockerfile验证代码逻辑或参考 桌面示例 的 BUILD 文件对齐依赖版本。手机上推理太慢优先降model_complexity、缩小输入分辨率再考虑换 Tasks API 并启用 GPU 委托而不是直接上更重的模型。 MediaPipe 资源导航docs/getting_started/各平台Python/C/Android/iOS/Web的入门与安装文档docs/framework_concepts/Graph、Calculator、Packet 三大核心概念自建流水线前必读mediapipe/python/solutions/Python 高层解决方案 APIHands、Face Mesh、Pose 等mediapipe/tasks/新版跨平台 Tasks APIVision/Text/Audio含 C、Java、iOS、Web 多语言实现mediapipe/examples/desktop/桌面 C 示例如hand_tracking、pose_trackingmediapipe/graphs/各 Solution 背后的.pbtxt计算图定义看模型怎么串起来mediapipe/model_maker/用自有数据微调/训练手势识别器、物体检测器模型docs/tools/tracing_and_profiling.md性能瓶颈分析与可视化追踪一句话总结MediaPipe 把设备端实时视觉从需要算法团队的活变成了 pip 一行装完、几十行代码出结果的活——现在装一个包拿一张自己的照片跑一遍上面的手部检测脚本就是最快的上手方式。【免费下载链接】mediapipeCross-platform, customizable ML solutions for live and streaming media.项目地址: https://gitcode.com/GitHub_Trending/med/mediapipe创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考