Projects

个人项目 · 可运行原型

XiaoCar Hand Detection

把 YOLO11 手部关键点转换成角度与张开度,并记录从“检测框正确”到“机械臂控制信号可用”之间的几何和安全问题。

XiaoCar Hand Detection 项目预览

模型能画出手部关键点,并不等于能稳定控制机械臂。这个项目的主要工作,是把每帧关键点转换为可以解释的左右手/朝向、相邻手指夹角和手掌张开度,再评估这些量是否适合进入控制链路。

问题一:检测正确,但输入姿态不一定可计算

原型面向右手正面。关键点存在时仍要判断是否为目标手、手掌是否朝向镜头;侧手、遮挡和左右镜像会让相同点序产生完全不同的角度含义。因此界面区分“右手正面”“检测到右手但非正面”和“未检测到目标手”,不在姿态不满足时继续输出看似精确的控制数据。

角度由关键点向量夹角计算,张开度综合多组角度。摄像头、单图与视频使用同一几何路径,便于把实时抖动和固定样本的算法错误分开排查。中文面板同时显示骨骼、角度和状态,目的是能看见模型输出与最终数值之间哪里发生偏差。

问题二:帧级角度不能直接发送给机械臂

后续实验增加右肩、右肘、右腕角度,并通过 rosbridge 接入控制端。但视觉角度存在抖动、短时丢点和突变;机械结构还有行程与速度限制。仓库中的识别结果因此只作为控制输入原型,不声称已经形成安全控制器。真正驱动设备前仍需增加标定、低通/滞回、死区、限幅、丢帧保持、急停和通信超时策略。

问题三:README 中的性能数字不能当作环境无关结论

仓库曾记录 GPU 30+ FPS、CPU 10+ FPS、精度与角度误差等原型数据,但没有同时公开完整数据集划分、设备、分辨率和统计方法。网站不把这些数字当成基准承诺。实际效果取决于模型权重、摄像头视角、光照、遮挡和计算设备;需要在目标设备上重新测量。

工程边界

仓库包含训练脚本、模型产物和本地推理代码,可选 CUDA 加速。它适合展示“关键点 → 几何量 → ROS 实验”的完整链路,但不包含经认证的机器人安全层,也没有覆盖多人、双手、强遮挡和所有摄像头位置。