Skip to content

Chansnow/handRobicArm

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

9 Commits
 
 
 
 
 
 

Repository files navigation

一个通过摄像头识别手势(位置&开合状态)控制机械臂运动的小项目

电脑摄像头识别手势,与树莓派进行串口通信,树莓派控制机械臂

cvzone包,Servo Driver HAT舵机控制板,树莓派4B,PC机,usb to ttl模块,一些舵机和结构件

handRobicArm.py为识别程序,识别手势位置及开合状态,设置串口等

下图为21个手部关键点信息 cvzone

演示视频:https://www.bilibili.com/video/BV1rA4y1d79y

设计流程:

PC机运行handRobicArm.py文件识别手势,获取手的位置和具体手势(本来是打算将识别和控制都集成到树莓派上的,因为一些玄学,手部检测方法的库在树莓派上装不上,还烧了一张系统卡。。。)

树莓派运行roboticarm_handDectect.py文件控制机械臂

采用有线串口通信,使用usb to ttl模块连接PC机与树莓派,波特率9600

机械臂为三轴机械臂(实际控制使用两轴,剩下一轴打算用手距离摄像头的距离(深度)来进行控制)

(后续可能会考虑用MPU6050陀螺仪做一个位姿传感,或者做一个蓝牙APP来控制机械臂(树莓派蓝牙和串口冲突,需禁用其中一个))

About

手势控制机械臂

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Languages