crabboss-lab / handposeestimationbasedonmediapipeandlstm

体感交互——基于Mediapipe和LSTM的手姿估计

👇体感互动——Hand Pose Estimation Based on Mediapipe And LSTM

目录：

• 👇体感互动——Hand Pose Estimation Based on Mediapipe And LSTM
  • 🐱Introduce
  • 🐖QuickStart
    • Dependencies
    • Inference1
    • Inference2
    • 体感互动
  • 😔Training
  • 🐒Reference
  • 🐕Thanks

🐱Introduce

体感互动——Hand Pose Estimation Based on Mediapipe And LSTM

基于mediapipe提取人体姿势、人脸、手部关键点和LSTM算法实现手势识别，并进一步实现体感互动的功能，如进行隔空移动、抓取、放大、缩小等手势操作，可为商业显示提供智能交互应用，如3D模型的展示。

数据：一共采集3类手势，每一个手势30个视频，每一个视频30帧，每一帧提取的landmarks序列长度为1662（33个4维人体姿势landmarks，468个3维人脸landmarks，21个3维左手landmarks，21个3维右手landmarks，33✖4＋468✖3+21✖3+21✖3=1662）。

网络：三层lstm(lstm_net.py)

• demo1:01_predict_hand__pose_.py

  

• demo2：02_predict.py

  

• demo3：03_predict之体感互动.py

  

🐖QuickStart

Dependencies

pip install -r requirements.txt

Inference1

python 01_predict_hand_pose.py

Inference2

python 02_predict.py

体感互动

1、 打开https://720.vrqjcs.com/t/9332870054821ffc

2、 python 03_predict之体感互动.py

😔Training

详见train_my_hand_pose/hand pose detection.ipynb

具体开发流程见Hand-Pose-Estimation.pdf 思维导图

🐒Reference

• Mediapipe

• @NicholasRenotte

• VRMap

🐕Thanks

• @Studio:JHC Software Dev Studio

• @Mentor:HuangRiChen

• @Author:YuJunYu