皮影戏是一种以兽皮或纸板做成的人物剪影以表演故事的民间戏剧，皮影一般由头、躯干（上下两部分）、2条腿（每条腿从膝盖分两节）、2只胳膊（大臂和小臂2部分）、2只手组成。皮影模型的肢体结构与人体结构基本一致，其模型控制点位置与人体关节点分布具有极大的重合性。皮影戏的动作表演控制与人关节活动控制肢体动作也具有着极大的相似性，而目前基于深度学习的人体骨架识别技术可以获取图像中人体的关节位置。

因此，我们可以基于算法，通过人体关节位置变动解析人体肢体动作，再控制对应皮影模型的关节，使之完成肢体动作表演，从而可以实现一种新的皮影戏表演方式。

• 识别效果图

• 机器人模型图

• 肢体装置图

• 水平移动导轨

• 系统流程图

• 下载文件目录

• 命令行运行

   
     
    
      python python/det_keypoint_unite_infer.py --det_model_dir=picodet_v2_s_192_pedestrian --keypoint_model_dir=tinypose_128x96 --video_file=test01.mp4 --device=GPU    
      
   
     
   
     
    
      
出现以下内容即启动成功
   
     

• 配置了由舵机与亚克力板为主的皮影硬件模型；

• 利用rtmp等传输协议，通过云端传送的视频流远程进行数据分析； 

• 在角度转化中，使用三角函数、向量计算等对人体关键点坐标进行转化； 

• 关于人体关键点检测，我们选择了OpenPose、MediaPipe、PP-TinyPose等网络模型对人体关键点特征进行提取。

经过这次项目开发，我们认识到要想实现一个机器人是需要软硬件的相互配合，需要考虑诸多因素，实现许多功能才能满足人们的需求。这也说明了机器人领域是一个复杂多变、影响因素众多但值得人们进行探索的领域。目前我国机器人领域发展迅猛、需求巨大，值得引起我们的关注。在之后的开发中，我们会不断完善该项目，使其能更好地运用到实际生活中，从而大大改善人们的生活。