MR混合现实遥操作机器人

MR混合现实遥操作机器人

前言

我们2020年的时候,做了一个MR混合现实机械臂遥操作的项目,一句话来说就是,使用微软的Hololens2代,去遥操作控制远端的机械臂。

这项目的主要是医疗场景,模拟了远程情况下,医生如何在远端通过增强现实技术进行手术过程,不过这仅仅是一个演示和验证功能项目,kinova机械臂的精度以及hololens拖动的精度,都不足以完成真实的手术验证。

系统构成

设备用途品牌
机械臂执行机构,末端握持手术刀Kinova
手眼系统安装于机械臂末端,提供机械臂视角realsense D435i
外部视觉安装在手术台上端,提供手术台广角视角kinect DK
增强现实头显提供增强现实视角微软Hololens2
无影灯补光淘宝买的
假人被机械臂切淘宝买的
分屏显示器分别显示多视角用户自己的

表、设备构成

图、系统通信构成


机械臂模块和增强现实模块都需要单独配备一台PC,这两台PC之间用网络通信,这样可以保证即使是在异地也可以进行遥操作。


功能

机器人端由机械臂、机械臂手眼系统(第一视角),手术台外部摄像头(第二视角),人类视角(第三视角)。

多机位、广阔的视角给医生提供无死角的建议。同时,hololens视角中,也能显示手术相关数据。

图、机械臂末端视角


图、手术台视角

程序启动后,使用者可以通过手势拖拽,完成实际机械臂的运动。

在hololens2中,可以实时的看到假人模型,也可以选择把realsense和kinect dk的点云数据回传到头显中,具体细节可以参考文末的视频。

可以进行的研究

  • 增强现实
  • 机械臂遥操作
  • 数字孪生
  • 辅助医疗设备

工作视频

花絮

 ‍第三人称视角看戴着hololens的人就像….

Leave a Reply