技术服务

MR混合现实遥操作机器人

前言

我们2020年的时候,做了一个MR混合现实机械臂遥操作的项目,一句话来说就是,使用微软的Hololens2代,去遥操作控制远端的机械臂。

这项目的主要是医疗场景,模拟了远程情况下,医生如何在远端通过增强现实技术进行手术过程,不过这仅仅是一个演示和验证功能项目,kinova机械臂的精度以及hololens拖动的精度,都不足以完成真实的手术验证。

系统构成

设备用途品牌
机械臂执行机构,末端握持手术刀Kinova
手眼系统安装于机械臂末端,提供机械臂视角realsense D435i
外部视觉安装在手术台上端,提供手术台广角视角kinect DK
增强现实头显提供增强现实视角微软Hololens2
无影灯补光淘宝买的
假人被机械臂切淘宝买的
分屏显示器分别显示多视角用户自己的

表、设备构成

图、系统通信构成


机械臂模块和增强现实模块都需要单独配备一台PC,这两台PC之间用网络通信,这样可以保证即使是在异地也可以进行遥操作。


功能

机器人端由机械臂、机械臂手眼系统(第一视角),手术台外部摄像头(第二视角),人类视角(第三视角)。

多机位、广阔的视角给医生提供无死角的建议。同时,hololens视角中,也能显示手术相关数据。

图、机械臂末端视角


图、手术台视角

程序启动后,使用者可以通过手势拖拽,完成实际机械臂的运动。

在hololens2中,可以实时的看到假人模型,也可以选择把realsense和kinect dk的点云数据回传到头显中,具体细节可以参考文末的视频。

可以进行的研究

  • 增强现实
  • 机械臂遥操作
  • 数字孪生
  • 辅助医疗设备

工作视频

花絮

 ‍第三人称视角看戴着hololens的人就像….

又一例移动抓取机器人的杂碎体验

最近我们又做了一例移动抓取机器人,这次项目主要负责的工程师是闫磊,以下是一些碎碎念:

一、项目配置

移动抓取机器人的主要构成有以下:

这次我们移动机器人选择的是Mir100,机械臂选的是UR3,处理器选择的是索泰的带1060显卡的版本,激光雷达是sick、摄像头是realsense,末端夹持器是robotiq的二指。

二、项目开发周期

项目从今年7月中的时候正式启动,8月中执行完毕,开发时间如下:

机械部分:主要分为机械设计(支架图纸设计)、加工以及组装几个内容。这部分耗费的时间最长,花了3周的时间,其中设计1周,等加工件回来差不多2周,组装差不多就两天的时间。

电气部分: 由于客户不想将UR机械臂的控制柜改为直流,所以我们选择了使用逆变器,将Mir电池24V的电压逆变为220V交流,然后直接给机械臂去供电。PC方面使用了一个大功率的DC/DC将24V降压为19.5V去供电。末端夹持器的供电则直接使用了UR控制柜中的24V直流输出。由于整体的供电逻辑比较简单,所以这部分花了差不多2-3天就搞定了。

软件部分:为了方便用户开发,需要我们在ROS下将各个部分的组件攒在一起,有些部件没有ROS下的驱动,我们还得去开发一下,大概耗时1周。

下面说一下其中遇到的坑:

首先,图纸送去加工厂制作,来回一共出了3个意外。。。。

第一次,铝合金板件比事前约定的时间延迟了1个周。

第二次,型材孔位的位置打错了,返工。

第三次,板件的尺寸搞错了,返工。

三、项目经验

本项目采用的设备跟之前做过的一个抓螃蟹的项目很相似,之前是Mir100和Ur5,这次是Mir100和Ur3,除了电气部分之外,有些软件和硬件上的东西是通用的。所以本次项目更加注重细节部分,在原来的基础上改进了用户体验度。比如说:支架拆装更加方便了,重量也下降了,供电及走线更加安全合理了等

四、杂七杂八的Q&A

Q1: 最终用户是要用在什么的场景?

本次项目的最终用户是机器视觉领域实力很强的研究所。

他们想做的场景是动态物体捕捉后,移动抓取机器人根据视觉数据去执行相应反馈,比如识别这个物体的运动轨迹,然后机械臂和移动机器人做相应的反馈,去击打或者抓取物体。

Q2: 整个集成过程中一共分为几个部分?工作量主要集中在哪里?

一般机器人集成分为硬件、软件、电气三个部分。

硬件部分,我们要考虑移动机器人、机械臂、各种传感器和机器人的控制器整体的布置、机械臂是否会倾覆、如何配重等问题,最后就是加工结构件和连接件。

软件部分,我们整体是基于ROS做,有的传感器没有ROS驱动,我们会写相应的驱动,还有就是仿真部分的模型以及整体组包。

电气部分,要考虑到所有组件的供电以及机械臂的供电,机械臂一般是交流供电,底盘是直流输出,这里会有一个逆变的部分。另外就是整体电气安全设计也要考虑到。

Q3: 你觉得针对该集成还能够落地的场景有哪些?

其实移动抓取机器人现在落地的场景还不是很多。半导体行业会占主导,主要也是因为半导体行业能出的起这个钱。随着移动抓取机器人的价格慢慢的降低,我相信有更多的场景能够落地,现在我们也见到了国内的一些新的创业公司在一些细分领域场景有了新的案例,这是一个很好的现象。

我们觉得符合以下特性的场景都可以使用移动抓取机器人:

1.工作站形式

2.整体节拍要求不高

3.目标物体为单件的形式

4.整体成本降低

因为移动抓取既有移动机器人的转运能力,也有机械臂的操作能力,整体功能很靠近人类了,如果有一家企业可以把价格做到三十万以内,易操作部分再下一些功夫,一定能够大卖。

Q4: 作为一个机器人工程师,完成一个项目需要具备什么样的能力?

我觉得第一就是沟通能力,机器人工程本身有着多学科交叉的特性,所以工程上涉及到的人很多,很难说是成为一个独立开发者。良好的沟通能力是一个机器人工程师的必备素质。

另外技术这方面,机器人工程师掌握的技术点会很杂,软、硬、电都要涉及,机器人就是个集成性创新的产业。

当然,每一个工程师都会有一定的偏向,可能软件更强一点,可能硬件更强一点,但实际上大家都有全面的技术背景知识,所以一个好的机器人工程师需要很多年月去磨练,才能从实践中积累到相应的“技术体验”。也基本上很难通过培训机构,批量化产出这方面人才。


1