机器手也能轻松玩转电脑鼠标了？

近期，清华大学李曙光副教授课题组和北京邮电大学方斌教授课题组合作，开发了两款新型软体机器手，为截肢群体和机器人操作电脑鼠标提供了创新解决方案。

其中一款软体假肢手能够通过残肢肌肉电信号控制物理鼠标进行多种操作，其点击频率接近10Hz，可以媲美普通人操作鼠标的最快频率，足以适应日常办公需求。另一款软体机器手则基于仿生流体传动系统，通过视觉反馈和语音控制，轻松完成鼠标全自动化操作任务。

这两项研究不仅能让截肢群体获得更多交流与工作机会，更为智能假肢和未来机器人灵巧操作技术开辟了新的方向。

（软体假肢手系统的总体框架。图源：Advanced Intelligent Systems）

在互联网时代，电脑鼠标操作是重要的办公技能，但全球截肢者的就业率仅为健全群体的一半，部分原因在于现有商用假肢难以满足精细操作需求。

传统假肢手多为仿人手的刚性机构，虽具备基础抓取功能，但难以实现鼠标操作的高频点击和精准交互控制。并且，目前的机器手存在结构灵巧能力不足，以及复杂操作意图识别困难等问题。

针对这一技术瓶颈，该团队从硬件、算法和人机交互三方面提出了创新解决方案。

在硬件设计方面，研究人员借鉴人体骨骼肌肉模型，开发了一种软体假肢手，总重量仅为405.8克。此外，基于鱼鳍结构设计的软体手指，实现了对不同尺寸鼠标的普适性抓取，解决了传统假肢手难以抓取特殊形状物品的问题。

该装置创新性地融合了两种驱动机制：两根肌腱驱动的软手指实现10Hz的高频点击（与常人操作频率上限相当），三根仿鱼鳍结构的软体手指则能自适应包裹并操作不同尺寸鼠标。

李曙光教授解释道：“通过绳驱张力模拟肌腱运动，我们不仅实现了对扁平无线鼠标的高频操作，还扩展了多种基于手指的点击和滚动等功能。”

在算法层面，研究团队建立了手部运动（肌电信号）与鼠标操作之间的“单对多映射”，能够快速准确地识别用户的手势意图，并通过决策窗口算法将单一手势映射到多种鼠标操作指令。

通过提取截肢者肌肉电信号中的三个显著分类，结合后处理算法，将三种肌肉激活模式映射到九种不同动作的控制指令。这种设计显著降低了用户的训练和学习成本，截肢者仅需30分钟的训练即可熟练掌握鼠标单击、双击、长按、滚动等复杂操作。

人机交互方面，研究人员将截肢者手臂末端的运动能力应用于假肢手操作，提供了更直观、更轻松的鼠标光标运动控制。

（软体肌电假肢手的结构。图源：Advanced Intelligent Systems）

在另一项研究中，该团队开发了一款可以让机械臂自主操作计算机鼠标的软体机器手，其设计灵感来源于可自主调控末端管足扩张或收缩的海星水血管系统。

研究人员利用薄膜热压的快速制备工艺，开发出了一种名为“BESTS”（bellows-enclosed soft transmission system）的软传动系统，从而使新型的机器手兼具抓握和掌内操作功能。

该机器手采用“刚柔并济”的混合结构设计：柔性手指可自适应不同尺寸和形状的鼠标，而刚性骨架和掌部则确保操作稳定性。这种设计不仅提升了机器手的适应性和操作精度，同时有效降低了系统复杂度。

研究人员通过一系列实验验证了BESTS机器手的功能。实验表明，该机器手能够精准完成11种不同的鼠标操作，包括抓取、单击、双击、长按、滚动鼠标轮以及中键点击等动作。

此外，研究团队还为机器手配备了视觉和听觉传感器，使其具备完全自主化的鼠标操作能力。

具体来说，手背摄像头首先会在桌面上定位鼠标，引导机器手抓住鼠标，然后将手背摄像头对准电脑屏幕，通过视觉后处理算法，机器手可以自主地完成一些简单的电脑游戏。

（用于自主操作电脑鼠标的软体机器手。来源：Advanced Intelligent Systems）

为拓展应用场景，研究团队还集成了人机语音交互系统：机器手上配备的麦克风模块可通过语音指令调用ChatGPT大模型，将自然语言转化为底层控制代码。

例如，当使用者说“把电脑关机”，机器人系统在快速地处理信息后，可以自主地依次执行如下操作：首先移动鼠标到左下角，点击开始按钮，然后分别移动、点击直至完成电脑关机操作。

这款机器手特别适用于重复性操作、远程操作或多任务并行操作场景，如在AR/VR交互、医疗辅助或多终端协同操作等领域具有应用潜力。

当前，软体机器人研究正朝着人机自然交互方向发展。现有的灵巧手大多数使用了大量电机来驱动操控，因此其复杂度和成本较高。相比现有的面向通用抓取或掌内操作（如乐器演奏、魔方还原）的灵巧手，此研究聚焦在人机交互操作的典型实际应用场景。

“我们探索基于物理智能和机械智能的设计，通过精简、巧妙的驱动和传动系统，使得机器手具备完整的鼠标操作功能，并将这两款软体机器手的成本控制在千元级别。”李曙光说道。

未来，该课题组计划探索一套标准化的快速设计流程，用于定制化开发针对不同场景、适用于特定任务的灵巧机器手，比如康复医疗、辅助电竞游戏等。

新闻来源：DeepTech

记    者：叶家余

编    辑：卢婷婷

主    编：陈    鑫

总编辑：余师亮

声明：除原创内容及特别说明之外，推送稿件文字及图片均来自网络及各大主流媒体。版权归原作者所有。如认为内容侵权，请联系我们删除。