中国科大提出多模态触觉感知新框架赋能机器人灵巧操作-知多少教育网-记录每日最新科研教育资讯

中国科大提出多模态触觉感知新框架赋能机器人灵巧操作

中国科学技术大学

发布时间: 2026-06-17 12:10:56 74次浏览

近日，中国科学技术大学工程科学学院、人形机器人研究院王洪波研究员课题组联合人形机器人研究院张世武教授、新加坡国立大学周建树博士，提出了一种基于矢量分析的视触觉感知新框架。团队成功研制出兼具微米级空间分辨率、多模态感知能力与低计算成本的视触觉传感器 PixelTouch 及其无线小型化版本 PixelTouch 2.0。该传感器突破了传统方案对庞大训练数据的依赖，助力机器人实现化学实验等复杂任务的自主精准操作。

5月26日，该研究成果以 “Vector Analysis Empowered Vision-Based Multimodal Tactile Perception for Robotic Handling of Chemical Apparatus” 为题，正式发表在 Cell Press 旗下期刊《器件》(Device)上。

图1 PixelTouch示意图及其在机器人自主化学实验任务中的应用

突破算力瓶颈，纯数学驱动的感知新框架

触觉感知是机器人实现精细操作、处理复杂任务以及人机交互的主要感知瓶颈之一。在化学实验室等场景中，机器人经常需要与易碎、易变形的器具进行物理交互，这对触觉传感器的多模态感知能力、时间和空间分辨率、可集成性以及可靠性提出了极高要求。近年来，视触觉传感器因其超高的空间分辨率成为学术界研究的热点。然而，现有的技术方案往往高度依赖庞大的训练数据与复杂的深度学习算法，导致计算成本高昂、通用性受限且难以在边缘设备上部署。

为此，研究团队另辟蹊径，引入了矢量分析理论，构建了一个纯数学驱动的多模态触觉信息提取框架（见图1）。该方案最大的亮点在于“零数据训练”——PixelTouch 传感器无需收集任何前期训练数据，仅通过对剪切应变矢量场的散度（Divergence）和旋度（Curl）进行运算，即可实时、可靠地提供接触边缘、压力分布以及解耦的多轴力/力矩信息。

图2 基于矢量分析的视触觉多模态感知框架

高时空分辨率压力映射与多维力自解耦

得益于新颖的算法框架与亚微米级精度标记追踪技术，PixelTouch 传感器在各项核心性能指标上表现卓越：

·高动态精细感知：传感器实现了 0.3 mm 的空间分辨率与 74 Hz 的时间分辨率。无论是羽毛的轻触，还是玻璃球弹跳等微弱、高速的接触过程，都能被清晰捕捉。通过剪切应变矢量场的散度计算，系统能精准识别圆形、三角形、环形等各种形状的接触边缘。在测试中，即便面对复杂的 “USTC” 字符或者钥匙图案，该传感器也能完整、清晰地还原其精细的压力分布情况（见图2）。

·多轴力/扭矩自解耦：团队进一步利用标记面积变化率与矢量场旋度的解耦计算，成功实现了法向力、剪切力与扭矩的独立测量，其中剪切力方向的识别平均误差仅为 1.5°（见图3）。

·高鲁棒性与稳定性：传感器表皮采用了特殊的超黑遮光设计，确保其在强光干扰的开放环境下依然能稳定工作。疲劳测试表明，在经过 4000 次循环加载后，传感器的性能无退化。

图3 高时空分辨率压力分布及自解耦多维力测量

赋能机器人灵巧操作：化身“机器人化学实验员”

为了验证该技术在真实复杂场景中的实用价值，研究团队进一步开发了无线小型化版本——PixelTouch 2.0 传感器。其体积仅为 38 × 40 × 65 mm³，非常适合集成到商用机械夹爪的指尖（见图4）。在化学实验的自主操作演示中，搭载 PixelTouch 2.0 的机器人展现出了“类人触觉”感知能力：

·酸碱滴定：能够精确控制移液管橡胶头的吸液与滴液力度。

·人机协作：在与人类交接试管时，传感器能敏锐区分“意外碰撞”与“主动抓取”的意图，确保交接过程的安全稳定。

·液体搅拌：机器人在搅拌过程中，能够通过感知扭矩的微小变化，定量分析并判断液体的粘度。