
人形机器人感知与传感单元解决方案
方案简介
感知与传感是机器人的“感官与本体感觉”。它让机器人知道自己是什么姿态、手上摸到了什么、眼前看到了什么、耳边听到了什么。从姿态、触觉、视觉到语音,感知单元把物理世界的信息变成数字信号,为中央计算平台的决策提供依据。
方案详情
人形机器人的感知与传感,覆盖从本体状态到外部环境的全部信息输入。按感知对象,分为四大部分。 姿态感知是运动控制的基础。机器人要站稳、要走稳,首先得知道自己是什么姿态、正在往哪个方向倒。姿态感知主控负责采集IMU和关节编码器数据,在本地完成姿态解算和融合,输出姿态角、角速度和运动趋势。惯性单元以6轴IMU为基础,AHRS/VRU提供不同级别的姿态输出,分别对应不同的航向精度需求。 触觉感知是灵巧操作的基础。手部要抓稳鸡蛋、感知滑动、在接触前减速,依赖触觉感知主控把高密度触觉阵列和接近觉信号变成结构化的接触力、位置和材质信息。触觉传感器分电容式、压阻式、气压式和磁触觉四条路线,各有所长。电子皮肤接近觉用微型ToF实现预接触感知。 视觉感知是环境理解的基础。视觉感知主控负责多路摄像头的图像预处理和边缘AI推理,把原始图像变成结构化信息。主视觉传感由CMOS图像传感器和光学ToF构成,CMOS负责二维成像,ToF负责三维测距。辅助视觉用ALS、人体感应和超声波ToF补充主视觉覆盖不到的场景。 语音交互是最自然的人机接口。麦克风阵列负责拾音,语音处理芯片完成降噪、回声消除、声源定位和语音唤醒,音频功放驱动扬声器输出。这套链路让机器人在嘈杂环境中也能听清、听懂、回应。 四大感知模块分工明确,又相互配合。姿态和触觉主要服务于运动控制,视觉和语音侧重环境理解和人机交互。它们都在本地完成预处理和边缘推理,把结构化结果上传给中央计算平台,由中央平台做全局融合和决策。
技术架构

推荐型号
姿态感知域的主控芯片,负责IMU数据采集、姿态解算、多传感器融合和本地异常判断。要求硬实时、多路传感器接口、高精度ADC,工作温度覆盖工业级。输出结构化姿态信息给中央计算平台和动力域总控,不承担全身运动规划。
| 型号 | 品牌 | 描述 | 参考设计 | 数据手册 |
|---|---|---|---|---|
| STM32H743VIT6 | ST(意法半导体) | 带DSP和DP-FPU的高性能ARM Cortex-M7 MCU,具有2 MB Flash、1 MB RAM、480 MHz CPU、ART加速器、一级缓存、外部存储器接口和大量外设 | 参考设计 | |
| STM32H743VIT6TR | ST(意法半导体) | 带DSP和DP-FPU的高性能ARM Cortex-M7 MCU,具有2 MB Flash、1 MB RAM、480 MHz CPU、ART加速器、一级缓存、外部存储器接口和大量外设 | 参考设计 | |
| STM32H743VGT6 | ST(意法半导体) | 带DSP和DP-FPU的高性能ARM Cortex-M7 MCU,具有1 MB Flash、1 MB RAM、480 MHz CPU、一级缓存、外部存储器接口、JPEG编解码器和大量外设 | 参考设计 | |
| STM32H742VGT6 | ST(意法半导体) | 带DSP和DP-FPU的高性能ARM Cortex-M7 MCU,具有1 MB Flash、692 KB RAM、480 MHz CPU、一级缓存、外部存储器接口和外设子集 | 参考设计 | |
| STM32H742VIT6 | ST(意法半导体) | 带DSP和DP-FPU的高性能ARM Cortex-M7 MCU,具有2 MB Flash、692 KB RAM、480 MHz CPU、一级缓存、外部存储器接口和外设子集 | 参考设计 | |
| STM32H753IIT6 | ST(意法半导体) | 带DSP和DP-FPU的高性能ARM Cortex-M7 MCU,具有2 MB Flash、1 MB RAM、480 MHz CPU、ART加速器、一级缓存、外部存储器接口、包括加密加速器在内的大量外设以及安全服务支持 | 参考设计 | |
| STM32H750IBT6 | ST(意法半导体) | 带DSP和DP-FPU的高性能ARM Cortex-M7 MCU,具有128 KB Flash、1 MB RAM、480 MHz CPU、一级缓存、外部存储器接口、JPEG编解码器、硬件加密和大量外设 | 参考设计 | |
| STM32H755IIT3 | ST(意法半导体) | 带DSP和DP-FPU的高性能ARM Cortex-M7 + Cortex-M4 MCU,具有2 MB Flash、1 MB RAM、480 MHz CPU、ART加速器、一级缓存、外部存储器接口、包括加密加速器在内的大量外设、安全服务支持和SMPS | 参考设计 | |
| STM32H755IIT6 | ST(意法半导体) | 带DSP和DP-FPU的高性能ARM Cortex-M7 + Cortex-M4 MCU,具有2 MB Flash、1 MB RAM、480 MHz CPU、ART加速器、一级缓存、外部存储器接口、包括加密加速器在内的大量外设、安全服务支持和SMPS | 参考设计 | |
| STM32H757IIT6 | ST(意法半导体) | 带DSP和DP-FPU的高性能ARM Cortex-M7 + Cortex-M4 MCU,具有2 MB Flash、1 MB RAM、480 MHz CPU、ART加速器、一级缓存、外部存储器接口、包括加密加速器在内的大量外设、安全服务支持、SMPS和MIPI-DSI | 参考设计 | |
| MIMXRT1176CVM8A | NXP(恩智浦) | i.MX RT1170 跨界处理器 | 参考设计 | |
| MIMXRT1176DVMAA | NXP(恩智浦) | i.MX RT1170 跨界处理器 | 参考设计 |
集成三轴陀螺仪和三轴加速度计,输出原始角速度和加速度数据。需MCU运行融合算法才能得到姿态角。低延迟、高刷新率,适合高频动态控制。航向角随时间漂移,需外部参考校正。是机器人姿态感知的基础器件。
| 型号 | 品牌 | 描述 | 参考设计 | 数据手册 |
|---|---|---|---|---|
| ISM330BXTR | ST(意法半导体) | 具备宽带宽、低噪声特性的六轴惯性测量单元(IMU) | 参考设计 | |
| ISM330DHCXTR | ST(意法半导体) | iNEMO惯性模块,带嵌入式机器学习核心:常开3D | 参考设计 | |
| ISM330DLCTR | ST(意法半导体) | iNEMO惯性模块:用于工业应用的3D加速度计和3D陀螺仪 | 参考设计 | |
| ISM330ISNTR | ST(意法半导体) | 6轴IMU:带ISPU的常开3轴加速度计和3轴陀螺仪 | 参考设计 | |
| ASM330LHHTR | ST(意法半导体) | 汽车6轴惯性模块:3D加速度计和3D陀螺仪 | 参考设计 | |
| ASM330LHBTR | ST(意法半导体) | 用于汽车电子控制单元的高精度汽车六轴惯性模块 | 参考设计 | |
| ASM330LHHXG1TR | ST(意法半导体) | 高精度6轴汽车惯性测量单元(IMU),带嵌入式机器学习核心和双工作模式 | 参考设计 | |
| ASM330LHHXTR | ST(意法半导体) | 高精度6轴汽车惯性测量单元 | 参考设计 | |
| ASM330LHBG1TR | ST(意法半导体) | 适用于ASIL B级汽车应用、宽温度范围的高精度六轴惯性测量单元(IMU) | 参考设计 | |
| ICM-42688-P | TDK InvenSense(应美盛) | 高精度六轴MEMS运动跟踪器件 | 参考设计 | |
| ICM-42688-V | TDK InvenSense(应美盛) | 高精度6轴MEMS运动跟踪设备,具备先进传感器融合库 | 参考设计 | |
| ICM-42670-P | TDK InvenSense(应美盛) | 高性能6轴MEMS运动跟踪设备 | 参考设计 | |
| ICM-42670-L | TDK InvenSense(应美盛) | 高性能6轴MEMS运动跟踪设备,结合3轴陀螺仪和3轴加速度计 | 参考设计 | |
| BMI270 | Bosch(博世) | 6轴、智能、低功耗惯性测量单元,适用于高性能应用 | 参考设计 | |
| BMI088 | Bosch(博世) | BMI088 | 参考设计 |
AHRS内置姿态解算并增加磁力计,直接输出包含绝对航向在内的完整三维姿态,长期稳定性好,但受磁场干扰影响。VRU采用IMU硬件并内置姿态解算,直接输出俯仰角和横滚角,不提供绝对航向。两者均内置算法,输出即用。
| 型号 | 品牌 | 描述 | 参考设计 | 数据手册 |
|---|---|---|---|---|
| ICM-20948 | TDK InvenSense(应美盛) | 九轴MEMS运动追踪器件 | 参考设计 | |
| MPU-6050 | TDK InvenSense(应美盛) | MPU-6050 | 参考设计 | |
| BNO055 | Bosch(博世) | 9轴绝对定向智能传感器 | 参考设计 |
手部触觉与接近觉的专用处理芯片,负责触觉阵列的信号采集、特征提取和接近觉融合,输出结构化的接触力、位置、材质和距离信息。要求多路高精度信号采集能力,适配压阻、电容、压电、光电等多种传感原理,亚毫秒级实时处理。前沿方案支持ASC模拟-脉冲直接转换和事件驱动架构,实现微秒级响应和超低功耗。是灵巧手实现精细力控和预接触感知的核心器件。
| 型号 | 品牌 | 描述 | 参考设计 | 数据手册 |
|---|---|---|---|---|
| STM32N657B0H3Q | ST(意法半导体) | 基于Arm Cortex-M55的微控制器,集成Neural-ART加速器、H264编码器、Neo-Chrom 2.5D GPU | 参考设计 | |
| STM32H7R7Z8J6 | ST(意法半导体) | Arm Cortex-M7 32位600 MHz微控制器,支持以太网、2个USB接口、2个FD-CAN接口、高级图形处理、2个12位ADC | 参考设计 |
灵敏度高、动态范围宽,可检测轻微接触和接近觉。适合指尖精细触觉,但需屏蔽电磁干扰和寄生电容。
| 型号 | 品牌 | 描述 | 参考设计 | 数据手册 |
|---|---|---|---|---|
| MC1081S | Mysentech(敏源传感) | 十通道多模式宽频数字电容传感芯片 | 参考设计 | |
| MC1081A | Mysentech(敏源传感) | 十通道多模式宽频数字电容传感芯片 | 参考设计 | |
| MCP1085S | Mysentech(敏源传感) | 十通道多模式宽频数字电容处理器芯片 | 参考设计 | |
| AS8579-ASSM | ams(艾迈斯半导体) | 电容式传感器,可检测不同应用中的电容变化,支持多种诊断功能,适用于汽车应用 | 参考设计 |
结构简单、成本低、量程大、抗干扰强。适合法向力测量和大面积覆盖,响应时间通常在毫秒级,但灵敏度和重复性一般。
| 型号 | 品牌 | 描述 | 参考设计 | 数据手册 |
|---|---|---|---|---|
| ZSFS1001B-WL | Zettasensing(泽声) | 压力触觉传感器芯片 | 参考设计 |
柔性好、耐过载,通过气腔和压力检测实现三维力与接触面积感知。适合柔性大面积覆盖,但响应时间通常在数百毫秒级,慢于压阻式的毫秒级响应,动态场景需权衡。
| 型号 | 品牌 | 描述 | 参考设计 | 数据手册 |
|---|---|---|---|---|
| ILPS28QSWTR | ST(意法半导体) | ILPS28QSWTR | 参考设计 | |
| MPL3115A2R1 | NXP(恩智浦) | 停产 I²C精密压力传感器 | 参考设计 | |
| ICP-20100 | TDK InvenSense(应美盛) | 高精度、低功耗气压与温度传感IC | 参考设计 | |
| DPS368XTSA1 | Infineon(英飞凌) | 数字式气压传感器 | 参考设计 | |
| SPA06-003 | Goertek(歌尔) | 数字压力传感器 | 参考设计 |
利用霍尔或磁阻元件检测磁场变化,精度高、抗污染,可测三维力。适合高精度力控,但需集成磁体,结构较复杂。
| 型号 | 品牌 | 描述 | 参考设计 | 数据手册 |
|---|---|---|---|---|
| IIS2MDCTR | ST(意法半导体) | 三轴数字磁传感器 | 参考设计 | |
| LIS2MDLTR | ST(意法半导体) | 霍尔效应开关 | 参考设计 | |
| TMAG5170A2QDGKR | TI(德州仪器) | 具有SPI接口的高精度3D线性霍尔效应传感器 | 参考设计 | |
| TMAG5170A2EDGKRQ1 | TI(德州仪器) | 具有SPI接口的高精度3D线性霍尔效应传感器 | 参考设计 | |
| TMAG5170A1EDGKRQ1 | TI(德州仪器) | 具有SPI接口的高精度3D线性霍尔效应传感器 | 参考设计 | |
| TMAG5170A1QDGKT | TI(德州仪器) | TMAG5170A1QDGKT | 参考设计 | |
| QMC5883P | QST(上海矽睿) | 三轴磁传感器 | 参考设计 | |
| IST8310 | iSentek(爱盛科技) | 三维磁力计 | 参考设计 |
测距几毫米到几厘米,毫米级精度,刷新率几十Hz到上百Hz,封装小、抗环境光强。与视觉ToF测距远、视场大不同,用于抓取前减速、滑动预测和非接触交互。需关注多传感器串扰抑制和盖片校准。
| 型号 | 品牌 | 描述 | 参考设计 | 数据手册 |
|---|---|---|---|---|
| VL53L0CXV0DH/1 | ST(意法半导体) | 飞行时间测距和手势检测传感器 | 参考设计 | |
| VL53L3CXV0DH/1 | ST(意法半导体) | 飞行时间测距传感器,具备多目标检测功能 | 参考设计 |
机器人视觉域的专用处理芯片,集成ISP和NPU,负责多路摄像头的图像预处理和边缘AI推理,输出结构化环境信息给中央计算平台。要求多路MIPI CSI接口、ISP图像处理能力和1到数十TOPS的边缘算力。与中央计算平台分工明确:视觉主控做本地预处理和轻量推理,中央平台做全局融合和大模型推理。
| 型号 | 品牌 | 描述 | 参考设计 | 数据手册 |
|---|---|---|---|---|
| TDA4VH88TGAALYRQ1 | TI(德州仪器) | TDA4VH88TGAALYRQ1 | - | |
| TDA4VP88TGAALYRQ1 | TI(德州仪器) | TDA4VP88TGAALYRQ1 | - | |
| STM32N657A0H3Q | ST(意法半导体) | 基于 Arm Cortex-M55 的 MCU,配备 ST Neural-ART 加速器、H264 编码器、Neo-Chrom 2.5D GPU 和 4.2 Mbyte 连续 SRAM | 参考设计 | |
| STM32N657B0H3Q | ST(意法半导体) | 基于Arm Cortex-M55的微控制器,集成Neural-ART加速器、H264编码器、Neo-Chrom 2.5D GPU | 参考设计 | |
| MIMX8ML8CVNKZAB | NXP(恩智浦) | MIMX8ML8CVNKZAB | - |
主视觉的二维成像器件,提供高分辨率图像用于识别、导航和交互。选型关注分辨率、帧率、动态范围、低照度性能和接口类型。
| 型号 | 品牌 | 描述 | 参考设计 | 数据手册 |
|---|---|---|---|---|
| AR0134CSSC00SUEA0-TPBR | onsemi(安森美) | 1/3英寸 1.2 MP CMOS图像传感器 数字型 全局快门 | 参考设计 | |
| AR0234CSSC28SUKA0-CR | onsemi(安森美) | AR0234CS: AR0234CS:1/2.6英寸 2.3Mp CMOS数字图像传感器带全局快门 | 参考设计 | |
| AR0234CSSM28SUKA0-CP | onsemi(安森美) | AR0234CS: AR0234CS:1/2.6英寸 2.3Mp CMOS数字图像传感器带全局快门 | 参考设计 | |
| AR0234CSSM00SUKA0-CP | onsemi(安森美) | AR0234CS: AR0234CS:1/2.6英寸 2.3Mp CMOS数字图像传感器带全局快门 | 参考设计 | |
| AR1335CSSC11SMKA0-CP | onsemi(安森美) | 1300万像素CMOS图像传感器,具备先进1.1um像素BSI技术 | 参考设计 |
集成好的ToF模组,内部包含发射、接收和信号处理,拿来即用。输出三维深度信息,用于避障、空间建模和深度感知。选型关注测距范围、深度精度、抗环境光能力和帧率。属于传感器路线。
| 型号 | 品牌 | 描述 | 参考设计 | 数据手册 |
|---|---|---|---|---|
| VL53L0CXV0DH/1 | ST(意法半导体) | 飞行时间测距和手势检测传感器 | 参考设计 | |
| VL53L1CBV0FY/1 | ST(意法半导体) | 新一代飞行时间测距传感器,具备先进多区域和多目标检测功能 | 参考设计 | |
| VL53L1CXV0FY/1 | ST(意法半导体) | 新一代长距离飞行时间测距传感器 | 参考设计 | |
| VL53L3CXV0DH/1 | ST(意法半导体) | 飞行时间测距传感器,具备多目标检测功能 | 参考设计 | |
| VL53L7CHV0GC/1 | ST(意法半导体) | 人工智能赋能器,视场角90°的8x8多区域飞行时间(ToF)传感器 | 参考设计 | |
| VL53L8CHV0GC/1 | ST(意法半导体) | VL53L8CHV0GC/1 | 参考设计 | |
| VL53L8CXV0GC/1 | ST(意法半导体) | 低功耗高性能8x8多区域飞行时间(ToF)传感器 | 参考设计 |
ToF模组的核心模拟前端芯片,负责驱动激光发射、接收回波并转换为时间或相位数据。属于AFE路线,需与光电发射/接收管配套使用。选型关注通道数、功耗、接口和抗环境光能力。
| 型号 | 品牌 | 描述 | 参考设计 | 数据手册 |
|---|---|---|---|---|
| OPT3101RHFR | TI(德州仪器) | 基于ToF的远距离接近和距离传感器AFE | 参考设计 | |
| ISL29501IRZ-T7 | RENESAS(瑞萨)/IDT | 飞行时间(ToF)信号处理集成电路 | 参考设计 |
检测环境光照强度,用于屏幕亮度调节、昼夜判断和摄像头曝光辅助。功耗极低,常与接近传感器集成。选型关注光谱响应、动态范围和接口。
| 型号 | 品牌 | 描述 | 参考设计 | 数据手册 |
|---|---|---|---|---|
| VD6283TX45/1 | ST(意法半导体) | 混合滤波多光谱传感器,带灯光闪烁引擎 | 参考设计 | |
| LTR-381RGB-01 | LITEON(光宝) | 环境光传感器 | 参考设计 | |
| XL-ALS-PDIC2016C | XINGLIGHT(成兴光) | XL-ALS-PDIC2016C | 参考设计 | |
| TCS34303 | ams(艾迈斯半导体) | 颜色和环境光传感器 | 参考设计 | |
| TMD37253M | ams(艾迈斯半导体) | ALS、颜色和接近传感器模块 | 参考设计 | |
| AS7341-DLGM | OSRAM(欧司朗) | 11通道光谱传感器前端 停产 | 参考设计 |
检测附近人体存在和移动。PIR成本低、功耗低,适合检测人体移动;毫米波雷达能检测静止人体和微动,抗干扰更强。用于人机交互唤醒、安全避让和存在检测。
| 型号 | 品牌 | 描述 | 参考设计 | 数据手册 |
|---|---|---|---|---|
| HLK-LD6002B | HI-LINK(海凌科) | 3D存在雷达模组 | 参考设计 | |
| HLK-LD2410C-P | HI-LINK(海凌科) | 雷达模块 | 参考设计 | |
| HLK-LD2410B-P | HI-LINK(海凌科) | 海凌科人体存在传感器 雷达模块心跳检测智能感应器带蓝牙 | 参考设计 | |
| HLK-LD2402 | HI-LINK(海凌科) | 雷达模块 | 参考设计 | |
| WT4102A-C01L | WT(唯创知音) | WT4102A-C01L | 参考设计 |
通过声波测距,检测近距离障碍物。不受光线和烟雾影响,适合玻璃检测和地面材质判断。测距范围几厘米到几米,精度厘米级。选型关注测距范围、波束角和响应时间。
| 型号 | 品牌 | 描述 | 参考设计 | 数据手册 |
|---|---|---|---|---|
| ICU-30201 | TDK InvenSense(应美盛) | 超长距离超声波飞行时间距离传感器 | 参考设计 | |
| ICU-20201 | TDK InvenSense(应美盛) | ICU-20201 | 参考设计 |
语音交互的核心处理单元,完成降噪、回声消除、波束成形、声源定位和语音唤醒。部分方案集成离线语音识别,支持本地唤醒和命令词。选型关注麦克风通道数、算法能力、接口类型和功耗。
| 型号 | 品牌 | 描述 | 参考设计 | 数据手册 |
|---|---|---|---|---|
| XVF3800-QF60B-C | XMOS | 高性能语音处理器 | 参考设计 | |
| R329-N4 | Allwinner(全志) | 音频应用处理器 | 参考设计 |
驱动扬声器输出的功率放大芯片。要求中等功率、高效率、低失真,匹配机器人的音频输出需求。选型关注输出功率、效率、失真度和接口类型。
| 型号 | 品牌 | 描述 | 参考设计 | 数据手册 |
|---|---|---|---|---|
| TPA3116D2DADR | TI(德州仪器) | 15W, 30W, 50W 无滤波器 Class-D 立体声功率放大器 | 参考设计 | |
| TPA3116D2DAD | TI(德州仪器) | 具有AM抑制功能的15W、30W、50W无滤波器D类立体声放大器系列 | 参考设计 | |
| TPA3116D2QDADRQ1 | TI(德州仪器) | 100W 和 50W 汽车用 D 类立体声放大器 | 参考设计 | |
| TAS6511QPWPRQ1 | TI(德州仪器) | 具有电流检测和实时负载诊断功能的50W、2MHz数字输入单通道汽车级无散热器D类音频放大器 | 参考设计 | |
| NS4150B | Nsiway(纳芯威) | 3.0W单声道D类音频功率放大器 | 参考设计 | |
| MAX98357AETE+T | ADI(亚德诺)/MAXIM(美信) | 微型、低成本、PCM 类 D 级放大器具有 AB 级性能 | 参考设计 |





