触耳寻路：视障人士导航AI系统

【导语】全球视障人士数量庞大，超过2.5亿人，在中国这一数字就达到了1700万。他们在日常生活中面临着诸多挑战，传统的白手杖和半智能化辅助工具存在诸多局限性，使得视障者的活动范围受限。然而，科技的进步正逐步改变这一现状。2025年，上海交通大学研究团队在国际顶级期刊上发表了一项革命性的研究成果——一套将视觉信息实时转换为听觉和触觉反馈的AI导航系统。该系统通过智能眼镜、智能手环和骨传导耳机等设备，将复杂的视觉世界翻译成视障者更易理解的声音提示和触觉震动，为他们构建起一张动态的感官导航地图。这项技术的出现，不仅为视障人士提供了全新的出行方式，更为他们提高生活质量带来了新的希望。

全球有超过2.5亿视障人士，中国的这一数字达到1700万。在城市的大街小巷，视障人士们依靠白手杖探路，却只能感(gǎn)知(zhī)脚(jiǎo)下(xià)约(yuē)一(yī)米(mǐ)范(fàn)围(wéi)的(de)地(de)面(miàn)，人(rén)行(xíng)道(dào)上(shàng)杂(zá)乱(luàn)停(tíng)放(fàng)的(de)共(gòng)享(xiǎng)单(dān)车(chē)、突(tū)然(rán)窜(cuàn)出(chū)的(de)行(xíng)人(rén)、地(de)铁(tiě)站(zhàn)复(fù)杂(zá)的(de)入(rù)口(kǒu)不(bù)亚(yà)于(yú)荆(jīng)棘(jí)遍(biàn)布(bù)。而(ér)头(tóu)顶(dǐng)的(de)树枝、胸前的栏杆、侧面驶来的电动车，这些危险更是在白手杖的盲区。近年来，科技界不断尝试用新技术改善这一困境。智能手杖通过超声波传感器扩展了探测范围，但仍局限于前方狭窄的扇形区域；GPS导航应用如Soundscape提供语音导航，却无法识别临时障碍物，在室内和高楼林立的城市中定位精度大打折扣；BeMyEyes等视频协助应用依赖志愿者的实时帮助，但需要稳定的网络和他人的时间配合。即便是被认为是最可靠的导盲方式，训练有素的导盲犬，全国也仅有400多只服役，培训周期长达2年，成本超过20万元。

这些传统和半智能化辅助工具的局限性，让大多数视障者的活动范围被严重压缩，让大多数视障者的活动范围被严重压缩。

2025年4月，上海交通大学的研究团队在国际顶级期刊发表了一项研究成果：一套将视觉信息实时转换为听觉和触觉反馈的AI导航系统。这套系统将视觉世界翻译成视障者更容易理解的声音提示和触觉震动，构建起一张动态的感官导航地图，让视障人士通过听和摸来感知原本需要看见的世界。

这套被称为多模态可穿戴视觉辅助系统的设备，外观上并不复杂：一副重约195克的智能眼镜、一对轻巧的智能手环，以及一个骨传导耳机。

要理解这套AI导航系统如何工作，我们首先需要(yào)理(lǐ)解(jiě)一(yī)个(gè)基(jī)本(běn)问(wèn)题(tí)：视(shì)觉(jué)信(xìn)息(xi)的(de)本(běn)质(zhì)是(shì)什(shén)么(me)？

当(dāng)我(wǒ)们(men)看(kàn)到(dào)前(qián)方(fāng)有(yǒu)一(yī)张(zhāng)桌(zhuō)子(zi)时(shí)，大(dà)脑(nǎo)实(shí)际(jì)上(shàng)在(zài)处(chù)理(lǐ)什(shén)么(me)信(xìn)息(xi)？是(shì)桌(zhuō)子(zi)的(de)颜(yán)色(sè)、形(xíng)状(zhuàng)、大(dà)小(xiǎo)，更重要的是它的空间位置：距离我们多远、在哪个方向、占据多大空间。对于导航来说，这些空间信息才是关键。

研究团队正是抓住了这一点。他们没有试图让视障人士看见完整的视觉世界，而是提取出导航所需的核心空间信息，然后用听觉和触觉重新编码。这套系统的眼睛是一个RGB-D深度相机。RGB我们都熟悉，就是相机拍摄的彩色照片。那个D代表Depth（深度），是整个系统的关键。

深度相机是如何(hé)测(cè)量(liàng)距(jù)离(lí)的(de)？它(tā)使(shǐ)用(yòng)了(le)一(yī)种(zhǒng)巧(qiǎo)妙(miào)的(de)方(fāng)法(fǎ)：结(jié)构(gòu)光(guāng)。可(kě)以(yǐ)想(xiǎng)象(xiàng)这(zhè)样(yàng)一(yī)个(gè)场(chǎng)景(jǐng)：在(zài)完(wán)全黑(hēi)暗(àn)的(de)房(fáng)间(jiān)里(lǐ)，拿(ná)着(zhe)手(shǒu)电(diàn)筒(tǒng)照(zhào)射(shè)墙(qiáng)壁(bì)。如(rú)果(guǒ)墙(qiáng)壁(bì)是(shì)平(píng)的(de)，光(guāng)斑是圆形的；如果墙壁是斜的或者凹凸不平的，光斑就会变形。通过分析光斑的形变，你就能推断出墙壁的形状和距离。

深度相机的原理类似，光点打到物体上会产生不同程度的变形。相机内部的传感器捕捉这些变形，通过复杂的计算，最终得出每个点的精确距离。而在深度图上，每个像素不再代表颜色，而是代表距离。通常用颜色来表示：暖色代表近，冷色代表远。

但这只是原始数据。

在日常行走中，我们的大脑在不断处理两类信息：识别（这是什么）和规划（该怎么走）。AI系统也必须完成这两个任务。

第一个任务是识别物体。系统使用了YOLOv8n神经网(wǎng)络(luò)，专(zhuān)门(mén)优(yōu)化(huà)到(dào)只(zhǐ)识(shi)别(bié)21类(lèi)最(zuì)关键的(de)物(wù)体(tǐ)。这(zhè)里(lǐ)有(yǒu)个(gè)细(xì)节(jié)很(hěn)有意思：研究团队发现，导航时最大的挑战不是物体识别不准，而是识别角度的局限。视障人士往往保持头部朝前，导致很多危险来自视野边缘。因此，系统特别强化了全方位检测：无论椅子出现在正前方还是侧面150度，都能保持相同的识别率。

而第二个任务，判断哪里能走，才是真正的技术难点。

研究团队最初尝试用全局阈值法，设定一个距离阈值，比如3米内的所有物体都算障碍物。这对检测高处的障碍物很有效。但当用户低头看路时，相机随之下倾，3米的检测范围会投射到地面上，把正常地面也识别成障碍物。而如果把阈值设置得太小，又会漏掉远处地面上的低矮障碍物，比如一块砖头、一个浅坑就可能会成为漏网之鱼。

研究团队意识到，在深度图像中，正常的平坦地面有一个数学规律。站在一条笔直的道路上向前看，近处的地面在视野的下方，远处的地面(miàn)逐渐升高到地平线。这种升高遵循一个可预测的曲线。系统会实时计算这条理想地面曲线。任何偏离这条曲线的点都可能是障碍：高于曲线的点？可能是凸起的石块或台阶。低于曲线的点？可能是凹陷的坑洞。曲线突然断裂？可能是路缘或墙壁。

这种方法能自适应不同情况：无论是仰头还是低头，是走上坡还是下坡，系统都能动态调整理想曲线，确保检测的准确性。

于是最终方案是让两种方法各司其职：

全局阈值法负责天空区域，专门捕捉悬空的危险

地面间隔法负责地面区域，不放过任何绊脚石。

在实际测试中，这种双重保护将障碍物检测率提升到了95%。通过这两个算法的配合，系统实现了从地面到头顶的立体防护网。整个检测过程在200毫秒内完成，这个响应可比眨眼还快。

但这只是第一步，接下来的挑战是：如何把这些复杂的空间信息，转化成视障人士能够直观理解的信号？

把视觉信息转换成声音，这个想法并不新鲜。早在1960年代，就有人尝试把图像转换成不同音调的声音。但这些早期尝试都失败了，原因很简单：信息超载。如果把眼前的每个物体都变成一种声音，几十种声音同时响起，结果只会是一片噪音。

研究团队采用了完全不同的思路：不是翻译所有信息，而是只传递最关键的导航指令。研究团队对比了空间化提示音、3D环境音和语言指令三种方式(shì)，结(jié)果(guǒ)是(shì)最(zuì)简(jiǎn)单(dān)的(de)提(tí)示(shì)音(yīn)效(xiào)果(guǒ)最(zuì)好(hǎo)，平(píng)均(jūn)定(dìng)位(wèi)误(wù)差(chà)只(zhǐ)有(yǒu)5度(dù)。语(yǔ)言(yán)指(zhǐ)令(lìng)虽(suī)然(rán)信(xìn)息(xi)量(liàng)大(dà)，但(dàn)需(xū)要(yào)大(dà)脑(nǎo)先(xiān)理(lǐ)解(jiě)词义(yì)再(zài)转(zhuǎn)化(huà)为(wèi)行(xíng)动(dòng)，这(zhè)个(gè)过(guò)程(chéng)需(xū)要(yào)500毫(háo)秒(miǎo)以(yǐ)上(shàng)。而(ér)空(kōng)间(jiān)化(huà)提(tí)示(shì)音(yīn)几(jǐ)乎(hu)不(bù)需(xū)要(yào)思(sī)考(kǎo)，它(tā)顺(shùn)应(yīng)了(le)大(dà)脑(nǎo)处(chù)理(lǐ)声(shēng)音(yīn)的(de)自(zì)然(rán)方(fāng)式(shì)，几(jǐ)乎(hu)是(shì)本(běn)能(néng)反(fǎn)应(yīng)。

但(dàn)声(shēng)音(yīn)有(yǒu)个(gè)致(zhì)命(mìng)弱(ruò)点(diǎn)：它(tā)是(shì)线(xiàn)性(xìng)的(de)，同(tóng)一(yī)时(shí)间(jiān)只(zhǐ)能(néng)传(chuán)递(dì)一(yī)条(tiáo)信(xìn)息(xi)。当(dāng)左(zuǒ)右(yòu)两(liǎng)边(biān)同(tóng)时(shí)有(yǒu)危(wēi)险(xiǎn)时(shí)怎(zěn)么(me)办(bàn)？这(zhè)时(shí)候(hou)就(jiù)需(xū)要(yào)触(chù)觉(jué)了(le)。

智(zhì)能(néng)手(shǒu)环(huán)会(huì)当(dāng)侧(cè)面(miàn)障(zhàng)碍(ài)物(wù)距(jù)离(lí)小(xiǎo)于(yú)设(shè)定(dìng)阈(yù)值(zhí)时(shí)，相(xiāng)应(yīng)一(yī)侧(cè)的(de)手(shǒu)环(huán)就(jiù)会(huì)振(zhèn)动(dòng)提(tí)醒(xǐng)。左(zuǒ)边(biān)有(yǒu)障(zhàng)碍(ài)，左(zuǒ)手(shǒu)环(huán)振(zhèn)动(dòng)；右(yòu)边(biān)有(yǒu)障(zhàng)碍(ài)，右(yòu)手(shǒu)环(huán)振(zhèn)动(dòng)。使(shǐ)用(yòng)者(zhě)可(kě)以(yǐ)根(gēn)据(jù)自(zì)己(jǐ)的(de)需(xū)求(qiú)设(shè)定(dìng)触(chù)发(fā)距(jù)离(lí)。于(yú)是(shì)。听(tīng)觉(jué)负(fù)责(zé)告(gào)诉(su)往(wǎng)哪(nǎ)走(zǒu)，触(chù)觉(jué)警(jǐng)告(gào)离(lí)障(zhàng)碍(ài)物(wù)有(yǒu)多(duō)近(jìn)；前(qián)方(fāng)信(xìn)息(xi)归(guī)听(tīng)觉(jué)管(guǎn)，两(liǎng)侧(cè)信(xìn)息(xi)归(guī)触(chù)觉(jué)管(guǎn)，两(liǎng)种(zhǒng)信(xìn)号(hào)互(hù)不(bù)干(gàn)扰(rǎo)。

但(dàn)只(zhǐ)有(yǒu)前(qián)方和两侧的检测还不够。视障人士的日常生活不只是行走，还包括大量的手部操作，拿起桌上的水杯、按电梯按钮、在超市货架上寻找商品。因此智能手环被赋予了双重身份。当手臂自然下垂时，手环朝向侧面，监测行走时的侧向威胁。而当抬起手臂伸向前方时，手环自动切换模式，变成精确的测距仪。它能告诉使用者手离目标还有多远，什么时候该张开手掌准备抓取。而且系统采用红外深度感知技术，即使在完全黑暗的环境中，系统的性能也丝毫不受影响。

随着AI的技术愈发发达，采用专用AI芯片替代通用处理器可以将功耗降低，仿生视觉传感器的应用也能够进一步提升检测精度，大规模生产会显著降低成本。从更广阔的视角看，这不仅是一项助盲技术。当AI能够实时理解环境并转化为多模态信号时，我们可以相信，它可以帮助更多人，例如老年人防跌倒、司机盲区预警、暗环境作业导航。

20名视障测试者给这套系统打出了79.6分的可用性评分，在5000个同类评测中排名前15%。但比分数更重要的，是他们重新获得的可能性。正如研究团队在论文结尾写道：“这项工作为用户友好的视觉辅助系统铺平了道路，为视障人士提高生活质量提供了新的途径。”

参考文献

Tang, J., Zhu, Y., Jiang, G. et al. Human-centred design and fabrication of a wearable multimodal visual assistance system. Nat Mach Intell 7, 627–638 (2025).