“智视行者”：融合AIoT 与多模态感知的盲人智能出行辅助系统研究

一、研究目的

根据中国残联数据统计，截至 2022 年，我国有超过 1700 万盲人，其中完全失明的人数达到 800 万，位居全球首位。上海浦东新区盲人协会的调查结果显示，有超过 50% 的盲人无法独自出行，他们当中为全盲的占比接近 100% 。

根据本研究组对视频、文献资料的查阅，在全盲群体出行困难的情况下，社会对盲人提供的帮助十分有限。作为最主要、普及度最高的助盲设施——盲道，经常因非机动车占用、拆除、错误安装等问题，不仅影响盲人正常使用，有时甚至误导盲人，致使盲人受伤。

外界帮助条件不友好，独自出行的全盲人群往往依赖导盲犬或盲杖来辅助自己的行动。前者价格昂贵，不适于大部分盲人。而传统盲杖功能极其单一 ， 除了作为手臂的延展增加触摸范围，几乎别无他用，即便是智能盲杖，目前市场上的产品也只停留在定位、短距离无差别预警、语音提示等功能上。面对年龄、学习能力、身体条件等差异化显著的视障群体来说，一根盲杖势单力薄，不足以为他们的出行提供相对周全的保障。

独自出行遇阻，间接地降低了盲人的出行频率，久而久之，将加剧盲人的避世心理，造成盲人与社会的疏离。如果每次出门，都需专人陪护，又会为社区的工作带来一定量的负担，以及资源的浪费。而对于初全盲人群来说，独自出行更是一项不可能完成的任务，根据本研究组对盲人定向行走训练师职业的研究，若想通过盲行训练来让他们具备独自出行的能力，必然经历一段费时费力的周期，即使完成训练，也未必能保证每次出行的安全性。

因此，本研究组的主要目标是基于 AIoT，即“人工智能（AI） + 物联网（IoT）”技术研究设计一套包括具有耳机、墨镜、体征体态监测马甲、盲杖在内的，可满足盲人独自出行场景下不同需求的辅助套装，让全盲群体实现独自出行自由[1]。

二、研究内容

本项目旨在为不同条件的全盲人群提供个性化的出行辅助，以帮助他们应对独自出行过程中的不同挑战。研究内容主要分为三部分：典型客户群体画像、套装功能设计和技术实现。

（一）典型客户群体画像

本项目计划参考有关文献资料，明确全盲人群独自出行过程中的普遍痛点，并以此作为切入点，倒推客户群体，为典型客户群体画像，以此为下一步的功能设计提供设计方向。本项目还计划对 5-10 位盲人进行焦点访谈，了解全盲群体中更加个性化的需求，结合典型客户信息，对客户画像做进一步的完善。

（二）套装功能设计

这一部分会基于前一部分客户画像的结果，为全盲人群提供针对性的功能设计，以下是本研究组预计划的功能设计：

（1）个性化地图标记与多感官导航定位：结合现有地图 app 导航定位功能，接入语言大模型。通过耳机上的微型麦克风收集用户指令，将用户自然语言描述的地点在地图和导航系统中对应标记，并在导航过程中使用，例如“向前100 米到达水果店边的路灯杆，然后左转”；发挥物联网技术优势，让多感官参与导航，导航信息会在耳机和盲杖上反馈给使用者，让听觉与触觉共同参与信息获取，提高导航准确性[2]。

（2）障碍物、地形识别及近距离缓速物体移动预判：采用先进的人工智能识别技术，识别盲人行进路线上的障碍物，以及斑马线前、转角、楼梯间、坡道等地形场景，将通行信息通过语音的方式在耳机中实时反馈给使用者。另一方面，识别并分析使用者周围物体的缓速运动趋势，通过语音的方式反馈给使用者最佳的前进或避让方向，以保障使用者的出行安全。

（3）人脸识别：在位于墨镜处的摄像头识别到驻足聊天场景后，采用人脸识别技术，对初次出现的人脸自动记录，并询问使用者给予备注，以便在之后的使用中提前用语音告知使用者，达到“未闻其声先见其人”的智视效果；在检测到与陌生人交流时提醒使用者保护自身安全。

（4）全天候体态、体征监测：装备在监测马甲上的贴身传感器对使用者进行全天的体态分析和体征数据检测。这一功能能够在收集使用者血压、心率等体征数据的基础上，实现对使用者行走姿态、平衡状态的实时分析，对于偏向的行走可以迅速给予修正反馈，例如偏左30^∘ 时，传感器会将左偏信号发送至盲杖，在握持部分的左侧振动以提示使用者；在长期的监测中，通过大模型的数据比对分析，能够对使用者的行走特征、习惯作出完善的识别。若使用者在某一天出现步态反常变化，能够结合体征数据与数据库信息，实现对摔倒的精准预警。

（5）盲行训练：由使用者语音指令开启。对路程始末过程全记录，由经过盲人定向行走训练师样本数据预训练的 AI 自动计算最适使用者的行走路线，并实时提供可参照物。期间提高体态监测采样频率，对于使用者偏向的行走给予快速准确的纠正，让使用者在无人陪伴的情况下，实现全监护的盲行训练[3]。

（6）外界交互：通过LED 墨镜显示、内置语音提示等方式，向外界传递信息，帮助盲人在无法发声情况下或根据自身需求更方便地与周围行人互动。

三、创新点与项目特色

（一）考量视觉障碍者心理，简洁化的使用设计

为了更好地满足使用者的需求，本项目将深入运用视觉障碍者的情感化理论，全面考虑他们在心理、心态等方面的多样性因素。本项目研究认为，使用者的生活远远不止于简单的完成日常任务，还涵盖了情感、社交以及心理层面的重要需求。因此，“智视行者”套装将提供多方面的功能，以满足不同心理状态和需求的个性化要求。

操作繁琐程度决定了使用者对助盲产品的青睐程度，因此本研究组将采用以人为本的思想来设计和提供视觉辅助服务。而借助于目前发展日渐成熟的 AI 对话模型，很多功能的开启与关闭不必依赖于繁琐的按键、手势操作，使用者只需在使用前告知 AI 即可；在 prompt方面，本研究组也对指令进行了简洁化处理。这不仅仅关注于解决实际的视觉障碍问题，更致力于为他们提供一个具有温暖、体贴和关爱的服务体验。

（二）结合AIoT 人工智能物联网

本项目的另一个独特之处在于，它融合了人工智能和物联网技术，以保证数据的准确采集、传输，经过精密的分析后再反馈给使用者。这种全方位的技术综合应用使得“智视行者”套装成为一个智能化的整体解决方案。各个设备在套装中相互协作，通过物联网技术实时共享信息，从而使整个套装形成一个高度互联的生态系统。这不仅使得设备之间的配合更为默契，也使得整套系统的响应速度得到了极大的提升。

而人工智能技术的应用也是本项目的一大特色。通过对采集到的数据进行深入分析，“智视行者”能够为用户提供高度个性化的反馈和支持，从而更好地满足他们的需求。这种个性化的服务意味着“智视行者”能够为每位用户提供最贴心、最有效的帮助，从而真正地实现“量身定制”。这种结合 AIoT 技术的方法使得整套系统在使用上更加高效、智能，用户可以得到最为优质的服务体验。

（三）套装化

套装化设计是本项目的一大创新亮点。传统上，可能会看到一些零散的视觉辅助产品，但是本项目采用了一种全新的思路——将多个相互配合的设备和应用程序集成在一个综合性套装中，从而形成一个更为完整和高效的解决方案。这样的设计能够以更加精确和全面的方式来满足不同视觉障碍者的个性化需求。无论是针对程度不同的视觉障碍，还是针对日常生活中不同场景的需求，“智视行者”都能提供相应的支持和帮助。通过整合多种功能和工具，套装可以为用户提供更加便捷和高效的解决方案，从而显著提升他们的出行安全性、便利性。

这种套装化设计不仅仅是简单地将多个产品放在一起，而是经过深入的研究和设计，确保各个组件能够完美地相互配合，以实现最佳的整体效果。这种综合性的解决方案将为视觉障碍者提供一个更加全面、便利和高效的使用体验，从而增强他们的生活独立性和自主性。

四、技术路线

“智视行者”所采用的AIoT 技术从下至上分为：感知层、传输层、处理层、应用层。

（一）感知层

该层共分为四个模块，语音交互模块、导航定位模块、对外探测模块与体征体态监测模块。语音交互模块中使用耳机所带麦克风进行语音信息的收集；导航定位模块独立获取定位信息；对外探测模块，考虑到识别正确率直接关系到使用者的出行安全，同时也是“套装化”创新思想的体现，“智视行者”采用多视角图像采集方法对识别物体信息进行互补。

体征体态监测模块装载于使用者的贴身衣物上，“智视行者”充分考虑使用者心理需求，采用三明治结构 AgNFs/MWNTs 柔性应变传感器。MWNTs 充当了桥梁连接着每一个 AgNF 来确保传感层的通路，附着在 AgNFs 表面上的 MWNTs 起到了很好的连接作用，在微小应变状态下， AgNFs 之间出现微小的分离导致传感层电阻将发生显著的变化，这导致基于 AgNFs/ MWNTs 的应变传感器在微小应变下可以保持较高的灵敏度。在较大的应变下，AgNFs 将彼此完全分离。因此，作为一款柔性、吸附式的传感器，AgNFs/MWNTs 传感器能在不影响衣物穿着舒适度和适应人体正常活动的前提下，完成对使用者体征体态方面的全天候监测目标。

（二）传输层

传输层计划采用 PLC-IoT 网络模型。PLC-IoT 模型能够将需要传输的 IoT 终端数据调制成高频信号在电力线上传输，相较于其他电力线通信技术，解决了电力线路信号干扰、衰减问题。在盲人日常生活场景中，低成本的 PLC-IoT 不仅可以实时稳定地接收感知层多设备信息采集带来的长期大量的数据传输，而且能够在一般通信协议传输信号较差的场景，如地下室、高楼之间的窄巷中保证数据的传输质量，为使用者提供“隐形的保护”。

（三）处理层

处理层采用“边”“云”结合的计算方法。如果把处理层比作人体的神经系统，那么边缘计算就是脊髓，靠近客户，对某些事务作出快速决策；云计算就是大脑，对复杂事务进行分析处理后再作出决策。

“智视行者”的边缘计算目标是对感知层获取的图像迅速处理，将使用者目前面临的场景处理为例如此时可过斑马线、即将到达转角地形、需靠右避障等反馈信息，以语音形式第一时间告知使用者，从而实现障碍物、地形识别及近距离物体移动预判功能，以及接收使用者跌倒特征，处理为对外求助信号与紧急呼叫联系人。而人脸识别功能则需要边缘计算和云计算的搭配实现，边缘计算实现对记录熟人的快速识别，云计算实现对人脸信息的计次与储存。

“智视行者”的云计算技术处理对象是感知层获取的使用者全天候的体征、体态数据。由服务商提供 AI 即服务（AIaaS）的云平台 ， 使用户数据可以由云端的大模型进行处理，经过数据清洗、预处理、分析、可视化等一系列操作后，将使用者的健康信息、跌倒预测等信息直观的用图表方式描绘出来，上传人体健康监控系统，并按使用者需求提供周期性的报告，针对潜在的风险给予预防方案[4]。

（四）应用层

应用层是整个“智视行者”系统的最上层，直接面向使用者和使用者家人。主要通过移动设备，如智能手机和平板电脑，提供用户友好的界面，以便实现对处理层决策结果的体现和用户互动。“智视行者”应用层在用户界面设计上考虑到视障人士的需求，采用简洁明了的设计，支持自然语言处理技术，使用户和系统之间能够进行更自然、智能的交流。

除了使用者界面，家人或监护人也可通过移动设备访问，获取使用者的实时信息和健康状况。监护界面主要功能包括：实时位置共享，家人可以查看使用者的实时位置和行进路径，以确保其安全；健康报告，提供定期的健康报告，摔倒预测等信息，帮助家人更好地关注使用者的身体状况；紧急事件通知，在出现紧急事件时，即时通知家人，以便他们采取必要的行动。

参考文献：

[1] 曹凯华. 基于 LoRa 技术的物联网通信协议研究与设计[D]. 江西理工大学，2024.

[2] 周珈旭. “人工智能 + 物联网”在路侧停车管理中的运用研究[D]. 西南大学，2022.

[3] 顾 素 梅 ， 王 鑫 ， 李 雨 桐 . 感 官 代 偿 在 盲 人 产 品 设 计 中 的 应 用 研 究 [J]. 设计 ，2023，36（11）：76-79.

[4] 关井润 . 用于人体运动检测的柔性可穿戴传感器研制及其智能检测系统构建 [D]. 中国石油大学 （ 华东 ），2024.

本文受大学生创新创业训练计划资助项目编号：202511047042