助视障者“听见”“看见”世界

本报讯 （记者 张炯强）只需一枚摄像头和一对耳机，便能将画面转化成语言，描绘场景、提示风险，让视障者出行更安全、生活更便捷。日前，在复旦大学自然语言处理实验室师生的努力下，基于多模态大模型“复旦·眸思”（MouSi）为视障者量身打造的“听见世界”App上线，将成为视障人士的生活助手与智能管家。

去年上半年，由复旦自然语言处理实验室开发的MOSS，被称为中国版GPT。仅用半年时间，多模态模型“眸思”问世。“眸思”与MOSS同音，但和基于文本的MOSS不同，它能够理解并识别图片内容，致力于成为视障者的一双“眸”。

基于“眸思”的“听见世界”App，为视障者日常生活需求量身打造，设计了三种模式。

街道行走模式：“眸思”如一位忠实的向导，红绿灯、十字路口、障碍物……皆一“目”了然。它将细致扫描道路情况，提示潜在风险，陪伴视障者安全通行“看不见”的漫漫长路。

自由问答模式：“眸思”是一位贴心的朋友，走进博物馆、艺术馆、公园……它捕捉四周景象的每个细节，用声音构建丰富的生活场景，传递每一处日常之美。

寻物模式：“眸思”将成为一名可靠的管家，它会找到被移动的手杖、最爱口味的牛奶……日常物件的寻觅过程，变得轻松无压力。

我国盲人数量有1700多万，每一百人中就有一位，他们往往难以独自跨出家门。复旦大学自然语言实验室张奇教授说：“人工智能发展日新月异，科技应该要改变更多人的生活。希望‘眸思’能够帮助视障人士走出家门，为人生书写更多可能。”为更好感受视障者的难处，复旦研究团队成员模拟真实情境，蒙眼探索视障者“黑暗”世界，并邀请视障人士加入进一步摸清真实而具体的需求。在基于几亿张图片训练出的“眸思”大模型基础上，针对视障者提出的各类需求，团队又用上万张图片进行特殊样本训练，使“眸思”具备能够适配更多场景的能力。

今年下半年，团队希望将“眸思”升级到基于视频的判断，让盲人朋友“看见”世界。更多模式也正在开发中，如，阅读模式：服务盲人朋友点菜、读书等场景；解说模式：承担无障碍电影解说员的工作。

在政府的支持下，团队计划与NGO组织、智算中心和硬件厂商等开展合作，以期让视障者免费使用产品和相关服务。