只需一枚摄像头和一对耳机
便能将画面转化成语言
描绘场景、提示风险
让视障者出行更安全、生活更便捷
日前
在复旦大学自然语言处理实验室
（FudanNLP）师生的努力下
基于多模态大模型“复旦·眸思”（MouSi）
为视障者量身打造的“听见世界”APP上线
将成为视障人士的生活助手与智能管家
科技普惠，AI为人
让我们一起走近“眸思”
看看它能为视障者的日常生活
带来哪些新的改变！
“复旦·眸思”（MouSi）官网链接：
http://www.mousi.org/
欢迎登录试用体验~
打破视觉界限，助力视障者“看见”世界
2023年上半年
由复旦自然语言处理实验室开发的MOSS
被称为中国版的GPT
仅用半年时间
多模态模型“眸思”问世
“眸思”与MOSS同音
但和基于文本的MOSS不同
它能够理解并识别图片内容
致力于成为视障者的一双“眸”
基于“眸思”的“听见世界”APP
为视障者日常生活需求量身打造
设计以下三种模式——
街道行走模式
“眸思”如一位忠实的向导
红绿灯、十字路口、障碍物……
它将细致扫描道路情况
提示潜在风险
陪伴视障者安全通行
“看不见”的漫漫长路
自由问答模式
“眸思”则是一位贴心的朋友
走进博物馆、艺术馆、公园……
捕捉四周景象的每个细节
用声音构建丰富的生活场景
传递每一处日常之美
寻物模式
“眸思”将成为一名可靠的管家
被移动的手杖、最爱口味的牛奶……
日常物件的寻觅过程
变得轻松无压力
邀请视障人士加入，研发贴合真实需求
我国盲人数量有1700多万
也就是说，每一百人中就有一位
但为什么在大多数人的认知里
我们极少在街上看到盲人？
这是因为，面对大量不安全因素
他们难以独自跨出家门
复旦大学自然语言实验室张奇教授说
“人工智能发展日新月异
科技应该要改变更多人的生活
希望‘眸思’能够帮助视障人士走出家门
让他们可以尝试更多工作
为人生书写更多可能”
项目落地背后
是一支年轻的团队和开放的氛围
从本科生到博士生共25名复旦学子
及桂韬等多位教师、专家的加入
才有了“眸思”接续“MOSS”的成功
张奇介绍，该项目的主导者
实际上都是“初出茅庐”的学生们
在组内头脑风暴会上
年轻学子总能提出开创性想法
能够找到另辟蹊径的解决办法
自9月以来，
复旦自然语言实验室
从原本基于GPT3.5的文本模型转向
围绕GPT4-v复现多模态大模型
对模型中的核心关键点开展研究
致力于提升单项任务的准确率
和大模型的强化学习
为了更好地感受视障者的难处
团队成员同样模拟真实情境
蒙眼探索视障者“黑暗”世界
并邀请视障人士加入
进一步摸清真实而具体的需求
在基于几亿张图片训练出的
“眸思”大模型基础上
针对视障者提出的各类需求
团队又用上万张图片进行特殊样本训练
使“眸思”具备能够适配更多场景的能力
加快升级测试，更多模式值得期待
今年上半年
团队将结合AR升级APP内的
定位精度细化至亚米级别
下半年
团队希望将“眸思”升级到
基于视频的判断
更多模式也正在开发中，比如
阅读模式
服务盲人朋友点菜、读书等场景
解说模式
承担无障碍电影解说员的工作
在政府的支持下
团队计划与NGO组织、智算中心
和硬件厂商等开展合作
致力于让视障者免费使用产品和相关服务
预计今年3月
“听见世界”APP将完成第一轮测试
在我国一、二线城市和地区同步开启试点
根据算力部署情况进行推广
组稿｜校融媒体中心
文字｜陈书灵
图片｜计算机科学技术学院
责编｜章佩林
编辑｜符梦苑