服务粉丝

我们一直在努力
当前位置:首页 > 科技 >

【创新在大工】计算机学院信息检索研究室研发“太一”生物医学大模型

日期: 来源:大连理工大学收集编辑:大连理工大学

 

随着ChatGPT的诞生和深度学习技术的迅速发展,基于大模型的人工智能系统在自然语言处理领域取得了显著的进展。面向生物医学领域,大语言模型在提升医生与患者之间的沟通、提供有用的医学信息、辅助诊疗、生物医学知识发现、个性化医疗方案等方面潜力巨大。然而,在人工智能社区,现有开源生物医学大模型相对较少,且大多仅专注于单语(中文或英语)的医疗问答对话任务。

近日,计算机学院信息检索研究室(DUTIR)罗凌、杨志豪、王健、林鸿飞老师及其团队在生物医学大模型领域的研究取得进展,研发了中英双语生物医学大模型——太一(Taiyi),旨在探索大模型在生物医学领域中双语自然语言处理多任务的能力。团队开源了中英双语数据集整理信息、“太一”大模型权重、模型推理使用脚本,并搭建了Demo开放测试,具体信息见项目地址:https://github.com/DUTIR-BioNLP/Taiyi-LLM。

“太一”大模型整体框架图

“太一”大模型通过问答对话形式与用户进行交互,可进行病情咨询、疾病预防、药物咨询、信息抽取等多种丰富生物医学主题相关任务,有助于更有效地管理生物医学信息,提高医疗决策的质量,提升生物医学教育的效果等,为智慧医疗领域带来了很多的可能性。“太一”大模型具有三大特点:丰富的生物医学训练资源,团队收集整理了丰富的中英双语生物医学自然语言处理(BioNLP)训练语料,其中包含38个中文数据集,102个英文数据集,覆盖十余种生物医学任务。出色的中英双语多任务能力,通过丰富的中英双语任务指令数据(超过100W条样本)进行微调,使模型具备较出色的双语生物医学智能问答、医学对话、报告生成、信息抽取、机器翻译、标题生成、文本分类等多种BioNLP能力。优秀的泛化能力,除生物医学领域外,模型仍具备通用领域对话能力,并通过设计指令模板的多样性,使模型具备了较优秀的指令理解能力,在同类任务的不同场景下具有较好的泛化能力,并激发了模型一定的零样本学习能力。

部分样例展示

智能问答和对话能力

信息抽取能力

机器翻译能力

与现存的生物医学领域大模型侧重于单语医疗问答对话任务不同,“太一”不仅在双语对话问答方面表现出色,还利用丰富的高质量人工标注生物医学数据集进行指令微调,挖掘了大模型在生物医学领域的多任务潜力。这使得“太一”在处理现实生物医学复杂场景任务时更有通用性,并为智慧医疗领域的发展带来了更多可能性。

尽管“太一”在多项BioNLP任务上展示了优良的性能,但一些复杂任务(如医疗报告生成、事件抽取等)效果还有很大提升空间。此外,目前“太一”大模型仍存在大模型的一些常见缺点,例如误解、幻觉、信息有限性、偏见、多轮长对话能力较不稳定、话题转换能力弱等。在未来的工作中,团队也将在增量预训练、强化学习性能增强、可解释性、安全性等方面进一步深入研究,以提升“太一”的能力。

内容来源:大连理工大学新闻网

排版编辑:常思萌 王一婷 王晴萱

审核校对:农雅兰 刘梁宇

相关阅读

  • 增发1万亿元国债,释放什么信号?

  •   1万亿元国债来了!  为何要在此时宣布增发1万亿元国债?增发的国债用于何处?释放了什么信号?  增发1万亿国债 今明两年安排使用  10月24日,十四届全国人大常委会第六次会
  • 我国增发1万亿元国债有何深意

  • 10月24日,十四届全国人大常委会第六次会议表决通过了全国人民代表大会常务委员会关于批准国务院增发国债和2023年中央预算调整方案的决议,明确中央财政将在今年四季度增发2023
  • “上市许可人制度”大调整,影响到这三类药品

  • 上市许可持有人(MAH)委托生产新规终于尘埃落定。10月23日,国家药监局印发《关于加强药品上市许可持有人委托生产监督管理工作的公告(2023年第132号)》,此前的种种猜测有了准确答案
  • 湖北宜昌:消防培训不停歇 40名民宿管家学防火

  • 为切实普及辖区民宿行业消防安全知识,提高民宿管理者和从业者的自防自救能力,进一步改善辖区民宿旅游行业消防安全环境。10月23日,湖北省宜昌市远安县消防救援大队组织全县40余
  • 我们的下一个算法将超越ChatGPT

  • 编者按:2014 年,DeepMind 被谷歌收购。2016年,其开发的 AlphaGo 击败围棋冠军李世石,震惊 AI 界;2023 年,DeepMind 和 Google Brain 合并为 Google DeepMind,并且正在开发一个新的
  • 《高考关键能力培养与训练》序言

  • 前言近年来,中共中央办公厅、国务院办公厅印发的《关于深化教育体制机制改革的意见》中提出,要注重培养支撑学生终身发展、适应时代要求的关键能力,并将关键能力的内涵进一

热门文章

  • 解码“新IT”的5个特征和3大价值

  • 党的二十大报告提出,要加快发展数字经济,促进数字经济和实体经济深度融合,打造具有国际竞争力的数字产业集群。在数字经济与实体经济深度融合的产业浪潮中,以智能设备、边缘计算
  • OPPO k1的低价高配真实么?网友:不看不知道

  • 近日OPPO一款新机OPPO k1,摒弃了高价低配,就连自家老大哥r17都要怼一下。更是放弃了请代言人,以往的OPPO手机还没出来,各路流量小生,花样美男的代言就先来了。还有线下销售人员的
  • 一招教你手机无限制成为一台新设备

  • 大家平时用手机去注册app,肯定会遇到检测设备异常,交易关闭,等问题 这个都是手机已经不止1-2次注册过此app,不断更换手机仅是一个暂时的方法,却不是长久之计,手机总归会用完
  • 从零开始如何开网店

  • 随着互联网的高速发展,人们的生活发生了翻天覆地的变化,生活节奏越来越快,网购已经成为家家户户生活中离不开的一种购物方式了。网购的发展使得越来越多的人想要涉足电商事业,那

最新文章

  • 乌市今年已在135处公共停车场建成951个充电设施

  • 乌市水磨沟区南湖明珠地面停车场已建成的充电设施。石榴云/新疆日报记者魏红萍 摄  石榴云/新疆日报讯(记者魏红萍 报道)10月26日,记者从乌鲁木齐市城市管理局(行政执法局)了解
  • 日本5人意外接触核污染水!其中2人……

  • 10月25日,南都记者从东京电力公司(下称“东电”)召开的发布会获悉,当地时间11时左右,5名工作人员在处理福岛第一核电站核污染水放射性物质的过程中,接触到了含放射性物质的核污染