来自 EPFL 的新多模式模型可实现更灵活的人工智能

它可以从文本、图像、视频和声音中学习,并且由于模块化,可以产生任意数量或组合的预测

机器学习:来自 EPFL 的新多模态模型,可实现更灵活的人工智能
来自 EPFL 的新多模式模型可实现更灵活的人工智能(照片:Brian Penny/Pixabay)

无论我们谈论的是 OpenAI 还是 ChatGPT,绝大多数聊天机器人 生成式人工智能 都是基于所谓的 大型语言模型 (法学硕士),模型 深入学习 大规模训练通过通过大量文本学习信息来回答向他们提出的问题。

最后的边疆生成式人工智能 是 多式联运模型,它将语言理解与图像、视频和音频相结合,提供更先进的体验和服务。

然而,它们的创建提出了一些挑战,特别是如果目的是小规模地构建多模式模型: 存在缺失数据 由于信息不可用,几乎总是由于资源部分可用。

简而言之,风险在于模型在缺乏的基础上学习,并且计算和预测被扭曲。这就是洛桑联邦理工学院新项目的起点。

来自洛桑技术大学和苏黎世的绿色能源联盟
3D技术手套,让虚拟现实变得有形

机器学习
洛桑联邦理工学院校园(照片:Facebook/EFPL)

MultiModN,诞生于洛桑的模块化多式联运模型

研究人员 洛桑联邦理工学院 (EPFL),在工程和信息技术方面世界上最好的大学之一,事实上已经发展 多模式,最近在 NeurIPS2023 上提出的独特的模块化多模态模型。

洛桑联邦理工学院计算机科学与通信学院机器学习教育 (ML4ED) 和机器学习与优化 (MLO) 实验室的研究人员决定开发和测试与大型机器学习完全相反的方法,但要在较小的范围内进行思考。

由老师带领 玛丽·安妮·哈特利MLO与耶鲁大学医学院联合主办的全球智能健康技术实验室主任、教授 塔尼娅·凯瑟ML4ED 总监,该团队创建了一个多模态模型,可以从文本、图像、视频和声音中学习,但与现有模型不同的是,该模型由 数量可变的较小模块,自主且特定于输入。

后者可以基于可用信息进行选择,然后组合成任意数量、组合或类型的输入的序列。因此,它可以产生任意数量的预测或预测的组合。

我们评估了 MultiModN 十项真实活动,包括对医疗诊断、学业成绩预测和天气预报的支持,” 他解释道 维尼特拉·斯瓦米,ML4ED 和 MLO 的博士生,也是该项目的第一合著者。

“通过这些实验,我们相信 MultiModN 是第一个本质上可解释且防丢失数据的多模态建模方法“。

EPFL 的更强大量子计算机的“配方”
从人工智能到加密货币的决定性推动?

机器学习
洛桑联邦理工学院信息与传播科学学院(照片:Facebook/EPFL IC)

第一个用例:医务人员的临床决策

MultiModN 的第一个用例将作为支持系统 临床决策 适用于资源有限环境中的医务人员。

事实上,在医疗保健领域,临床数据经常缺失,这可能是由于资源有限(患者无法负担特定测试),或者相反,由于资源和信息丰富。 MultiModN 能够从现实世界的数据中学习,而不吸收其所谓的偏差,并根据任何输入组合或数量调整预测。

缺失数据是资源有限环境中的一个标志,当模型学习这些缺失模式时,它们可以在预测中编码错误。” 强调 玛丽·安妮·哈特利.

“面对不可预测的可用资源时对灵活性的需求正是 MultiModN 的灵感来源“。

在顶级事件中人工智能和机器学习对服务的影响
人工智能在数字艺术中影响力日益增强的所有原因

机器学习
分析实验室(照片:Michal Jarmoluk/Pixabay)

从实验室到现实生活:针对肺炎和结核病的试验正在进行中

然而,该出版物只是实施和现场测试的第一步。 Hartley 教授与洛桑大学医院 (CHUV) 和伯尔尼大学医院 Inselspital 的同事合作,进行了 临床研究 专注于在资源有限的环境中诊断肺炎和结核病,目前正在招募数千名患者 南基非洲, 坦桑尼亚, 纳米比亚 e 贝宁.

研究小组开展了广泛的培训活动,教授 超过100医生 系统地收集包括超声图像和视频在内的多模态数据,从而可以训练 MultiModN 对来自资源匮乏地区的真实数据敏感。

“我们正在收集 MultiModN 旨在处理的复杂多模式数据”,医生说 诺埃米·博亚-布兰科,CHUV 传染病专家。

“我们很高兴看到一个能够欣赏 缺失资源的复杂性 在我们的背景下,系统性地缺乏常规临床评估”,医生补充道 克里斯蒂娜·凯特尔 位于瑞士首都 Inselspital 的大学医院。

人工智能的安全性?布莱切利公园的声明至关重要
Axel Springer-OpenAI 轴为人工智能服务于新闻业

洛桑联邦理工学院的创新旨在通过提供专业医学知识来改善临床决策(照片:Irwan/Unsplash)

机器学习为公共利益服务

MultiModN 的开发和培训代表了 EPFL 继续努力使机器学习工具适应现实并服务于公众利益,并且是在 MultiModN 推出后不久进行的。 麦迪康,专为医疗领域设计的人工智能模型。

Meditron 也属于大型语言模型 (LLM) 的范畴,但与服务于广泛任务的通才模型不同,它专注于 医疗领域,并且尺寸更紧凑,但同样有效。

Meditron 的目标是 实现医疗信息获取的民主化 高质量,从而帮助临床决策。

EPFL 研究人员开发了两个版本,分别拥有 7 亿和 70 亿个参数,模型在精选的高质量医学数据源上进行训练,包括同行评审的科学文献和各种临床指南,确保了广泛而准确的知识库。

因此,2023 年 XNUMX 月推出的 Meditron 和 MultiModN 都符合 EPFL 新人工智能中心的使​​命,该中心专注于负责任和有效的人工智能如何促进技术创新,造福社会各阶层。

革命性传感器可节省数百万节电池
AI:即将爆发的战争不会像我们想象的那样……

机器学习:来自 EPFL 的新多模态模型,可实现更灵活的人工智能
洛桑联邦理工学院标志的洛桑联邦理工学院校园外观(照片:Facebook/EFPL IC)