开源多模态大模型黑马Molmo Al来袭！部分能力超越GPT-4o和Claude 3.5

9月10日，上汽大众帕萨特380TSI家族正式上市，共推出5款车型，新车售价区间为17.69万-23.99万元，其中帕萨特2025款出众款限时一口价15.99万-17.99万元，帕萨特Pro限时一口价18.99万-22.39万元。仅隔三日，帕萨特Pro车型在长沙开启媒体品鉴，看帕萨特进化成果。作为帕萨特家族的全新成员，同样也是全新换代而来的帕萨特Pro，...

（来源：MIT TR）

非营利研究机构艾伦人工智能研究所（简称 Ai2）正在推出名为“Molmo”的开源多模态语言模型，据称该模型的性能可与 OpenAI、Google 和 Anthropic 的专有模型相媲美。

该组织声称，其最大的 Molmo 模型拥有 720 亿个参数，在测量理解图像、图表和文档等内容的中，其性能优于 OpenAI 的 GPT-4o（GPT-4o 拥有超过一万亿个参数）。

与此同时，Ai2 表示，一个较小的 Molmo 模型（拥有 70 亿个参数），其性能接近 OpenAI 最先进的模型，这一成就主要归功于更的数据收集和训练方法。

Ai2 首席执行官 Ali Farhadi 表示，Molmo 表明，开源人工智能开发与封闭的专有模型不相上下。开源模型具有显著的优势，因为它们的开放性意味着其他人可以在其上构建应用程序。Molmo 演示可点击链接查看（https://molmo.allenai.org/），开发人员也可以在 Hugging Face 网站上对其进行修改。（最强大的 Molmo 模型的某些元素仍被屏蔽。）

其他大型多模态语言模型是在包含从互联网上获取的数十亿图像和文本样本的庞大数据集上进行训练的，并且它们可以包含数万亿个参数。Ai2 的高级研究主管 Ani Kembhavi 表示，这个过程给训练数据带来了很多噪音，并随之产生了幻觉。相比之下，Ai2 的 Molmo 模型是在一个更小、更“精心策划”的数据集上进行训练的，该数据集仅包含 60 万张图像，并且具有 10 亿到 720 亿个参数。Kembhavi 表示，这种对高质量数据的关注，而不是不加区别地抓取数据，用更少的资源实现了更好的性能。

Ai2 通过让人类注释者在多页文本上以极其详细的方式描述模型训练数据集中的图像来实现这一目标。他们要求注释者谈论他们所看到的内容，而不是打字。然后，他们使用人工智能技术将语音转换为数据，这使得训练过程更快，同时降低了算力需求。

如果我们想要有效地管理用于人工智能开发的数据，这些技术可能会有用。Hugging Face 的机器学习和社会负责人 Yacine Jernite 表示，他没有参与这项研究。

斯坦福大学基础模型研究中心主任 Percy Liang 也没有参与这项研究，他说：“一般来说，用更高质量的数据进行训练可以降低计算成本，这是有道理的。”

另一个令人印象深刻的能力是，该模型可以“指向”图像相关部分，这意味着它可以通过识别回答查询的像素来分析图像的元素。

在与《麻省理工科技评论》分享的演示中，Ai2 研究人员在西雅图的办公室外拍了一张照片，并要求模型识别图像中的各种元素，例如躺椅。该模型成功地描述了图像中包含的内容，计算了躺椅的数量，并按照研究人员的要求准确地指出了图像中的其他事物。然而，它也并不完美。比如它无法找到特定的停车场。