您好,欢迎来到一起上网站目录!
当前位置:一起上网站目录 » 站长资讯 » 行业新闻 » 文章详细 订阅RssFeed

Mistral、AI2 发布新的开源 LLMs:更小,更便宜

来源:站长之家 浏览:39次 时间:2025-01-31

站长之家(ChinaZ.com) 1月31日消息:Mistral AI 和 Allen 人工智能研究所今天发布了新的大型语言模型(LLM),它们声称这些模型在各自类别中属于最先进的。

Mistral 的模型被称为 Mistral Small 3,而 Allen 人工智能研究所(通常简称 Ai2)发布的则是 Tülu 3 405B。这两款模型都可以在开源许可下使用。

Mistral Small 3 包含 240 亿个参数,远少于市场上最先进的 LLM,这使得它在启用量化后足够小,可以在某些 MacBook 上运行。量化是一种调整模型的技术,旨在在降低硬件资源需求的同时,减少一些输出质量的损失。

在一次内部评估中,Mistral 将 Mistral Small 3 与 Meta Platforms Inc. 发布的开源 LLM Llama 3.3 70B Instruct 进行了对比,后者的参数量是前者的三倍多。Mistral Small 3 提供了与 Llama 3.3 70B 类似的输出质量,但响应速度显著更快。在另一项测试中,这款新模型比 OpenAI 的 GPT-4o mini 提供了更高的输出质量和更低的延迟。

开发人员通常通过创建一个基础模型来构建 LLM,然后使用多种不同的训练方法来细化其输出质量。在构建 Mistral Small 3 时,该公司开发了基础模型,但跳过了后续的细化过程。这使得用户可以根据项目需求自行微调 Mistral Small 3。

该公司预计开发人员将会把这款 LLM 应用于各种任务,特别是在需要低延迟执行外部应用程序任务的 AI 自动化工具中。该公司表示,其一些客户还在机器人技术、金融服务和制造业等行业特定用例中使用 Mistral Small 3。

「Mistral Small 3 是一款预训练和指令式模型,专为应对『80%』的生成式 AI 任务而设计——这些任务需要强大的语言能力和指令跟随性能,并且延迟非常低,」Mistral 的研究人员在博客中写道。

今天 Mistral Small 3 的发布恰逢 Ai2(一个非营利的 AI 研究机构)发布新的 LLM。Tülu 3 405B 是 Meta 去年 6 月发布的开源 Llama 3.1 405B 模型的定制版。在 Ai2 的测试中,Tülu 3 405B 在多个基准测试中超过了原始的 Llama 模型。

该研究小组使用一种它们在 11 月首次详细说明的开发流程创建了这个 LLM。该工作流结合了多种 LLM 训练方法,其中包括 Ai2 自家发明的一种方法。

该工作流的第一步是监督微调。这是一种训练方法,通过向 LLM 提供示例提示和相应的答案,帮助它学习如何响应用户查询。接下来,Ai2 使用了另一种名为 DPO 的训练技术,将 Tülu 3 405B 的输出与一组用户偏好进行对齐。

Ai2 还使用一种名为 RLVR 的内部开发的训练方法进一步优化了模型的能力。RLVR 是强化学习的一种变体,强化学习是广泛应用的 AI 训练技术。Ai2 表示,RLVR 可以使 AI 模型在解决数学问题等任务中表现得更好。

Tülu 3 405B 代表了「完全开放的后训练方法首次应用于最大开放权重模型」,Ai2 的研究人员在博客中写道。「通过这一发布,我们展示了我们在 405B 参数规模上应用后训练方法的可扩展性和有效性。」

推荐站点

  • 0502站长工具网0502站长工具网

    0502站长工具网为您提供json格式化,json代码压缩,json校验解析,json数组解析,json转xml,xml转json,json解析,json在线解析,json在线解析及格式化,unix时间戳转换,CSS美化压缩,json美化,json格式化输出,json数组,json实体类,json视图等

    www.0502.net
  • 24gym24gym

    24gym是国内领先的健身房智能化整体解决方案提供商,致力于研发健身领域的软硬件产品,打造24小时健身房,颠覆传统健身房,创建10分钟健身圈,欢迎意向投资健身房、智能健身房加盟的人士与我们联系,将为你提供健身房经营更优解决方案。

    www.24gym.cn
  • 堆糖堆糖

    堆糖,美图壁纸兴趣社区。收录几十亿高清优质图片,数千万用户的珍藏分享,一键收藏下载美图,点亮生活无限灵感,做你的美好研究所:拥有高清壁纸、情侣头像、明星爱豆、影视动漫、情感文字、表情包、绘画手帐、P图教程、美妆穿搭、歌词台词、可爱萌宠等多种图片分类。你想要的风景壁纸、聊天背景、朋友圈背景、动漫头像都可以在这里找到。

    www.duitang.com
  • 图片之家图片之家

    图片之家_是以摄影图片大全为主国内综合性图片的网站,致力于打造各类好看的图片,包括奇闻异事图片,装修效果图,搞笑图片,搞笑动态图片,美女图片,美女人体艺术,发型图片,创意家居,创意广告设计,桌面壁纸,摄影作品等精选图片大全等你来挖掘。

    www.tupianzj.com
  • 煎蛋煎蛋

    煎蛋以译介方式传播网络新鲜资讯

    jandan.net