您好,欢迎来到一起上网站目录!
当前位置:一起上网站目录 » 站长资讯 » 行业新闻 » 文章详细 订阅RssFeed

摩尔线程开源 vLLM-MUSA,通过 MUSA 软件栈对 CUDA 接口兼容

来源:IT之家 浏览:21次 时间:2024-11-05
感谢IT之家网友 菜鸟N号、C si not 的线索投递!

IT之家 11 月 5 日消息,摩尔线程官方今日发文,称已上线了大语言模型高速推理框架开源项目 vLLM 的 MUSA 移植版本,为开发者提供一个基于摩尔线程全功能 GPU 进行开源项目 MUSA 移植的范例。

vLLM 是一个高效且易用的大模型推理和服务框架,已在各种大语言模型中得到广泛应用,并成为业界常用的开源大模型推理框架。

摩尔线程团队基于 vLLM v0.4.2 版本进行了移植适配,为 vLLM 框架添加了摩尔线程 GPU 后端 Device 支持,并将移植适配后的 vLLM-MUSA 版本开源

开发者可以基于摩尔线程 GPU 及 vLLM-MUSA,进行二次开发、升级 vLLM 到社区更新版本等。

摩尔线程称通过 MUSA 软件栈对 CUDA 软件栈接口兼容,大幅提升了应用移植的效率,缩短了开发周期。并提供 MUSIFY 自动代码移植工具等一系列工具和脚本,降低开发者在 MUSA 平台进行大语言模型训练和推理应用适配的难度。

IT之家附 vLLM-MUSA 开源地址:https://github.com/MooreThreads/vLLM_musa

推荐站点

  • 0502站长工具网0502站长工具网

    0502站长工具网为您提供json格式化,json代码压缩,json校验解析,json数组解析,json转xml,xml转json,json解析,json在线解析,json在线解析及格式化,unix时间戳转换,CSS美化压缩,json美化,json格式化输出,json数组,json实体类,json视图等

    www.0502.net
  • 24gym24gym

    24gym是国内领先的健身房智能化整体解决方案提供商,致力于研发健身领域的软硬件产品,打造24小时健身房,颠覆传统健身房,创建10分钟健身圈,欢迎意向投资健身房、智能健身房加盟的人士与我们联系,将为你提供健身房经营更优解决方案。

    www.24gym.cn
  • 堆糖堆糖

    堆糖,美图壁纸兴趣社区。收录几十亿高清优质图片,数千万用户的珍藏分享,一键收藏下载美图,点亮生活无限灵感,做你的美好研究所:拥有高清壁纸、情侣头像、明星爱豆、影视动漫、情感文字、表情包、绘画手帐、P图教程、美妆穿搭、歌词台词、可爱萌宠等多种图片分类。你想要的风景壁纸、聊天背景、朋友圈背景、动漫头像都可以在这里找到。

    www.duitang.com
  • 图片之家图片之家

    图片之家_是以摄影图片大全为主国内综合性图片的网站,致力于打造各类好看的图片,包括奇闻异事图片,装修效果图,搞笑图片,搞笑动态图片,美女图片,美女人体艺术,发型图片,创意家居,创意广告设计,桌面壁纸,摄影作品等精选图片大全等你来挖掘。

    www.tupianzj.com
  • 煎蛋煎蛋

    煎蛋以译介方式传播网络新鲜资讯

    jandan.net