加速替代CUDA!摩尔线程开源vLLM
11月5日消息,加速近日,替代摩尔线程上线了大语言模型高速推理框架开源项目vLLM的线程MUSA移植版本,为开发者提供基于摩尔线程全功能GPU进行开源项目MUSA移植的开源范例。
摩尔线程表示,加速正努力围绕自主研发的替代统一系统架构GPU、MUSA软件平台,线程构建完善好用的开源MUSA应用生态。
vLLM是加速一个高效且易用的大模型推理和服务框架,支持创新的替代PagedAttention内存管理、连续批处理请求、线程CUDA/HIP图的开源快速模型执行、CUDA核心优化、加速分布式推理支持等,替代可显著提高大语言模型(LLM)的线程推理性能。
目前,vLLM已在各种大语言模型中得到广泛应用,成为业界常用的开源大模型推理框架。
摩尔线程基于vLLM v0.4.2版本,进行了移植适配,使之支持摩尔线程GPU后端Device,并完全开源,开发者可以二次开发、升级vLLM到社区更新版本等。
值得一提的是,得益于摩尔线程MUSA架构的先进性、软件栈对CUDA的优良兼容性,通过MUSIFY代码自动转换工具,用户可以快捷地将原有的CUDA代码迁移到MUSA平台,实现替代。
同时,CUDA相关库的调用,也可以快速替换为相应的MUSA加速库,如算子库muDNN、集合通信库MCCL、线性代数库muBLAS等。
摩尔线程通过MUSA软件栈对CUDA软件栈接口兼容,大幅提升了应用移植的效率,缩短了开发周期,还提供MUSIFY自动代码移植工具等一系列实用工具和脚本。
摩尔线程vLLM-MUSA开源地址:
https://github.com/MooreThreads/vLLM_musa
- ·有兄弟知道zcg那个lulu打啥位置的吗?
- ·阿森纳亏大了!放走他成最差决定,32岁弃将带队9场不败闪耀欧洲
- ·头槌建功!范迪克社媒:作为队长的百场里程碑,拿下1分继续前进
- ·国际空间站继续老化 俄罗斯舱段发生空气泄漏
- ·金摇杆年度最佳黑神话获提名,B站国内独家开启投票
- ·头槌建功!范迪克社媒:作为队长的百场里程碑,拿下1分继续前进
- ·[流言板]里弗斯:必须解决替补问题,还没找到正确的轮换
- ·[一图流]小胖八戒一人开团脱节,弈星框住多人,阿古朵再击杀猪八戒
- ·短剧平台惊现《黑神话无双》!播放量高达1974万
- ·沃克:与葡体比赛目标是3分,不在乎阿莫林执教曼联还是谢周三
- ·“南洋杯”世界围棋大师赛在成都开幕
- ·卡佩罗:意甲学瓜帅传控却晚了10年,在欧冠比赛节奏太慢受到惩罚
- ·搜狗输入法Mac版发布6.16.0更新:个性装扮上线 与Win版互通
- ·2024北京马拉松:全员直线出发、物资保障更丰富
- ·新预告确定《Overthrown》支持最多6人合作
- ·萨卡社媒晒比赛照:苦乐参半,能自豪达成英超50球里程碑
- ·OpenCloudOS生态持续完善 助力千行百业构建稳定安全的企业级服务器操作系统
- ·豆瓣9.0高分宫斗剧!《金枝欲孽》主演时隔20年再合体
- ·卡牌射击《FragPunk》封测启动 近期登陆PC/Xbox
- ·平台剧情冒险游戏《阿里·布图和时间旅行电梯》现已在Steam平台推出试玩Demo
- ·第二届“IPv6技术应用创新大赛”全国总决赛圆满收官
- ·女程序员上班积极下班忧郁确诊抑郁:经常莫名忧伤
- ·[流言板]库兹马:如果进不了美国国家队的话,我很乐意为菲律宾效力
- ·转会首个赛季,大谷翔平率领洛杉矶道奇夺冠
- ·《无尽地牢》开发商Amplitude已被世嘉卖掉
- ·《双截龙再临》Boss威利介绍视频 凶狠的猛男!
- ·[JR热议]被淘汰了?爱萝莉:孩子们等我回来!
- ·卡佩罗:意甲学瓜帅传控却晚了10年,在欧冠比赛节奏太慢受到惩罚
- ·雷军称将推出小米驾校 王化:目前并没有制订培训费用
- ·印尼媒体:归化球员希尔格斯受伤,尚不清楚是否缺席11月世预赛
- ·雷军赢麻了!懂车帝选2024年度车:小米SU7力压问界M9成第一
- ·北京中轴线足球友谊赛以足球为媒传播北京中轴线文化
- ·新预告确定《Overthrown》支持最多6人合作
- ·范尼:弗格森曾说,没有人比俱乐部更重要,这就是曼联的运作方式
- ·《怪物猎人:荒野》RTX 4090实测 原生4K/最高画质达不到60帧
- ·桑巴足球!巴萨的巴西边锋:27岁拉菲尼亚杂技停球是否让你想起他