移动端

自动化网

zdh.xwboo.com

产品

  • 产品
  • 新闻
  • 技术
  • 问答
  • 百科
  • 视频
  • 图片
  • 公司
  • 综合
您现在的位置：兴旺宝>自动化网>资讯列表>阿里云推出全新AI计算解决方案：大模型所需GPU狂降82%！

企业推荐

更多

产品推荐

更多

企业新闻

更多

阿里云推出全新AI计算解决方案：大模型所需GPU狂降82%！

2025年10月22日 14:12:56 人气: 17057 来源: 快科技
　　10月21日消息，在近日于韩国首尔举办的顶级学术会议SOSP 2025（操作系统原理研讨会）上，阿里云发布了其“Aegaeon”计算池化解决方案。
 
　　Aegaeon方案的核心在于解决AI模型服务中普遍存在的GPU资源浪费问题，尤其针对那些需求突发或不可预测的大型语言模型。
 
　　它打破了传统的“一个模型绑定一个GPU”的低效模式，而是在Token级别虚拟化GPU访问，这意味着单个GPU可以被多个不同模型共享服务，实现精细化的资源调度。
 
　　阿里云Aegaeon系统作为一种推理时间调度器，它能在每次生成下一个token后，动态决定是否切换模型，从而将微小的工作片段安排到共享池中。
 
　　通过组件复用、显存精细化管理和KV缓存同步优化等全栈技术，Aegaeon将模型切换开销降低了97%，确保了token级调度的实时性，可支持亚秒级的模型切换响应。
 
　　在阿里云模型市场为期超三个月的Beta测试中，Aegaeon系统在服务数十个参数量高达720亿的大模型时，所需的NVIDIA H20 GPU数量从1192个锐减至213个，削减比例高达82%。
 
　　GPU用量的大幅削减，对于硬件采购成本高昂的大型模型服务商而言，意味着成本将显著降低。
 
　　目前，这项核心技术已成功应用在阿里云百炼平台。
关键词： Aegaeon方案,AI模型服务
全年征稿/资讯合作 qq：1097660699@qq.com
版权与免责声明
1、凡本网注明"来源：兴旺宝"的所有作品，版权均属于兴旺宝，转载请必须注明兴旺宝，https://www.xwboo.com。违反者本网将追究相关法律责任。
2、企业发布的公司新闻、技术文章、资料下载等内容，如涉及侵权、违规遭投诉的，一律由发布企业自行承担责任，本网有权删除内容并追溯责任。
3、本网转载并注明自其它来源的作品，目的在于传递更多信息，并不代表本网赞同其观点或证实其内容的真实性，不承担此类作品侵权行为的直接责任及连带责任。其他媒体、网站或个人从本网转载时，必须保留本网注明的作品来源，并自负版权等法律责任。
4、如涉及作品内容、版权等问题，请在作品发表之日起一周内与本网联系，否则视为放弃相关权利。

关于我们 企业建站 本站服务 会员服务 旗下网站 友情链接 兴旺通 意见反馈

销售热线：0571-87209775    客服热线：0571-87209775    采购热线：0571-87209775    投诉热线：0571-87209775

服务咨询QQ: 751594915网站客服QQ:2012523075媒体合作QQ:1097660699采购咨询QQ:751594915
Copyright xwboo.com    All Rights Reserved    法律顾问：浙江天册律师事务所 贾熙明律师    ICP备案号：浙B2-20100369    浙公网安备 33010602009452号