阿里云第八代企业级实例g8i算力升级,可支持72B大语言模型
发布时间:
1月11日，阿里云宣布第八代企业级通用计算实例ECS g8i算力再升级，整机性能最高提升85%，AI推理性能最高提升7倍，可支撑72B参数的大语言模型，帮助中小规模模型起建成本降低50%。同时新实例还提供了端到端安全防护，为企业构建可信AI应用提供隐私增强算力支撑。
阿里云弹性计算产品线总经理张献涛表示，这证明以CPU为中心的计算体系具备加速AI推理的巨大潜力，公共云不仅可胜任超大规模的AI模型，也为AI应用加速落地开辟了新路径。
英特尔中国数据中心和人工智能集团至强客户解决方案事业部总经理李亚东表示，第五代英特尔至强可扩展处理器每个内核均内置AI加速功能，与上代相比，其AI训练性能提升29%，AI推理能力提升42%，希望以此助力AI技术普惠。
生成式AI掀起的技术革命，正在推动计算范式发生根本性的变化。当前，AI大模型推理在算力上依然面临诸多挑战，例如首包延迟受限于并行处理能力与浮点运算能力，吞吐性能则受限于内存带宽和网络延迟。
对此，阿里云ECS g8i实例进行了多方面优化，可以更迅速地响应中小规模参数模型，运行知识检索、问答系统及摘要生成等AI工作负载时，起建成本大幅下降。
本文链接：http://knowith.com/news-1-162.html阿里云第八代企业级实例g8i算力升级,可支持72B大语言模型
声明：本网页内容由互联网博主自发贡献，不代表本站观点，本站不承担任何法律责任。天上不会到馅饼，请大家谨防诈骗！若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。
