腾讯发布星脉网络2.0,让AI大模型训练效率提升20%

随着大模型的持续迭代,AI基础设施逐渐成为云厂商的核心竞争力之一。7月1日,腾讯宣布其自研星脉高性能计算网络全面升级,网络通信效率比上一代提升60%。升级后的星脉网络2.0搭载全自研的网络设备与AI算力网卡,支持超10万卡大规模组网,让大模型训练效率提升20%。这意味着,如果原来训练中某个计算结果的同步需要花100秒完成,现在只需要40秒;原来训练一个模型需要50天,现在则只需40天。
AI大模型就像是一场F1比赛,腾讯云专门设计了星脉高性能算力网络“赛道”,并自研了TiTa和TCCL网络协议作为“赛事指挥中心与专业车队”,共同让“腾讯云高性能计算集群HCC的GPU服务器”这台马力强大的F1赛车发挥最大的算力性能,助力客户在AI大模型的竞争中遥遥领先。
据介绍,AIGC(人工智能生成内容)的火热推动着AI大模型参数量从亿级到万亿级飙升。模型参数规模与架构升级对底层网络也提出了新的要求。为支撑AIGC中海量数据的大规模训练,大量服务器通过高速网络组成大规模算力集群,互联互通,共同完成训练任务。
然而,集群规模越大,所产生的通信损耗会越高。同时,AI训练的通信模式,与传统的通信模式差异较大,不同大模型架构也存在着通信模式的差异。部分大模型训练过程中通信占比最大可达50%。此外,分布式计算模式也意味着,单点的故障将导致整个集群不可用,因此在故障的时候需要快速定位与恢复训练,把损失降到最低。
如何在大规模组网前提下,提升通信效率、降低通信占比,进而提升GPU的利用率和模型训练效率,是AI网络要解决的核心问题。数据显示,星脉网络2.0可实现大模型训练过程中,网络通信占比(通信时间占总体时间比例)低至6%,远低于10%的业界水平;通信负载率达到90%,与IB网络(Infiniband)持平,相较于标准以太网提升60%。
据悉,腾讯自研星脉网络是一套软硬协同的高性能网络体系,包括自研网络设备、通信协议、通信库以及运营系统四大关键组件,每个组件均采用了业界首创的腾讯关键技术。
目前,腾讯云已经面向AIGC场景推出了基于星脉网络的大模型训练集群HCC、AIGC存储解决方案、向量数据库以及行业大模型服务MaaS、天御AIGC内容安全解决方案等大模型全链路云服务。超过80%的头部大模型企业使用了腾讯云服务。
本文链接:http://knowith.com/news-1-1185.html腾讯发布星脉网络2.0,让AI大模型训练效率提升20%
声明:本网页内容由互联网博主自发贡献,不代表本站观点,本站不承担任何法律责任。天上不会到馅饼,请大家谨防诈骗!若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。
通辽人才?通辽市实验小学是市教育局直属吗
心理学考研学校推荐(心理学考研学校推荐排名)
考研金融工程(考研金融工程专业大学排名)
西双版纳研究生院 研究生考事业单位是不是免笔试啊
宾夕法尼亚大学教育学院硕士(宾夕法尼亚大学教育学院硕士学费)
不被考研信息奴隶 做好冲刺前奏
2014经济学考研辅导:宏观经济学案例分析(13)
2015经济学考研:微观经济学脉络图(第二章)
蚌埠市考研培训学校排名前十_蚌埠市考研培训学校排名前十有哪些
测绘研究生去哪里?测绘研究生去哪里工作
设计“分付一个商家可以扫几次,分付如何快速提出来
可可爱爱闹新春,粤港澳三地舞狮队同台竞技
今天终于公开:2025印度拉帕替尼价格2000元一盒国内买yb出炉
夜以继日:花呗额度怎么提现出来(教你5种常用方法)
一查:套白条的具体流程,轻松7种流程方法
秉烛达旦:花呗额度怎么提现出来现金?两种提现方式手把手教你
摊上:京东白条额度可以套出来吗,教你五个简单方法秒到
摊上:京东白条额度是如何套出来的—推荐10个操作方法
全景:京东白条购物额度如何套出来(大家记得收藏好的方法)-知者
摘抄复述:花呗的额度怎么提现出来,分享最新的方法给大家