   
签到天数: 603 天 [LV.9]以坛为家II - 金币
- 236387 枚
- 威望
- 2047 点
- 好评
- 16 点
- 爱心值
- 42 点
- 钻石
- 0 颗
- 贡献值
- 342 点
- 帖子
- 4690
- 精华
- 0
 鲜花( 502)  鸡蛋( 51) |
2月5日,百度智能云宣布于近日成功点亮昆仑芯三代万卡集群,这也是国内首个正式点亮的自研万卡集群。百度方面透露,其将进一步点亮3万卡集群。
过去一年,整个行业都在努力降低大模型的使用成本,而算力紧张是导致成本居高不下的重要因素之一,DeepSeek近日火爆全球也正是基于这一背景。业内人士认为,万卡集群的建成不仅为百度自身带来了强大的算力支持,也推动了国内大模型行业“降本”趋势的加速推进。
从算力上看,万卡集群可将千亿参数模型的训练周期大幅降低,满足AI原生应用快速迭代的需求,同时也能支持万亿参数模型、复杂任务和多模态数据,支撑Sora类应用的开发。此外,万卡集群能够支持多任务并发能力,通过动态资源切分、通信优化与容错机制减少算力浪费,实现训练成本指数级下降。
随着国产大模型的兴起,万卡集群逐渐从“单任务算力消耗”到“集群效能最大化”过渡,通过模型优化、并行策略、有效训练率提升、动态资源分配等手段提升集群综合利用率,降低单位算力成本。
过去,多芯混训和激增的故障率等难题,成为万卡集群部署过程中的巨大挑战。
百度相关负责人介绍,2024年9月升级的百舸AI异构计算平台4.0在万卡集群的建设中发挥了至关重要的作用。首先,其突破了硬件扩展性瓶颈,如卡间互联的拓扑限制,避免通信带宽成为瓶颈。同时,围绕芯片及集群功耗,基于万卡规模常规方案功耗可达十兆瓦或更高,采用创新性散热方案,从而解决万卡集群的能效与散热问题。在提升稳定性方面,其提供的容错与稳定性机制,可避免由于单卡故障率随规模指数上升而造成的万卡集群有效性大幅下降,保障有效训练率达到98%。
中国工程院院士、清华大学计算机系教授郑纬民此前表示,当下构建国产自主万卡系统充满挑战,但至关重要。花旗银行日前发布研报表示,DeepSeek、百度等中国模型展现出高效和低成本优势,将有助于加速全球AI应用开发,并在全球引发更多技术创新,推动2025年人工智能应用的拐点。
来源:北京日报客户端
记者:孙奇茹
|
|