亚洲精品无码乱码成人|最近中文字幕免费大全|日韩欧美卡一卡二卡新区|熟妇性饥渴一区二区三区|久久久久无码精品国产AV|欧美日韩国产va在线观看|久久精品一本到99热动态图|99国产精品欧美一区二区三区

您現(xiàn)在的位置是: 資訊 > > 正文

微軟推出ZeRO++技術(shù) 可顯著減少AI大模型訓練時間和成本

時間:2023-06-28 10:56:38 來源:科技頭條 發(fā)布者:DN032

(資料圖片)

據(jù)微軟官方消息,微軟研究人員日前推出了名為 ZeRO++ 的新技術(shù),可顯著減少大模型訓練時間和成本。

ZeRO++ 建立在 ZeRO 傳輸技術(shù)基礎上,提供增強的通信策略,可提高訓練效率,同時減少訓練時間和成本。ZeRO++ 可對權(quán)重進行量化,其利用基于塊的量化方法來保持訓練精度,這種優(yōu)化的量化過程相對原始 Zero 傳輸技術(shù)更快更準確。

微軟研究人員表示,與 ZeRO 相比,ZeRO++ 減少了高達 4 倍的通信量,提高了訓練吞吐量和效率。

標簽: 人工智能 大模型訓練 大數(shù)據(jù)模型訓練

搶先讀

相關(guān)文章

熱文推薦

精彩放送

關(guān)于我們| 聯(lián)系我們| 投稿合作| 法律聲明| 廣告投放

版權(quán)所有© 2011-2023  產(chǎn)業(yè)研究網(wǎng)  www.www-332159.com

所載文章、數(shù)據(jù)僅供參考.本站不作任何非法律允許范圍內(nèi)服務!

聯(lián)系我們:39 60 29 14 2 @qq.com

皖ICP備2022009963號-13


淮滨县| 嘉峪关市| 阿拉尔市| 宁陕县| 高要市| 囊谦县| 文昌市| 保康县| 潢川县| 孝感市| 介休市| 蓬安县| 泾源县| 普兰县| 六安市| 商都县| 中卫市| 湛江市| 嵊泗县| 梅河口市| 当涂县| 东莞市| 英德市| 龙山县| 峨边| 新化县| 广东省| 宜兴市| 海林市| 益阳市| 威远县| 五大连池市| 斗六市| 资阳市| 海门市| 曲麻莱县| 昭觉县| 格尔木市| 永年县| 同心县| 阿城市|