摩爾線程國產GPU重大里程碑！千卡集群完成30億參數大模型實訓
5月27日消息，摩爾線程、無問芯穹聯合宣布，雙方已經正式完成MT-infini-3B 3B(30億參數)規(guī)模大模型的實訓，基于摩爾線程國產全功能GPU MTT S4000組成的千卡集群，以及無問芯穹的AIStudio PaaS平臺。
本次實訓充分驗證了夸娥千卡智算集群在大模型訓練場景下的可靠性，同時也在行業(yè)內率先開啟了國產大語言模型與國產GPU千卡智算集群深度合作的新范式。
據悉，這次的MT-infini-3B模型訓練總共用時13.2天，全程穩(wěn)定無中斷，集群訓練穩(wěn)定性達到100%，千卡訓練和單機相比擴展效率超過90%。
目前，實訓出來的MT-infini-3B性能在同規(guī)模模型中躋身前列，相比在國際主流硬件上(尤其是NVIDIA)訓練而成的其他模型，在C-Eval、MMLU、CMMLU等3個測試集上均實現性能領先。
無問芯穹正在打造“M種模型”和“N種芯片”之間的“M x N”中間層產品，實現多種大模型算法在多元芯片上的高效、統(tǒng)一部署，已與摩爾線程達成深度戰(zhàn)略合作。
摩爾線程是第一家接入無問芯穹并進行千卡級別大模型訓練的國產GPU公司，夸娥千卡集群已與無穹Infini-AI順利完成系統(tǒng)級融合適配，完成LLama2 700億參數大模型的訓練測試。
T-infini-3B的訓練，則是行業(yè)內首次實現基于國產GPU芯片從0到1的端到端大模型實訓案例。
就在日前，基于摩爾線程的夸娥千卡集群，憨猴集團也成功完成了7B、34B、70B不同參數量級的大模型分布式訓練，雙方還達成戰(zhàn)略合作。
經雙方共同嚴苛測試，兼容適配程度高，訓練效率達到預期，精度符合要求，整個訓練過程持續(xù)穩(wěn)定。
搶先讀
- 摩爾線程國產GPU重大里程碑！千卡集群完成30億參數大模型實訓
- 環(huán)球觀熱點：國家發(fā)改委：5月29日國內成品油價格不作調整
- 摩爾線程國產GPU重大里程碑！千卡集群完成30億參數大模型實訓
- 天津：進一步調整優(yōu)化差別化住房信貸政策-環(huán)球關注
- 頭條焦點：阿里影業(yè)發(fā)布2024財年業(yè)績：強勁增長，布局未來
- 世界速看：阿里影業(yè)發(fā)布2024財年業(yè)績：強勁增長，布局未來
- 每日信息：阿里影業(yè)發(fā)布2024財年業(yè)績：強勁增長，布局未來
- 駐馬店市驛城區(qū)人民街道建新街社區(qū)開展“六一慰問暖童心 濃濃關懷顯真情”志愿服務活動
- ?西平縣譚店小學開展“唱紅歌·迎六一”合唱比賽活動
- 每日快看：?河南省農業(yè)農村廳專家驗收組來西平開展省級水產良種場驗收工作
- 西平縣專探東溝小學舉行“放飛夢想，快樂成長”慶六一文藝匯演活動 視訊
- 鄧州市九龍鎮(zhèn)衛(wèi)生院：健康宣講進校園 優(yōu)化育人好環(huán)境 當前熱門
- ?西平縣文廣旅局開展《中華人民共和國民法典》宣傳活動
- ?西平縣應急管理局機關黨支部開展“爭當先鋒模范 助三夏生產”主題黨日活動
- ?西平縣文廣旅局深入開展文化市場安全生產摸排檢查
- 淅川法院老城法庭：六一普法進校園 攜手共筑童心路_世界速訊
- 環(huán)球消息！?西平縣嫘祖初級中學邀請縣教育課程與教學發(fā)展中心檢查工作
- ?西平縣實驗小學舉行“童心永向黨 筑夢新時代”慶?！傲弧眱和?jié)綜合素質展演
- 駐馬店開發(fā)區(qū)城市管理局：全力“護綠” 加強苗木澆水養(yǎng)護力度
- 當前訊息：社旗法院：晨間執(zhí)行再發(fā)力 雷霆出擊顯威力
- 每日熱聞!方城法院：錦旗表謝意 司法暖人心
- 新野法院開展第一次“豫劍執(zhí)行—夏季雷霆執(zhí)行月”專項執(zhí)行活動 -環(huán)球關注
- 南陽市宛城區(qū)法院組織開展觀看“楊根思連”先進事跡專題節(jié)目
- 駐馬店市第二十五小學女子足球隊榮獲駐馬店市第八屆“市長杯”校園足球聯賽季軍|全球焦點
- 鄧州法院：愛心敲門 情暖童心
- 當前播報:鞏義市法院到新野縣法院交流營商環(huán)境工作
- 西峽法院：成立山茱萸法庭 服務藥材產業(yè)大發(fā)展
- 鎮(zhèn)平縣法院：訴前調解典型案例 繪就鎮(zhèn)法新“楓”景_快播
- ?西平縣住建局開展房地產市場“雙隨機、一公開”聯合檢查工作
- 環(huán)球簡訊:遂平縣花莊鎮(zhèn)：網格化管理為“三夏”生產護航
- 深度剖析新銳茶飲荷田水鋪：聽名字就有點苦的中藥茶飲是好生意？
- 環(huán)球看點！港股市場正回暖 上市儲備企業(yè)數量持續(xù)增加
- 【環(huán)球速看料】多家上市銀行中期分紅議案獲股東大會通過
- 即時焦點：港股市場正回暖 上市儲備企業(yè)數量持續(xù)增加
- 推動房企高質量發(fā)展 大名城穩(wěn)健經營資產持續(xù)優(yōu)化
- 國資委：推進國有企業(yè)整合重組、有序進退、提質增效 天天新消息
- 以便捷“收舊”推動積極“換新” 多地加快再生資源回收體系建設 全球視訊
- 國資委：推進國有企業(yè)整合重組、有序進退、提質增效 播資訊
- ?清“掛案” 卸“包袱”——西平縣檢察監(jiān)督助力企業(yè)“輕裝”前行
- ?愛心匯聚 熱血傳遞——西平縣焦莊鄉(xiāng)無償獻血志愿活動火熱進行|通訊
- 環(huán)球速遞！西峽農商銀行：“增信賦能”讓鄉(xiāng)村振興更出彩
- 確山縣城管局開展急救知識和技能培訓 全球微速訊
- 駐馬店經濟開發(fā)區(qū)開源辦事處大劉莊村黨支部組織開展“學習先進楷模 爭做時代先鋒”主題黨日活動
- 天天訊息：鄧州市水務集團自來水有限公司：做好水質監(jiān)測 優(yōu)化健康環(huán)境
- ?羅山縣市場監(jiān)管局莽張市場監(jiān)管所扎實推進農民專業(yè)合作社、家庭農場年報工作 環(huán)球熱點評
- 大自然家居集團董事長佘學彬談德智家：不忘初心，聚焦剛需、錘煉品質
- 觀速訊丨鄧州市住建局：強化業(yè)務培訓 優(yōu)化服務環(huán)境
- ?西平縣人民醫(yī)院：來自“娘家人”的溫暖 每日動態(tài)
- 鄧州市古城實驗小學：慶“六一”戲曲展演 優(yōu)化育人好環(huán)境|當前聚焦
- 河南國韻光照酒業(yè)集團：舉辦迎端午冰雕黃酒上市廠商聯誼洽談會
- 駐馬店開發(fā)區(qū)城市管理局持續(xù)開展餐飲場所油煙治理和燃氣安全專項檢查
- 福田汽車呼吁共筑行業(yè)清朗環(huán)境 以堅守與創(chuàng)新引領良性發(fā)展
- 駐馬店市回族小學舉辦“書香溢彩”讀書月誦讀比賽|今日要聞
- 駐馬店市第二十一小學黨支部開展“恪守‘六大紀律’ 筑牢思想根基”學習研討會
- 世界速遞！乘“數”而上蓄勢向“新” 開辟增長新空間
- 中國人民銀行190個縣域派出機構掛牌
- 文旅領域設備更新實施方案出臺 推動游樂設施、演藝設備等升級
- 直播大灣區(qū)丨“粵來粵美”：探尋文旅融合 賦能鄉(xiāng)村振興
- 海南海口：產銷對接助力荔枝果農解煩憂
- 全國產糧第一大省黑龍江春耕生產已全面告捷
- 焦點消息！中國航天員“太空行走”盤點
- 邁進“服務升級元年” 歐派堅定大家居戰(zhàn)略勇攀新峰|世界速讀
- 【全球報資訊】?駐馬店市生態(tài)環(huán)境局西平分局開展農村環(huán)境整治成效現場檢查工作
- 世界熱議:逐夢紅領巾 爭做好隊員——駐馬店實驗小學舉行新隊員入隊儀式
- 新縣：舉行醫(yī)療衛(wèi)生安全事件應急演練
- ?信陽市人大常委會來息縣視察調研校園安全暨“雙減”工作 環(huán)球觀熱點
- 多部門推出政策“組合拳” 促進房地產平穩(wěn)健康發(fā)展
- 花園城市建設與城市更新同頻推進 焦點速讀
- 智慧助老 電信相伴——中國電信愛心翼站服務在身邊
- ?商城縣觀廟鎮(zhèn)：“一村一品”興村富民_天天看點
- 水利部門采取多種措施應對汛情
- 售價20.08萬-25.58萬，沃爾沃純電SUV EX30正式上市
- 每日消息!深化五心守護伴知音 從故宮到凡爾賽宮成都站暨神龍汽車32周年慶開啟
- 環(huán)球即時看！保樂力加中國攜手聯合國訓練研究所發(fā)起大學生預防酒駕主題科普行動
- 漲價策略顯效，業(yè)績大漲的香奈兒：繼續(xù)漲價
- ?西平縣柏苑街道全力以赴開展抗旱搶種工作
- 鄧州市水務集團自來水有限公司：守護用戶安全飲水 優(yōu)化居民健康環(huán)境 快看
- 平安產險2023年度企業(yè)社會責任報告：堅守金融為民初心 以高質量發(fā)展助力強國建設
- ?西平縣重渠賈橋小學舉行新少先隊員隊前教育 世界關注
- 資訊：遂平縣花莊鎮(zhèn)開展移風易俗主題宣傳月活動
- 中醫(yī)傳承——香港中醫(yī)藥油世家黃天賜教授揭秘止痛方
- 【環(huán)球速看料】玩轉AI！西南大學人工智能學院科普課解鎖“神奇的人工智能”
- 3440億！大基金三期成立，或將發(fā)力關鍵設備材料零部件投資 精選
- 3440億！大基金三期成立，或將發(fā)力關鍵設備材料零部件投資
- 全球今日訊！?訪民情 問需求 謀發(fā)展——西平縣人民檢察院檢察長帶案下鄉(xiāng)走訪調研
- 實現多個首次！中國航天員已圓滿完成14次出艙活動
- 【練精兵 鑄警魂】 泌陽法院司法警察大隊選派5名干警參加全市法院業(yè)務骨干培訓班
- 全球觀熱點：浉河區(qū)武勝關街道辦事處籌建處開展“全市安全日”防汛應急演練
- 天天快報!在上海嘉定感受智能汽車創(chuàng)新“熱帶雨林”
- 世界要聞：駐馬店市驛城區(qū)東風街道：為兒童撐起“綠色天空” 東風街道“掃黃打非”進行時
- ?西平縣人和鄉(xiāng)召開第十二屆人民代表大會三次會議 世界熱點評
- 每日時訊!郵儲銀行鄧州支行：進企業(yè)送惠貸 優(yōu)化金融服務環(huán)境
- 駐馬店市驛城區(qū)新華街道團工委舉辦六一“心”成長健康講座-世界獨家
- 駐馬店市第二人民醫(yī)院：七旬老人的兩感謝信|環(huán)球實時
- 駐馬店市驛城區(qū)老街街道飛龍社區(qū)：黨建引領新風尚 踐行分類齊參與_世界快看
- 今日快看!固始縣人民醫(yī)院：醫(yī)者暖人心 錦旗寄真情
- 駐馬店市驛城區(qū)朱古洞鄉(xiāng)：風吹麥浪黨旗紅 助農惠民促振興
- 全球即時看！固始縣李店鎮(zhèn)：科技賦能 助力鄉(xiāng)村振興
- 精選！潢川縣衛(wèi)健委組織開展全縣婦幼健康重點工作督導質控
- 全球觀焦點：鄧州法院：商會來了“法律特派員”