在6月20日舉行的華為開發(fā)者大會2025（HDC 2025）上，華為常務董事、華為云計算 CEO張平安宣布基于CloudMatrix384超節(jié)點的新一代昇騰AI云服務全面上線，為大模型應用提供澎湃算力。
隨著大模型訓練和推理對算力需求的爆炸式增長，傳統(tǒng)計算架構已難以支撐AI技術的代際躍遷。華為云新一代昇騰AI云服務基于CloudMatrix384超節(jié)點，首創(chuàng)將384顆昇騰NPU和192顆鯤鵬CPU通過全新高速網絡MatrixLink全對等互聯(lián)，形成一臺超級“AI服務器”，單卡推理吞吐量躍升到2300 Tokens/s。超節(jié)點架構能更好地支持混合專家MoE大模型的推理，可以實現(xiàn)“一卡一專家”，一個超節(jié)點可以支持384個專家并行推理，極大提升效率。同時，超節(jié)點還可以支持“一卡一算力任務”，靈活分配資源，提升任務并行處理，減少等待，將算力有效使用率（MFU）提升50%以上。
對于萬億、十萬億參數(shù)的大模型訓練任務，在云數(shù)據(jù)中心，還能將432個超節(jié)點級聯(lián)成最高16萬卡的超大集群；同時，超節(jié)點還可以支持訓推算力一體部署，如“日推夜訓”，訓推算力可靈活分配，幫助客戶資源使用最優(yōu)。
張平安表示，昇騰AI云服務得到了全球客戶、伙伴和開發(fā)者的支持。正是因為他們對華為的堅定信任，才有機會讓昇騰構筑起一個比肩巔峰，開創(chuàng)未來的AI算力底座！
新浪與華為云深度合作，基于CloudMatrix384昇騰AI云服務，為“智慧小浪”智能服務體系構建了統(tǒng)一的推理平臺，底層由昇騰AI算力提供支持。推理的交付效率提升了超過 50%，模型上線速度成倍加快；通過軟硬協(xié)同調優(yōu)，NPU利用率提升超過40%，每一份資源都得到更高效的使用。
硅基流動正在使用CloudMatrix384超節(jié)點，為數(shù)百萬用戶高效提供DeepSeek V3、R1的推理服務。面壁智能使用CloudMatrix384超節(jié)點，讓他們的小鋼炮模型的推理業(yè)務性能得到了2.7倍提升。
在科研領域，中科院基于CloudMatrix384超節(jié)點打造了自己的模型訓練框架，快速構建了中科院AI for Science科研大模型，擺脫了對國外高性能AI算力平臺的依賴。
在互聯(lián)網領域，360打造的納米AI搜索，為用戶提供超級AI搜索服務，對AI算力有極大需求，也已開啟了CloudMatrix384超節(jié)點的測試。
當前，昇騰AI云服務已經成為AI基礎設施的最優(yōu)選擇，為超過1300家客戶提供澎湃的AI算力，加速千行萬業(yè)智能化升級。
（免責聲明：本網站內容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網站出現(xiàn)的信息，均僅供參考。本網站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。
任何單位或個人認為本網站中的網頁或鏈接內容可能涉嫌侵犯其知識產權或存在不實內容時，應及時向本網站提出書面權利通知或不實情況說明，并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網站在收到上述法律文件后，將會依法盡快聯(lián)系相關文章源頭核實，溝通刪除相關內容或斷開相關鏈接。 ）
