極客網·極客說8月27日 在上海舉行的華為數據存儲AI SSD新品發(fā)布會上，華為公司副總裁、數據存儲產品線總裁周躍峰博士發(fā)布面向AI時代的高端SSD——Huawei OceanDisk EX/SP/LC系列化新品，旨在打破傳統AI存儲器當前的性能和容量瓶頸，提升AI訓練效率和推理體驗，樹立AI存儲器領域新標桿。

周躍峰博士指出，近年來業(yè)界在投入大量的AI基礎設施之后，才發(fā)現仍然存在很多困難和挑戰(zhàn)，包括訓練數據量太大、推理體驗差、token成本居高不下等。AI未來要能夠實現商業(yè)正循環(huán)，需要從整體系統的效率以及性價比綜合考慮、綜合優(yōu)化。而在效率方面，業(yè)界又碰到兩個大瓶頸：一是內存墻（行業(yè)有時也叫顯存墻），二是容量墻。華為在業(yè)界率先定義AI SSD并發(fā)布系列新品，就是希望通過AI SSD打破性能和容量的瓶頸，讓AI真正商業(yè)正循環(huán)。

以下是周躍峰博士演講全文：

謝謝各位現場和線上的嘉賓、專家。

我們幾周前發(fā)布UCM之后，今天我們發(fā)布AI SSD，實際上這兩個產品一軟一硬，協同使用，效果一定會更好。

大家知道在AI時代，我們這幾年方方面面都在討論，都在投入AI基礎設施，在投入大量的AI基礎設施之后，我們發(fā)現很多困難和挑戰(zhàn)。

第一，數據量實在太大了。訓練越多參數的模型，我們需要越多的語料數據，這些數據如何存得下，用得好，而且效率很好，成本很低，這對我們來說是一個挑戰(zhàn)。

同時，今天我們越來越意識到AI生產過程就是推理，推理的體驗也是巨大的挑戰(zhàn)。過去我們只是簡單的問答，短序列推理，現在，越來越多的多模態(tài)融合長序列的推理，推理首token的時延成為非常重要的體驗指標，很多時候我需要等很長時間，才有結果。同時當很多人使用的時候，并發(fā)性就是說每秒一定時間內能處理的token數也是很重要的指標，恰恰我們碰到了一些困難。今天我們很多模型的網站，一些APP使用，發(fā)現體驗很差。

另外token成本居高不下。今天我聽國家數據局一個統計，截至今年6月底，日均Token消耗量已經突破30萬億，1年半時間增長了300多倍，所以說token數的消耗，應該越來越多，對我們基礎設施的成本是巨大的考驗。

因此，AI未來要能夠實現商業(yè)的正循環(huán)，我們要從整體系統的效率以及性價比綜合考慮和綜合優(yōu)化。大家知道今天我們在效率方面，碰到兩個很大的困難：第一內存墻，行業(yè)有時也叫顯存墻；另外一個是容量墻。這已經成為我們主要的瓶頸。

比如在某些國產大模型訓推一體機里，有8張卡，往往它的顯存或者HBM大小是一定的，我們今天發(fā)現參數量很大的模型，推不動。這當中也訓練不了，大家知道我們要微調一個671B的模型，顯存容量需要超過13.4 TB，在很多一體機我們訓練不動，我們該怎么辦？因為一個盒子里面的資源畢竟有限，同時我們看到推理的首token時延，中國大量APP比西方領先模型，時延是他們的兩倍，我們每秒的token數量，以及所能處理能力的數量也是他們的1/10左右，主要差別在于我們基礎設施的投資和效率。

我們在訓練大模型的時候，需要大量的數據。大家知道訓練一個671B大模型，我們需要的原始語料數據是3.5PB，因此越來越多的語料消耗了我們大量存儲空間，這意味著空間和電力的消耗。

在今年上海人工智能大會當中，AI之父杰弗里·辛頓談到一個觀點，他說“人類智能無法超越或者戰(zhàn)勝機器智能，原因是機器擁有永久的記憶”，可見AI的能力不僅僅取決于處理系的思考能力，也取決于我們整個系統的記憶能力，因此存儲在整個AI系統當中，以及它的優(yōu)化是非常的至關重要。

今天我們在業(yè)界率先定義AI SSD，相對過去普遍的SSD，它的區(qū)別就在于它的高性能和大容量，我們希望通過AI SSD打破性能和容量的瓶頸。

我們定義AI SSD有兩類：第一類AI SSD是助力擴展HBM，對我們高帶寬、高性能的內存進行相關的擴展，在推理的數據當中可以分級緩存。它的特征就是帶寬大于14.4GB/s，同時時延小于10微秒，這是高性能這塊。

第二類AI SSD主要助力打破容量瓶頸，替換HDD，就是替代機械硬盤在過去AI數據中心當中的使用，它的特征就是單盤容量大于30TB，同時帶寬大于14.4GB/s，意味著它不僅要有巨大的容量密度，同時性能還不至于太低。

這兩類SSD，我們統稱為AI SSD，我們希望這兩類SSD能夠幫助我們突破顯存墻和容量墻。今天我們將發(fā)布三款產品：

前兩款是高性能的AI SSD，用于突破內存墻，對HBM進行更好的擴展：一是我們的OceanDisk EX 560，這是極致性能AI SSD盤。它的IOPS將達到1500k，它隨機寫時延是7微秒，它的DWPD是60，這是一個性能極其強大的SSD盤。同時，我們在很多場景，為了讓系統更加經濟，我們也推出高性能盤，就是我們OceanDisk SP 560，它是高性能盤，在很多推理系統當中，性能足夠了。它的IOPS是600k，它的隨機寫時延7微秒，DWPD是1，因此這個盤在很多推理系統當中可能更為經濟。第一類OceanDisk EX 560計劃年底提供商用，OceanDisk SP 560現在已經具備批量商用的能力，事實上我們很多客戶，包括互聯網、醫(yī)療、金融客戶已經在使用這類產品，得到了很好的效果。

第三款產品是OceanDisk LC 560系列具備超大容量盤，而且它的帶寬并不低，單盤物理容量有61/122/245 TB，其中61TB的重構時間，從過去一般的1.5天可以縮短至8小時，另外它的順序讀寫帶寬達到了14.7GB/s。這是既具備很好性能又具備超高容量密度的盤，單盤容量可以達到245TB，是業(yè)界最大的單盤容量。我們希望這類盤能夠普遍用于集群訓練中心當中去，幫助解決語料數據存不下，用不好的問題。

接下去我列舉幾個場景，如何讓AI SSD，幫助我們AI系統有更好的商業(yè)正循環(huán)。首先我們看一下集群訓練場景，這個場景我們需要大量的語料，作為我們訓練的數據，不僅僅要存得下，同時要避免GPU、NPU不至于一直在等待過程中，快速能夠給它提供數據，讓我們操作更加高效，我們認為在這個場景當中，我們OceanDisk LC系列的盤，可以很好解決容量的問題。

舉個例子，假設在一個訓練系統當中，我們需要250PB的數據集容量，那么用普遍的機械硬盤，要超過10000塊的24TB機械硬盤。如果我們用122TB每單盤容量的AI SSD盤，我們只需要大概超過2000塊就可以了。但是，不僅僅是這個盤的數量、空間，更為重要的是我們數據預處理的效率可以提升6.6倍，我們空間占用將減少85.2%，我們能耗將減少38.6%，這是一個巨大的成本節(jié)約。當然這里面，我們沒有考慮SSD盤相對機械硬盤，它的壽命這個因素，以及在運維等人力上的節(jié)?。ň庉嬜ⅲ喝绻紤]進去SSD盤的優(yōu)勢更明顯）。

第二個場景我們想舉例的是集群推理場景，尤其在大型AI數據中心，比如說互聯網和運營商他們所構建的。在這個過程當中，我們希望引入超高性能的AI SSD，倍數級的提升推理效率。我們在這里面也舉個例子，這個過程當中，我們使用OceanDisk SP 560 AI SSD盤，我們可以看到，可推理序列的長度將提升2.5倍，我們有效擴展了HBM的能力，而且是低成本。

除此之外，首token的時延也可以減少73%，token的吞吐率提升2.7倍，這些數據都在我們實驗室和客戶真實商業(yè)場景當中得到了印證。

大家知道，很多中小企業(yè)并不構建AI的集群，往往是訓推一體機，在訓推一體機這樣的小盒子，往往最多只有8張卡的情況下，能不能讓我們小的系統可以微調，更多參數的模型，讓我們的推理序列，長序列越來越長，而且可以有更多的商業(yè)場景適用，不僅僅是簡單的問答，讓各個公司單位花的這點錢，物有所值。

我們認為，在模型微調的場景，我們建議應該配一些超快性能的AI SSD，在我們例子當中，8個算力卡的情況下，我們配2張3.2TB的AI SSD，我們可以看到單機可用內存直接擴充到11倍，同時我們可以看到單機可微調模型的參數也提升了6.3倍，就是說進一步提升了一體機微調模型的種類和它使用的場景。

在這個一體機當中，當然它很重要的過程是推理，我們建議在推理場景下，用SP系列的AI SSD，我們也做了嘗試。我們發(fā)現，如果使用OceanDisk SP 560可以進一步擴展有限的HBM，讓我們的序列長度增加一倍，同時首token時延下降75%，token的單位時間吞吐量提升了一倍。這意味著我們單位買了一體機之后，可以極大擴展我的商業(yè)場景，當然我們知道這是訓推一體機，所以我們覺得在這樣一個一體機當中，如果把極致性能盤和我們的高性能盤，就是EX系列和SP系列混合使用，將獲得更好的性能。

以上是這四個場景，我們認為今天作為例子，跟大家介紹一下AI SSD突出的性能和應用場景。我們希望今天發(fā)布的這三款產品，就是我們OceanDisk EX 560、SP 560以及大容量的LC 560，能夠用于超大AI集群中心和相應的訓推一體機場景當中，結合相關的軟件，尤其是結合上一次發(fā)布的UCM，可以更加高效地對于推理當中高性能需要短時間進行緩存的數據和相對來說時延可容忍數據，進行分級緩存，效果一定會很不錯的。

在千行萬業(yè)落地過程中，我們希望AI SSD和它們持續(xù)的演進，能夠為整個AI經濟——當然我們相信AI剛剛開始，通過我們持續(xù)的演進，可以貢獻我們的力量，讓AI真正商業(yè)正循環(huán)。

生成海報

免責聲明：本網站內容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網站出現的信息，均僅供參考。本網站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。任何單位或個人認為本網站中的網頁或鏈接內容可能涉嫌侵犯其知識產權或存在不實內容時，應及時向本網站提出書面權利通知或不實情況說明，并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網站在收到上述法律文件后，將會依法盡快聯系相關文章源頭核實，溝通刪除相關內容或斷開相關鏈接。