Don't Miss
美國研全球最快AI晶片|Cerebras Systems WSE-3 面積超Nvidia H100 57倍
By EJ Tech on March 15, 2024
美企Cerebras Systems推出第三代晶圓級引擎WSE-3,堪稱全球最快人工智能(AI)晶片。這款產品尺寸為462.25平方厘米,面積比輝達(Nvidia)H100多出57倍;晶片內建4萬億個電晶體(採用台積電5納米製程),具備90萬個運算核心及44GB記憶體,峰值性能高達125 PetaFLOPS,性能是上代WSE-2的兩倍。
WSE-3將部署在Cerebras旗下超級電腦CS-3,更可配置多達2048個系統叢集(Clusters),宣稱一天內能夠從零開始,即可訓練好Llama 70B等大型語言模型(LLM),比Meta需要一個月大幅縮短。此外,若要在CS-3訓練GPT-3規模模型,只需565行程式碼即可,比一般圖像處理器(GPU)減少97%。
一天訓練好Llama 70B
合作關係方面,Cerebras夥拍阿聯酋阿布扎比企業G42,建設下一代Condor Galaxy 3超級電腦,預計2024年第二季運行。當中由64個CS-3系統組成,內置5800萬個AI處理核心,綜合性能高達8 exaFLOP(每秒800億億次浮點運算)。Cerebras亦與高通簽訂一項聯合開發協議,目標是將LLM推理效能提升約10倍。