You are currently at: ejtech.hkej.com
Skip This Ads
Don't Miss
Home   >   科技動態   >   Grok開源｜馬斯克xAI大模型 參數量全球最大

Grok開源｜馬斯克xAI大模型 參數量全球最大

By on March 19, 2024

原文刊於信報財經新聞「EJ Tech 創科鬥室」

美國億萬富豪馬斯克（Elon Musk）旗下AI初創公司xAI，正式開源3140億參數的混合專家（MoE）模型Grok-1，以及該模型的權重和網絡架構。Grok-1為現時參數量最大的開源大型語言模型（LLM），目前已在軟件代碼託管平台GitHub上架，發布19小時獲得超過2.1萬星標。

Grok-1
Grok-1模型在GitHub網站開源，擁有全球最大的3140億參數。（X網上圖片）

聊天機械人Grok在去年11月推出，回答問題時略帶詼諧及叛逆。xAI指正遵守Apache 2.0授權條款，以開源Grok-1的權重及架構，意味無論個人或商業用途，都可自由使用、修改及分發軟件。由於Grok-1模型規模達3140億，GPU（圖像處理器）需要有足夠記憶體（例如628GB），相當於輝達HGX 8×H100（每個80GB）等機器，才能使用範例程式碼作測試。

MM1
蘋果研發的MM1擁有300億參數，屬於一款多模態大型語言模型。（arXiv網上圖片）

蘋果多模態LLM取突破

彭博報道，蘋果公司（Apple Inc.）正與谷歌（Google）洽商，把後者的Gemini模型結合在iPhone手機上。此外，蘋果在多模態大型語言模型研究亦取得突破，正建構一個300億參數的模型MM1，能夠在圖像字幕、視覺問題回答及自然語言推理等表現出色，稱視覺功能可跟OpenAI GPT-4V及Google Gemini競爭。

支持EJ Tech

如欲投稿、報料，發布新聞稿或採訪通知，按這裏聯絡我們。