Don't Miss
AI之戰｜技嘉程式在家自建訓練模型
By 信報財經新聞 on July 19, 2024
原文刊於信報財經新聞「EJ Tech 創科鬥室」
以往訓練大型語言模型（LLM），通常只能利用雲端運算力，難以想像可自家搭建。台灣技嘉科技（GIGABYTE Technology）最近針對家庭市場，推出本地人工智能（AI）模型訓練及微調實用程式AI TOP Utility，讓用戶透過Linux作業系統、技嘉主機板、繪圖處理器（GPU）、固態硬碟（SSD）及電源，在本機訓練多達2360億個參數的AI模型，勝在成本實惠及有即時結果，更可妥善管控敏感資料。
標榜成本實惠 流程簡化
AI TOP Utility可把AI訓練資料，卸載到系統記憶體甚至SSD，從而打破VRAM（視訊隨機存取記憶體）大小的限制。工具標榜簡化工作流程，初學者只需點擊幾下，毋須輸入複雜命令參數，或任何AI程式設計技能，即可輕鬆啟動自家AI專案；工具設有視覺化儀錶板，監控AI訓練進度及系統硬件狀態。此外，更可安排訓練AI時間，例如避開用電高峰期，或於電費較低時段運行。
工具可配合技嘉旗下硬件使用，例如輝達（Nvidia）GeForce RTX 40系列、AMD Radeon RX 7900系列、Radeon Pro W7900及W7800系列顯示卡。目前支援AI協作平台Hugging Face上，大約70多個開源LLM骨幹模型，包括Baichuan 2、Distill-GPT2、GLM4、Llama 2及Llama 3等。技嘉更設有AI TOP Tutor技術支援服務，向聊天機械人查詢問題。
支持EJ Tech
如欲投稿、報料，發布新聞稿或採訪通知，按這裏聯絡我們。
