鴻海研究院推出第一版具有推理能力繁體中文大型語言模型

新聞提供者

Hon Hai Research Institute

10 3月, 2025, 20:48 CST

人工智慧研究所LLM團隊發表最新成果 在數學與推理領域表現出色

台北2025年3月10日 /美通社/ -- 鴻海研究院（Hon Hai Research Institute, HHRI）今日宣布，推出首款繁體中文AI大型語言模型（LLM），內部開發代碼FoxBrain，此模型以優異的運算成本，於四週內完成訓練。FoxBrain模型原為內部應用而設計，涵蓋數據分析、決策輔助、文書協作、數學、推理解題與代碼生成等功能，後續將對外開源分享。FoxBrain作為鴻海研究院AI推理LLM模型訓練成果，不僅展現了強大的理解與推理能力，還能針對台灣使用者的語言風格進行優化，並在數學與邏輯推理測試中表現出色。

AI 發展趨勢融入FoxBrain高效訓練

圖1：FoxBrain 模型（對比Meta Llama 3.1 70B 與 Llama-3-Taiwan-70B） 在 TMMLU+ 上面幾個重要領域的得分 (PRNewsfoto/Hon Hai Research Institute)
圖1：FoxBrain 模型（對比Meta Llama 3.1 70B 與 Llama-3-Taiwan-70B） 在 TMMLU+ 上面幾個重要領域的得分 (PRNewsfoto/Hon Hai Research Institute)

鴻海研究院人工智慧研究所栗永徽所長表示，「近幾個月，推理能力的深化以及GPU的高效運用逐漸成為AI領域發展主流。我們的FoxBrain模型採用高效訓練策略，專注於訓練過程優化而非盲目堆砌算力。通過精心設計的訓練方法和資源優化，我們成功打造出具備強大推理能力的本土AI模型。」

鴻海研究院人工智慧研究所在FoxBrain訓練過程中，使用120張NVIDIA H100 GPU，並透過 NVIDIA Quantum-2 InfiniBand 網路進行擴展，僅花約四周的時間完成，相較於近期其他公司所推出的推理模型，以更高效率，更低成本的模型訓練方式為台灣AI技術發展樹立新里程碑。

FoxBrain技術亮點與訓練方法

FoxBrain採用 Meta Llama 3.1 為基礎架構，擁有 70B 參數，在 TMMLU+ 測試資料集，大多數的領域優於國內相同規模的 Llama-3-Taiwan-70B，尤其在數學與邏輯推理方面展現卓越能力（TMMLU+評測結果請參閱圖一）。以下是FoxBrain 的相關規格與訓練策略：

  • 透過自主技術，建立24類主題的資料增強方式與品質評估方法，生成98B tokens高品質中文預訓練資料。
  • 上下文處理長度 128 K token
  • 使用 120 張 NVIDIA H100 GPU 訓練，總計算力花費2688 GPU days。
  • 採用多節點平行訓練架構，確保高效能與穩定性。
  • 使用獨特的Adaptive Reasoning Reflection 技術訓練模型學會自主推理。

在測試結果方面，FoxBrain於數學領域較基礎模型 Meta Llama 3.1 全面提升，相較於目前最好的繁體中文大模型 Taiwan Llama 在數學測試中取得顯著進步，並在數學推理能力上超越 Meta 目前已推出的同等級模型，雖與DeepSeek的蒸餾模型仍有些微差距，但表現已相當接近世界領先水準。

台灣AI技術的全球競爭力

FoxBrain的研發，從資料收集、資料清理與擴增、Continual Pre-Training、Supervised Finetuning、RLAIF、Adaptive Reasoning Reflection，以自主研發的方式一步一腳印，穩紮穩打把每一個環節做好，最終在運用有限的算力資源下，仍能達到接近世界頂尖 AI 大模型的效益。此大型語言模型的研究成果，顯示台灣科技人才在AI大模型領域也能夠與國外人才並駕齊驅。FoxBrain模型雖然起源於鴻海研究院為集團內部應用而設計，未來，鴻海將持續與技術夥伴合作，對外開源分享，擴大FoxBrain模型運用範圍，共同推動AI在製造業、供應鏈管理與智慧決策領域的應用。

在模型訓練過程中，NVIDIA 公司提供 Taipei-1 超級電腦的支持以及技術諮詢，使鴻海研究院透過使用 NeMo 順利完成模型訓練。FoxBrain不僅是鴻海AI研發的重大突破，也為台灣AI 產業發展樹立了新的標竿。將在更多場景中發揮影響力，推動企業數智化轉型與全球產業升級。

鴻海未來將透過導入 AI 大型語言模型，優化智慧製造、智慧電動車、智慧城市等三大平台的數據分析效率，讓FoxBrain成為驅動智慧應用升級的重要引擎，進一步提升公司營運效益。

關於鴻海

鴻海精密工業股份有限公司（臺灣證券交易所代碼：2317）於1974年肇基於臺灣，以模具為根基，擴展為高科技服務企業。在電子代工服務領域（EMS）市占率超過四成，排名世界第一，涵蓋消費性電子、雲端網路、電腦終端、元件及其他等四大產品領域。在全球24個國家地區設有據點，員工總人數於季節性高峰時超過九十萬人。

2024年合併營收新臺幣6.86兆元，名列《財富雜誌》(Fortune) 全球500大企業排行榜第32名。 近年來，鴻海積極投入「電動車、數位健康、機器人」三大新興產業以及「人工智慧、半導體、新世代通訊技術」三項新技術領域，以「三加三」結合作為集團重要的長期發展策略，為全球標竿客戶提供完整解決方案，成為全方位智慧生活提供者。如需更多資訊，請參觀 www.honhai.com。

SOURCE Hon Hai Research Institute