鑫昌軟件園鑫昌秘籍 → 開源逆襲:TAO 方法微調 Llama 模型,FinanceBench 跑分超 GPT-4o

開源逆襲:TAO 方法微調 Llama 模型,FinanceBench 跑分超 GPT-4o

2025-03-27 12:28:20      小編:鑫昌軟件園      

本站 3 月 27 日消息,科技媒體 NeoWin 昨日(3 月 26 日)發布博文,報道稱數據智能公司 Databricks 發布新型大語言模型微調方法 TAO(Test-time Adaptive Optimization),通過無標注數據和強化學習技術,在顯著降低企業成本的同時提升模型性能。

測試顯示,在金融文檔問答和 SQL 生成任務中,通過 TAO 微調后的 Llama 3.3 70B 模型,表現甚至超越傳統標注微調方法,逼近 OpenAI 頂級閉源模型。

TAO 方法利用測試時計算(test-time compute)自動探索任務可能性,結合強化學習優化模型,省去人工標注成本。在三大企業基準測試中,TAO 微調的 Llama 模型表現亮眼:

    FinanceBench(7200 道 SEC 文檔問答):TAO 模型得分 85.1,優于標注微調(81.1)和 OpenAI o3-mini(82.2)。

    BIRD-SQL:TAO 模型 56.1 分,接近 GPT-4o(58.1),遠超標注微調(54.9)。

    DB Enterprise Arena:TAO 模型 47.2 分,而 GPT-4o 模型得分為 53.8 分。

    TAO 技術為開源模型提供了持續進化路徑:用戶使用越多,模型通過反饋數據自我優化的潛力越大,目前該技術已在 Llama 模型上啟動私測,企業可通過申請表單參與。

  • 猜你喜歡
  • 相關手機游戲
  • 最新手機精選
九九99久久精品午夜剧场免费