Meta 發布 Llama 4 系列 AI 模型,引入“混合專家架構”提升效率
2025-04-06 19:58:34 小編:鑫昌軟件園
本站 4 月 6 日消息,Meta現已發布旗下最新Llama 4 系列AI 模型,包含 Llama 4 Scout、Llama 4 Maverick 和Llama 4 Behemoth,Meta 透露相應模型都經過了“大量未標注的文本、圖像和視頻數據”的訓練,以使它們具備“廣泛的視覺理解能力”。
目前,Meta 已將系列模型中的 Scout 和Maverick 上架到Hugging Face(點此訪問),而 Behemoth 模型則還在訓練中。其中 Scout 可以在單個英偉達H100 GPU 上運行,而Maverick 則需要英偉達H100 DGX AI 平臺或“同等性能的設備”。
Meta 表示,Llama 4 系列模型是該公司旗下首批采用混合專家(MoE)架構的模型,這種架構在訓練和回答用戶查詢時的效率更高,所謂“混合專家架構”基本上是將數據處理任務分解為子任務,然后將它們委派給更小的、專門的“專家”模型。
例如,Maverick 總共有4000 億個參數,但在128 個“專家”模型中只有170 億個活躍參數(參數數量大致與模型的問題解決能力相對應)。Scout 有170 億個活躍參數、16 個“專家”模型以及總計1090 億個參數。
不過值得注意的是,Llama 4 系列中沒有一個模型是像OpenAI 的o1 和o3-mini 那樣真正意義上的“推理模型”。作為比較,“推理模型”會對其答案進行事實核查,并且通常能更可靠地回答問題,但因此也比傳統的“非推理”模型花費更長的時間來給出答案。
Meta 內部測試顯示,Maverick 模型最適合用于“通用AI 助手和聊天”等應用場景,該模型在創意寫作、代碼生成、翻譯、推理、長文本上下文總結和圖像基準測試中表現超過了OpenAI 的GPT-4o 和谷歌的Gemini 2.0 等模型。然而 Maverick 與谷歌的 Gemini 2.5 Pro、Anthropic 的Claude 3.7 Sonnet 和OpenAI 的GPT-4.5 等功能更強大的最新模型相比仍有一定進步空間。
而 Scout 的優勢則是總結文檔、基于大型代碼庫進行推理。該模型支持 1000 萬個詞元(“詞元”代表原始文本的片段,例如單詞“fantastic”可拆分為“fan”、“tas”和“tic”),因此一次可以處理“多達數百萬字的文本”。
本站注意到,Meta 還進一步預告了其 Behemoth 模型,據該公司稱,Behemoth 有2880 億個活躍參數、16 個“專家”模型,總參數數量接近2 萬億個。Meta 的內部基準測試顯示,在一些衡量解決數學問題等科學、技術、工程和數學(STEM)技能的評估中,Behemoth 的表現優于GPT-4.5、Claude 3.7 Sonnet 和Gemini 2.0 Pro,但不如Gemini 2.5 Pro。
- 猜你喜歡
-
打驢動漫網頁版66.25MB手游下載
-
我的世界愚人節版76.5MB手游下載
-
我的戀愛逃生攻略手機版1.07MB手游下載
-
初音未來繽紛舞臺國服475MB手游下載
-
網易嚴選官方版49.36M手游下載
-
4399游戲盒下載蘋果版29.14M手游下載
-
多多買菜平臺下載5.79MB手游下載
-
八番出口手游262.8MB手游下載
-
Dancerail3舞蹈軌跡3最新版1.33GB手游下載
- 相關手機游戲
-
人類無限進化免廣告破解版4.27MB手游下載
-
美職籃巔峰對決最新版本1.19GB手游下載
-
云永劫無間官方版66.90MB手游下載
-
西西漫畫韓國漫畫22.46MB手游下載
-
開放空間九游版1.9GB手游下載
-
怪物樂土手游官方版314.41MB手游下載
-
VIP瀏覽器17.52MB手游下載
-
云貓壁紙9.98MB手游下載
-
臉貓舊版本下載44.86MB手游下載
- 推薦鑫昌秘籍
- Meta 發布 Llama 4 系列 AI 模型,引入“混合專家架構”提升效率
- 消息稱任天堂 Switch 2 實體版游戲“僅包含 Switch 1 游戲 + 激活碼”,玩家需聯網兌換下載二代升級包
- 特斯拉美國煥新 Model Y / 3 新增“鉆石黑”車漆,選配價 1500 美元
- 消息稱適馬將推出 200mm f/1.8 FE 鏡頭新品,適用于索尼 E 和徠卡 L 卡口相機
- 安卓版微軟 Copilot 集成“MSN 資訊”,探索盈利新招
- 消息稱 DRAM 制造商長鑫存儲正考慮提高 DDR4 產品價格
- 有名星空怎么拍?新手也能拍出星空大片的教程!
- 科技昨夜今晨 0406:支付寶測試境外 NFC 功能;奇瑞 QQ 概念車官圖公布;蘋果 M4 款 MacBook Pro 和 Mac mini 國行翻新版上架...
- 生化實驗室哪家強?內行人告訴你選擇的秘訣!
- nba2k23怎么操作?運球、投籃等技巧詳細教學!
- 最新手機精選
-
櫻桃視頻直播官方版下載2025-01-28手游下載 | 88.51MB
-
TFS飛行模擬器破解版2025-02-14手游下載 | 86.66MB
-
Poppy Playtime第五章正版2025-01-15手游下載 | 603MB
-
恐怖逃脫官方版2025-02-01手游下載 | 239.33MB
-
花心直播軟件在哪里下載安卓版最新版2025-03-15手游下載 | 85.77MB
-
一個人在線觀看的免費視頻www安卓最新版2025-03-11手游下載 | 53.79MB