每經(jīng)編輯 畢陸名

3月24日晚，DeepSeek發(fā)布了模型更新——DeepSeek-V3-0324。本次更新為DeepSeek V3模型的版本更新，并非市場此前一直期待的DeepSeek-V4或R2。目前，其開源版本已上線Hugging Face。據(jù)悉，其開源版本模型體積為6850億參數(shù)。

同日，DeepSeek在其官方交流群宣布稱，DeepSeek V3模型已完成小版本升級，歡迎前往官方網(wǎng)頁、App、小程序試用體驗(yàn)（關(guān)閉深度思考），API接口和使用方式保持不變。

此前于2024年12月發(fā)布的DeepSeek-V3模型曾以“557.6萬美金比肩Claude 3.5效果”的高性價(jià)比著稱，其多項(xiàng)評測成績超越了Qwen2.5-72B和Llama-3.1-405B等其他開源模型，并在性能上和世界頂尖的閉源模型GPT-4o以及Claude-3.5-Sonnet不分伯仲。但截至目前，還沒有任何關(guān)于新版DeepSeek-V3的能力基準(zhǔn)測試榜單出現(xiàn)。

其后，DeepSeek于2025年1月發(fā)布了性能比肩OpenAI o1正式版的DeepSeek-R1模型，該模型在后訓(xùn)練階段大規(guī)模使用了強(qiáng)化學(xué)習(xí)技術(shù)，在僅有極少標(biāo)注數(shù)據(jù)的情況下，極大提升了模型推理能力。

V3是一個(gè)擁有6710億參數(shù)的專家混合模型（Moe），其中370億參數(shù)處于激活狀態(tài)。

在傳統(tǒng)的大模型中，通常會(huì)采用密集的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，模型需要對每一個(gè)輸入token都會(huì)被激活并參與計(jì)算，會(huì)耗費(fèi)大量算力。

此外，傳統(tǒng)的混合專家模型中，不平衡的專家負(fù)載是一個(gè)很大難題。當(dāng)負(fù)載不均衡時(shí)，會(huì)引發(fā)路由崩潰現(xiàn)象，這就好比交通擁堵時(shí)道路癱瘓一樣，數(shù)據(jù)在模型中的傳遞受到阻礙，導(dǎo)致計(jì)算效率大幅下降。

為了解決這個(gè)問題，常規(guī)的做法是依賴輔助損失來平衡負(fù)載。然而，這種方法存在一個(gè)弊端，那就是輔助損失一旦設(shè)置過大，就會(huì)對模型性能產(chǎn)生負(fù)面影響，就像為了疏通交通而設(shè)置過多限制，卻影響了整體的通行效率。

DeepSeek對V3進(jìn)行了大膽創(chuàng)新，提出了輔助損失免費(fèi)的負(fù)載均衡策略，引入“偏差項(xiàng)”。在模型訓(xùn)練過程中，每個(gè)專家都被賦予了一個(gè)偏差項(xiàng)，它會(huì)被添加到相應(yīng)的親和力分?jǐn)?shù)上，以此來決定top-K路由。

此外，V3還采用了節(jié)點(diǎn)受限的路由機(jī)制，以限制通信成本。在大規(guī)模分布式訓(xùn)練中，跨節(jié)點(diǎn)的通信開銷是一個(gè)重要的性能瓶頸。通過確保每個(gè)輸入最多只能被發(fā)送到預(yù)設(shè)數(shù)量的節(jié)點(diǎn)上，V3能夠顯著減少跨節(jié)點(diǎn)通信的流量，從而提高訓(xùn)練效率。

根據(jù)國外開源評測平臺(tái)kcores-llm-arena對V3-0324最新測試數(shù)據(jù)顯示，其代碼能力達(dá)到了328.3分，超過了普通版的Claude 3.7 Sonnet（322.3），可以比肩334.8分的思維鏈版本。

每日經(jīng)濟(jì)新聞綜合公開信息

免責(zé)聲明：本文內(nèi)容與數(shù)據(jù)僅供參考，不構(gòu)成投資建議，使用前請核實(shí)。據(jù)此操作，風(fēng)險(xiǎn)自擔(dān)。

封面圖片來源：每日經(jīng)濟(jì)新聞