當(dāng)?shù)貢r(shí)間4月18日，AI 領(lǐng)域迎來(lái)重磅消息，Meta正式發(fā)布了人們等待已久的開(kāi)源大模型Llama 3。

與此同時(shí)，Meta首席執(zhí)行官扎克伯格宣布：基于最新的Llama 3模型，Meta的AI助手現(xiàn)在已經(jīng)覆蓋Instagram、WhatsApp、Facebook等全系應(yīng)用，并單獨(dú)開(kāi)啟了網(wǎng)站。另外還有一個(gè)圖像生成器，可根據(jù)自然語(yǔ)言提示詞生成圖片。

Meta首席執(zhí)行官馬克·扎克伯格在一段視頻中表示，該助理可以回答問(wèn)題、制作動(dòng)畫(huà)和生成圖像。

扎克伯格在 Facebook 上發(fā)帖：Big AI news today

Meta首席執(zhí)行官馬克·扎克伯格在視頻中表示：我們相信，Meta AI現(xiàn)在是你可以自由使用的最智能的人工智能助手。Meta AI內(nèi)置于WhatsApp、Instagram、Facebook和Messenger應(yīng)用程序的搜索框中，因此用戶可以輕松地提出可以通過(guò)新工具回答的問(wèn)題。

扎克伯格表示，Meta 提供的生成式 AI 能力在免費(fèi)產(chǎn)品中性能是最強(qiáng)大的。

在 Facebook、Instagram、WhatsApp 和 Messenger 上，用戶現(xiàn)在可以借助 Meta AI 進(jìn)行搜索，無(wú)需在應(yīng)用程序之間切換：

當(dāng)你瀏覽信息流的時(shí)候，還可以直接從帖子中向 Meta AI 詢問(wèn)更多信息：

圖像生成器帶來(lái)的玩法更加有趣，Imagine 功能帶來(lái)了從文本實(shí)時(shí)創(chuàng)建圖像。這一功能的測(cè)試版從今天開(kāi)始在美國(guó)的 WhatsApp 和 Meta AI 網(wǎng)絡(luò)體驗(yàn)上推出。

開(kāi)始打字時(shí)，你會(huì)看到一個(gè)圖像出現(xiàn)，每多輸入幾個(gè)字母，圖像都會(huì)發(fā)生變化：

Meta表示，Llama 3在多個(gè)關(guān)鍵的基準(zhǔn)測(cè)試中性能優(yōu)于業(yè)界先進(jìn)同類(lèi)模型，其在代碼生成等任務(wù)上實(shí)現(xiàn)了全面領(lǐng)先，能夠進(jìn)行復(fù)雜的推理，可以更遵循指令，能夠可視化想法并解決很多微妙的問(wèn)題。

Llama 3的主要亮點(diǎn)包括：

基于超過(guò)15T token訓(xùn)練，相當(dāng)于Llama 2數(shù)據(jù)集的7倍還多；

支持8K長(zhǎng)文本，改進(jìn)的tokenizer具有128K token的詞匯量，可實(shí)現(xiàn)更好的性能；

在大量重要基準(zhǔn)中均具有最先進(jìn)性能；

新能力范疇，包括增強(qiáng)的推理和代碼能力；

訓(xùn)練效率比Llama 2高3倍；

帶有Llama Guard 2、Code Shield和CyberSec Eval 2的新版信任和安全工具。

剛剛發(fā)布的8B和70B版本Llama 3模型已用于Meta AI助手，同時(shí)也面向開(kāi)發(fā)者進(jìn)行了開(kāi)源，包括預(yù)訓(xùn)練和微調(diào)版本。

最新發(fā)布的8B和70B參數(shù)的Llama 3模型可以說(shuō)是Llama 2的重大飛躍，由于預(yù)訓(xùn)練和后訓(xùn)練（Post-training）的改進(jìn)，本次發(fā)布的預(yù)訓(xùn)練和指令微調(diào)模型是當(dāng)今8B和70B參數(shù)規(guī)模中的最佳模型。與此同時(shí)，后訓(xùn)練過(guò)程的改進(jìn)大大降低了模型出錯(cuò)率，進(jìn)一步改善了一致性，并增加了模型響應(yīng)的多樣性。

Llama 3將數(shù)據(jù)和規(guī)模提升到新的高度。Meta表示，Llama 3是在兩個(gè)定制的24K GPU集群上、基于超過(guò)15T token的數(shù)據(jù)上進(jìn)行了訓(xùn)練——相當(dāng)于Llama 2數(shù)據(jù)集的7倍還多，代碼數(shù)據(jù)相當(dāng)于Llama 2的4倍。從而產(chǎn)生了迄今為止最強(qiáng)大的Llama模型，Llama 3支持8K上下文長(zhǎng)度，是Llama 2容量的兩倍。

此外，Meta還開(kāi)發(fā)了一套新的高質(zhì)量人類(lèi)評(píng)估數(shù)據(jù)集。該評(píng)估集包含1800個(gè)提示，涵蓋12個(gè)關(guān)鍵用例：尋求建議、頭腦風(fēng)暴、分類(lèi)、封閉式問(wèn)答、編碼、創(chuàng)意寫(xiě)作、提取、塑造角色、開(kāi)放式問(wèn)答、推理、重寫(xiě)和總結(jié)。為了防止Llama 3在此評(píng)估集上出現(xiàn)過(guò)度擬合，Meta表示他們自己的團(tuán)隊(duì)也無(wú)法訪問(wèn)該數(shù)據(jù)集。下圖顯示了針對(duì)Claude Sonnet、Mistral Medium和GPT-3.5對(duì)這些類(lèi)別和提示進(jìn)行人工評(píng)估的匯總結(jié)果。

下圖是 Llama 3 預(yù)訓(xùn)練模型和其他同等規(guī)模模型的比較，前者表現(xiàn)出 SOTA 水平。

為了訓(xùn)練最好的語(yǔ)言模型，管理大型、高質(zhì)量的訓(xùn)練數(shù)據(jù)集至關(guān)重要。Meta在預(yù)訓(xùn)練數(shù)據(jù)上投入了大量成本。Llama 3使用超過(guò)15T的token進(jìn)行了預(yù)訓(xùn)練，這些token都是從公開(kāi)來(lái)源收集的。總體上講，Llama 3的訓(xùn)練數(shù)據(jù)集是Llama 2使用的數(shù)據(jù)集的七倍多，并且包含四倍多的代碼。為了為即將到來(lái)的多語(yǔ)言用例做好準(zhǔn)備，超過(guò)5%的Llama 3預(yù)訓(xùn)練數(shù)據(jù)集由涵蓋30多種語(yǔ)言的高質(zhì)量非英語(yǔ)數(shù)據(jù)組成。但是，Llama 3在這些語(yǔ)言上的性能水平預(yù)計(jì)不會(huì)與英語(yǔ)相同。

為了確保Llama 3接受最高質(zhì)量數(shù)據(jù)的訓(xùn)練，研究團(tuán)隊(duì)開(kāi)發(fā)了一系列數(shù)據(jù)過(guò)濾pipeline，包括使用啟發(fā)式過(guò)濾器（filter）、NSFW過(guò)濾器、語(yǔ)義重復(fù)數(shù)據(jù)刪除方法和文本分類(lèi)器來(lái)預(yù)測(cè)數(shù)據(jù)質(zhì)量。

研究團(tuán)隊(duì)發(fā)現(xiàn)前幾代Llama非常擅長(zhǎng)識(shí)別高質(zhì)量數(shù)據(jù)，因此Meta使用Llama 2為給Llama 3提供支持的文本質(zhì)量分類(lèi)器生成訓(xùn)練數(shù)據(jù)。

研究團(tuán)隊(duì)還進(jìn)行了廣泛的實(shí)驗(yàn)，以評(píng)估出在最終預(yù)訓(xùn)練數(shù)據(jù)集中不同來(lái)源數(shù)據(jù)的最佳混合方式，最終確保Llama 3在各種用例（包括日常問(wèn)題、STEM、編碼、歷史知識(shí)等）中表現(xiàn)良好。

Meta表示，最大的Llama 3參數(shù)超過(guò)400B，雖然這些機(jī)型仍在訓(xùn)練中，但在接下來(lái)的幾個(gè)月中也將陸續(xù)發(fā)布，新功能包括多模態(tài)、多語(yǔ)言對(duì)話能力、更長(zhǎng)的上下文窗口以及更強(qiáng)的整體能力。

Meta希望Llama 3能趕上OpenAI的GPT-4。不過(guò)知情人士透露，因?yàn)檠芯咳藛T尚未開(kāi)始對(duì)Llama 3進(jìn)行微調(diào)，所以尚未決定Llama 3是否將是多模態(tài)模型。微調(diào)是開(kāi)發(fā)人員為現(xiàn)有模型提供額外數(shù)據(jù)的過(guò)程，以便它可以學(xué)習(xí)新信息或任務(wù)。較大的模型通常會(huì)提供更高質(zhì)量的答復(fù)，而較小的模型往往會(huì)更快的提供答復(fù)。有消息稱(chēng)，正式版的Llama 3將會(huì)在今年7月正式推出。

Meta還宣布與Alphabet的谷歌建立新的合作伙伴關(guān)系，在助手的答復(fù)中包括實(shí)時(shí)搜索結(jié)果，作為與微軟必應(yīng)現(xiàn)有合作的補(bǔ)充。隨著此次更新，Meta AI助手正在擴(kuò)展到美國(guó)以外的十多個(gè)市場(chǎng)，包括澳大利亞、加拿大、新加坡、尼日利亞和巴基斯坦?？伎怂拐f(shuō)，Meta“仍在努力以正確的方式在歐洲做到這一點(diǎn)”。歐洲的隱私規(guī)定更加嚴(yán)格，即將出臺(tái)的人工智能法案也準(zhǔn)備提出披露模型訓(xùn)練數(shù)據(jù)等要求。

每日經(jīng)濟(jì)新聞綜合公開(kāi)資料