每經(jīng)編輯 金冥羽    

2月18日，DeepSeek在海外社交平臺(tái)發(fā)布了一篇純技術(shù)論文報(bào)告，論文主要內(nèi)容是關(guān)于NSA（Natively Sparse Attention，原生稀疏注意力）。

據(jù)介紹，NSA專(zhuān)為長(zhǎng)文本訓(xùn)練與推理設(shè)計(jì)，能利用動(dòng)態(tài)分層稀疏策略等方法，通過(guò)針對(duì)現(xiàn)代硬件的優(yōu)化設(shè)計(jì)，顯著優(yōu)化傳統(tǒng)AI模型在訓(xùn)練和推理過(guò)程中的表現(xiàn)，特別是提升長(zhǎng)上下文的推理能力，在保證性能的同時(shí)提升了推理速度，并有效降低了預(yù)訓(xùn)練成本。

在這篇名為《原生稀疏注意力：硬件對(duì)齊且可原生訓(xùn)練的稀疏注意力機(jī)制》（Native Sparse Attention: Hardware-Aligned and Natively Trainable Sparse Attention）的論文署名中，DeepSeek創(chuàng)始人兼CEO梁文鋒也作為共創(chuàng)在列。

其他研究人員來(lái)自DeepSeek、北大和華盛頓大學(xué)，其中第一作者Jingyang Yuan（袁景陽(yáng)）是在DeepSeek實(shí)習(xí)期間完成的這項(xiàng)研究。

值得一提的是，今日中午12點(diǎn)（太平洋時(shí)間17日晚8點(diǎn)），馬斯克旗下AI公司xAI發(fā)布了Grok 3及其精簡(jiǎn)版Grok 3 mini。發(fā)布會(huì)采用視頻直播形式，觀(guān)看人數(shù)超過(guò)100萬(wàn)人。

圖片來(lái)源：直播截圖

Grok 3是xAI對(duì)OpenAI的o3-mini和DeepSeek的R1等模型的回應(yīng)，它可以分析圖像和回答問(wèn)題，并為X上的許多功能提供支持。此前馬斯克在X上造勢(shì)稱(chēng)，Grok 3是“地球上最聰明的人工智能”。

在此次直播中，馬斯克透露，實(shí)際上，到訓(xùn)練進(jìn)行到92天時(shí)，集群的規(guī)模已經(jīng)擴(kuò)大到了20萬(wàn)塊GPU。

編輯|金冥羽?杜波

校對(duì)|陳柯名

封面圖片來(lái)源：視覺(jué)中國(guó)

每日經(jīng)濟(jì)新聞綜合自券商中國(guó)、財(cái)聯(lián)社、公開(kāi)資料等