小紅書(shū)開(kāi)源多模態(tài)AI模型dots.vlm1：DeepSeek V3加持，實(shí)力還是噱頭？
近期，小紅書(shū)hi lab研發(fā)并開(kāi)源了首個(gè)多模態(tài)大模型dots.vlm1，該模型基于DeepSeek V3 LLM構(gòu)建，并搭配了一個(gè)從零訓(xùn)練的12億參數(shù)視覺(jué)編碼器。官方宣稱(chēng)其在多模態(tài)評(píng)測(cè)集上接近閉源SoTA模型的水平，文本能力也與主流文本模型相當(dāng)。這一消息引發(fā)了業(yè)界關(guān)注：dots.vlm1究竟是技術(shù)突破，還是營(yíng)銷(xiāo)噱頭？讓我們從技術(shù)細(xì)節(jié)、性能表現(xiàn)和實(shí)際應(yīng)用三個(gè)維度進(jìn)行客觀(guān)分析。
技術(shù)架構(gòu)：創(chuàng)新與繼承并存
dots.vlm1的核心技術(shù)創(chuàng)新主要體現(xiàn)在視覺(jué)編碼器設(shè)計(jì)上。其采用的NaViT視覺(jué)編碼器沒(méi)有基于成熟視覺(jué)編碼器微調(diào)，而是完全從零開(kāi)始訓(xùn)練，原生支持動(dòng)態(tài)分辨率。這種設(shè)計(jì)理論上可以避免預(yù)訓(xùn)練模型的局限性，但同時(shí)也面臨更大的訓(xùn)練難度。值得注意的是，該模型在文本監(jiān)督外增加了純視覺(jué)監(jiān)督，這種雙監(jiān)督機(jī)制可能提升了模型的感知能力上限。
在訓(xùn)練數(shù)據(jù)方面，dots.vlm1突破了傳統(tǒng)Image Caption數(shù)據(jù)的局限，引入了大量結(jié)構(gòu)化圖片進(jìn)行原生訓(xùn)練，這有助于提升OCR等特定能力。此外，團(tuán)隊(duì)還創(chuàng)新性地采用了多種合成數(shù)據(jù)思路，覆蓋表格、圖表、文檔等多種圖片類(lèi)型及其描述。這種數(shù)據(jù)策略的多樣性可能為模型性能提升奠定了基礎(chǔ)。
性能表現(xiàn)：接近SOTA但仍有差距
根據(jù)官方測(cè)試數(shù)據(jù)，dots.vlm1在MMMU、MathVision、OCR Reasoning等多個(gè)基準(zhǔn)測(cè)試中表現(xiàn)突出，整體接近Gemini 2.5 Pro與Seed-VL1.5 thinking等領(lǐng)先模型。特別是在圖文理解與推理能力方面顯示出較強(qiáng)實(shí)力，這表明其在多模態(tài)融合方面確實(shí)取得了實(shí)質(zhì)性進(jìn)展。
然而在文本推理任務(wù)上，dots.vlm1的表現(xiàn)僅相當(dāng)于DeepSeek-R1-0528，在GPQA等多樣化推理任務(wù)上仍存在明顯差距。這種不均衡的表現(xiàn)說(shuō)明，雖然多模態(tài)能力突出，但作為基礎(chǔ)的語(yǔ)言理解能力仍有提升空間。
實(shí)際應(yīng)用：潛力與挑戰(zhàn)
從官方展示的復(fù)雜圖表推理、STEM解題等樣例來(lái)看，dots.vlm1確實(shí)具備處理專(zhuān)業(yè)視覺(jué)內(nèi)容的能力。這種能力對(duì)于小紅書(shū)這樣的內(nèi)容平臺(tái)具有直接應(yīng)用價(jià)值，可以用于內(nèi)容理解、推薦優(yōu)化等多個(gè)場(chǎng)景。開(kāi)源策略也降低了技術(shù)使用門(mén)檻，有利于生態(tài)建設(shè)。
但值得注意的是，當(dāng)前開(kāi)源的多模態(tài)模型普遍面臨部署成本高、推理速度慢等實(shí)際問(wèn)題。dots.vlm1作為一個(gè)12億參數(shù)的模型，在實(shí)際業(yè)務(wù)中的適用性還需要進(jìn)一步驗(yàn)證。此外，雖然接近SOTA，但與頂尖商業(yè)模型相比仍存在差距，這可能限制其在關(guān)鍵業(yè)務(wù)場(chǎng)景的應(yīng)用。
中立評(píng)價(jià)：進(jìn)步顯著但需理性看待
綜合來(lái)看，dots.vlm1代表了國(guó)內(nèi)企業(yè)在多模態(tài)AI領(lǐng)域的實(shí)質(zhì)性進(jìn)步，特別是在視覺(jué)編碼器設(shè)計(jì)和訓(xùn)練數(shù)據(jù)策略方面展現(xiàn)出了創(chuàng)新性。其開(kāi)源行為也值得肯定，有助于推動(dòng)行業(yè)整體發(fā)展。
然而也需認(rèn)識(shí)到，該模型在部分細(xì)分任務(wù)上仍與最優(yōu)結(jié)果存在差距，且實(shí)際應(yīng)用效果尚待驗(yàn)證。將其稱(chēng)為"新的性能上限"可能略顯樂(lè)觀(guān)，但確實(shí)為開(kāi)源社區(qū)提供了一個(gè)有競(jìng)爭(zhēng)力的多模態(tài)基礎(chǔ)模型。
未來(lái)，dots.vlm1需要在架構(gòu)設(shè)計(jì)和訓(xùn)練數(shù)據(jù)上持續(xù)優(yōu)化，特別是在提升文本推理能力和降低計(jì)算成本方面。如果能解決這些問(wèn)題，它有望成為開(kāi)源多模態(tài)模型中的重要選擇。對(duì)于技術(shù)團(tuán)隊(duì)而言，這是一個(gè)值得關(guān)注但需要理性評(píng)估的項(xiàng)目。
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書(shū)面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。 ）
