跳脫逐字生成框架,史丹佛新架構 NCM 產字最高快 31 倍_韩区Apple ID地址填写方法:注册步骤与注意事项 iOS应用下载

焦点 2026-11-22 04:12:00 1

史丹佛大學 Hazy Research 實驗室與 Together AI 10 月 9 日發表論文,跳脫提出名為「次概念建模」(Next-Concept Modeling,逐字字最NCM)文字生成架構。生成史丹主流大型語言模型一次產生一個詞元(token),框架NCM 則先產生整段文字的佛新粗略骨架,再逐層補足細節。架構韩区Apple ID地址填写方法:注册步骤与注意事项 iOS应用下载團隊表示,高快參數規模相近的跳脫條件下,NCM 速度比擴散語言模型快 10~31 倍,逐字字最訓練所需詞元也少 4~5 倍。生成史丹

從砌磚到先擬大綱

ChatGPT、框架Claude、佛新Gemini 等模型多採「自迴歸」(autoregressive)架構,架構根據前文預測下個詞元,高快就像工人砌磚,跳脫輸出越長步驟越多,寫過的字也無法回頭修改。另一條路線是擴散語言模型,先產生一整段雜亂文字,港区iOS账号常见问题再像雕刻般反覆修整,但每一步都得處理整段序列,運算成本高。

NCM 走第三條路,分為兩階段。第一階段訓練一個多尺度殘差向量量化變分自動編碼器(VQ-VAE),把文字轉成由粗到細的多層離散編碼。最上層只有少數編碼,概括整段文字大意,越往下層編碼越多。第二階段訓練一個 Transformer 一次產生一層,同層所有編碼平行預測。這方法借鏡 2024 年獲 NeurIPS 最佳論文的影像生成模型 VAR,也就是先畫低解析度草圖,再逐級提高解析度。論文以德翻英為範例,第一層解碼幾乎是無意義字串,到第 11 層已與參考譯文高度吻合,BLEU 分數達 77.8。

數獨成績優於對手

研究以約 1 億參數的模型,用單張輝達(Nvidia)H100 GPU 測試。LM1B 資料庫 NCM 比擴散模型 DUO 快 21 倍,品質也略優;OpenWebText 時 NCM 只需 32 次模型運算,對手需 1,024 次,速度快 10 倍;XSum 新聞摘要任務,NCM 品質相同時快 31 倍。

最受矚目的是數獨測試。只給 30 個提示數字的困難題,NCM 解出 86.1%,優於最強基準 FMLM+ 的 81.3%,同規模的自迴歸模型僅解出 1%。研究者認為,由粗到細的產生方式讓模型每層都能看到整個盤面並修正之前決定,適合處理有全域限制的問題。

離取代大型語言模型仍遠

分析者提醒,好成績還是有前提。速度比較的基準都是規模相近的擴散與流模型,並未與最佳化過自迴歸模型比較推論時間。主要模型僅約 1 億參數,擴展到 7.25 億參數的實驗仍屬初步,與商用大模型相差好幾個數量級。NCM 層數與長度固定,短回答也得跑完所有層級,且每項任務各自訓練一套模型。德翻英測試,未搭配額外技巧的 NCM 成績仍落後同規模自迴歸模型。論文目前為未經同儕審查的預印本。

團隊也指出,NCM 所稱的「概念」是模型學到的粗層編碼,並非人類可理解的意義單位,與 Meta 以整句為單位的大型概念模型(LCM)不同。下一步將朝三個方向發展:擴大規模、讓分詞器與產生器聯合訓練,以及依任務難度調整運算量。程式碼與模型已以 MIT 授權公開於 GitHub 與 Hugging Face。

(首圖來源:shutterstock)

想請我們喝幾杯咖啡?

icon-tag

每杯咖啡 65 元

icon-coffee x 1
icon-coffee x 3
icon-coffee x 5
icon-coffee x

您的咖啡贊助將是讓我們持續走下去的動力

總金額共新臺幣 0 元
《關於請喝咖啡的 Q & A》
本文地址:http://kus.gcbxw.cn/html/89f6499846.html
版权声明

本文仅代表作者观点,不代表本站立场。
本文系作者授权发表,未经许可,不得转载。

全站热门

煤炭贸易的新世界秩序正在形成

基元律动与无问芯穹达成战略合作,推进高质量Token供给与应用

基元律动与无问芯穹达成战略合作,推进高质量Token供给与应用

2018股票退市新规发布 新规落地传递出这三大信号

中石化易捷第九届“易享节”在广州启动

厦门体育中考昨起开考 全市3.6万人赴考难度降低

福建向金门供水四周年 累计供水超2167万吨

​厦门经济总体呈现积极向好态势 “云招商”效果显现

友情链接