跳至主要內容
SHUO Blog News每日早報

自動 AI 新聞摘要:NVIDIA 開源 Nemotron-Labs-Sigma 連續擴散語言模型、OpenAI 推醫療電腦操作 Agent 與嵌入式安全評估、AMD Loom 推論堆疊加速 42%、MMFlash 多模態解碼提速 3.58 倍

11 月 17 日 AI 新聞摘要:NVIDIA 推出突破性的連續擴散語言模型 Nemotron-Labs-Sigma,以區塊平行去噪顛覆傳統自回歸;OpenAI 發布醫療專用 Computer-Use Agent、啟動首階段外部嵌入式評估並免費開放 20 萬科研學者使用;AMD 實驗性推論堆疊 Loom 支援 Radeon 9700 迎來 42% 速度躍升;MMFlash 透過視覺依賴加權實現多模態無損推測解碼 3.58 倍加速;上海 AI Lab 開源科學多模態模型 Sage-S2.1-Flash;以及企業開源權重模型使用率飆升至 30% 等前沿動態。

由 Codex 經由 Horizon 自動抓取新聞並自動編寫

前言

本文由 Horizon 抓取資料,再由 Codex 篩選與改寫;Horizon 僅負責資料抓取。今日全球人工智慧與機器學習領域迎來了一系列橫跨生成架構革新、前沿智慧體落地實戰、硬體推論垂直堆疊優化以及科學多模態前沿的重量級突破:在語言模型架構基礎研究方面,NVIDIA 正式開源 Nemotron-Labs-Sigma 8B 與 3B 連續擴散語言模型(Continuous Diffusion Language Model),捨棄逐字預測的傳統自回歸(Autoregressive)模式,改在連續 Token 嵌入空間中執行區塊平行高斯去噪,開闢了全新的文字生成架構範式;在智慧體(Agent)產業落地與前沿安全層面,OpenAI 動作頻頻,不僅推出了專為醫療團隊打造的 Computer-Use Agent 與臨床問答升級方案,更攜手 Apollo Research、METR 等第三方權威機構啟動第一階段嵌入式評估體系(Embedded Assessments),同時宣布將 ChatGPT 免費開放給全球 20 萬名科研學者;在底層推論與編譯堆疊領域,AMD 實驗性推論堆疊 Loom 宣佈支援 Radeon 9700,針對 48 款主流開源模型實測跑出比 llama.cpp 平均高出 42% 的推論效能;在多模態推論加速方向,全新發布的 MMFlash 推測解碼框架 破解了視覺語言模型(VLM)在視覺依賴 Token 上的預測瓶頸,實現了高達 3.58 倍的無損推論提速;此外,上海人工智慧實驗室開源了具備統一科學表徵的 Sage-S2.1-Flash 多模態模型、企業內部開源權重模型採用比例激增至 30%、騰訊混元釋出輕量多模態旗艦 Hy4 flash,以及 Harmonic Aristotle 將程式碼形式化驗證拓展至 Rust 生態,共同展現了從底層數學推論到高階工程實踐的全面進展。

生成架構新突破:NVIDIA 開源 Nemotron-Labs-Sigma,以「連續空間擴散去噪」顛覆傳統自回歸

自 Transformer 誕生以來,主流語言模型幾乎均遵循自左向右、單步預測下一 Token 的自回歸生成機制。然而,自回歸模型在長文本生成時無法平行運算、解碼延遲高,且難以進行全域軌跡引導。NVIDIA 今日在開源社群正式釋出 Nemotron-Labs-Sigma-8B 與 Nemotron-Labs-Sigma-3B 系列模型(包含 Base 與 Instruct SFT 微調版本),為大語言模型帶來了革命性的「連續空間擴散(Continuous-Space Diffusion)」生成架構。

  1. 核心架構:16 維連續 Token 嵌入空間的高斯去噪:
    • 與過去在離散 Token 字典中進行 Mask 預測的離散擴散模型不同,Nemotron-Labs-Sigma 在一個 16 維的低維連續 Token 嵌入空間中操作;
    • 模型將生成文字視為在該連續流形中對高斯雜訊進行去噪的過程,去噪網路(Ministral 風格的 Decoder-only Transformer,整合 GQA、SwiGLU 與 RoPE)與連續 Token 嵌入由對數似然最佳化(Likelihood Optimization)聯合訓練完成。
  2. 區塊平行解碼(Block-Parallel Decoding)與標準 KV 快取相容:
    • 文本不再是逐字產出,而是以「區塊(Block)」為單位平行解碼(預設每區塊包含 64 個 Token);
    • 每個區塊在可設定的去噪步數(支援 DDPM 或 DDIM 取樣器,並具備自條件 Self-Conditioning)下逐步精煉,而歷史上已經確定(Committed)的區塊則直接透過標準鍵值快取(KV Cache)高效重複使用;
    • 開發者可自由在推論步數(Number of Function Evaluations, NFE)與文字品質之間取得平衡,極少的去噪步數即可換取顯著的生成延遲降低。
  3. 推論極度輕量,相容既有生態:
    • 該模型完全以純 PyTorch 實作,可透過標準 Hugging Face transformers 庫直接載入(啟用 trust_remote_code),完全無需自訂 CUDA 核心、編譯特定 Flash-Attention 擴充套件或額外的訓練框架;
    • 模型支援 8,192 上下文長度,並採用寬鬆授權,允許商業與非商業用途。這項研究證實了連續擴散模型在 8B 規模下具備與頂尖離散擴散甚至自回歸模型相抗衡的推理能力,為未來的少步數蒸餾與軌跡引導提供了嶄新基石。

來源:Reddit r/LocalLLaMA:nvidia/Nemotron-Labs-Sigma 8B/3B 與 Hugging Face:nvidia/Nemotron-Labs-Sigma-8B-instruct

OpenAI 全面深耕醫療與科研:發布醫療 Computer-Use 智慧體、展開外部安全評估並開放 20 萬學者

OpenAI 今日發布了一系列橫跨醫療工作流自動化、前沿模型獨立安全檢驗與基礎科學研究資助的重磅消息,展現出其將 AI 技術深植於關鍵基礎設施與科研生態的戰略佈局。

  1. 推出醫療專用 Computer-Use Agent 與 ChatGPT for Healthcare 更新:
    • OpenAI 宣布將電腦操作智慧體(Computer-Use Agents)正式導入醫療護理團隊的工作流程中。醫療機構長期受困於老舊封閉、難以互相串接的電子健康紀錄(EHR)與臨床管理軟體;
    • 藉由具備螢幕辨識、點擊與輸入能力的電腦操作代理,AI 能夠跨軟體介面自動協助醫護人員完成日常行政作業、病例填寫與病程追蹤;
    • 此外,ChatGPT for Healthcare 同步升級了臨床問答推理能力,並推出專為醫療情境設計的新外掛,進一步縮短醫護人員在行政手續上的無效工時。
  2. 啟動第一階段嵌入式安全評估(Embedded Assessments):
    • 為了強化前沿模型的安全可信度,OpenAI 正式與 Apollo Research、METR、Transluce 以及 Goodfire 等四家全球頂尖的獨立 AI 安全機構合作,展開第一階段「嵌入式評估」;
    • 外部研究團隊將深入模型開發管線,針對模型的對齊狀態(Alignment)、安全防護措施(Safeguards)以及內部監控系統進行獨立、客觀的實彈檢驗,以建立更透明的前沿 AI 治理標竿。
  3. 擴大科研資助:免費提供 20 萬全球研究人員 Frontier 模型:
    • OpenAI 宣布大幅擴展其「ChatGPT for Academic Researchers」計畫,將為全球 20 萬名學術界科學家免費提供 Frontier 前沿模型的使用額度;
    • 同步發布的《Science at the Frontier》報告調查了超過 1,800 名科學家在文獻綜述、假說生成、實驗程式碼編寫與數據分析中的日常實踐,展現出高階模型已實質成為科研人員不可或缺的數位協作者。

來源:OpenAI:Advancing computer-use agents for healthcare teams、OpenAI:More ways to move care forward with ChatGPT for Healthcare、OpenAI:Our first phase of embedded assessments 與 OpenAI:Broadening access to AI for scientists

AMD 開源推論堆疊 Loom 突飛猛進:支援 Radeon 9700,48 款模型基準實測平均超車 llama.cpp 42%

在本地端推論領域,llama.cpp 一直是跨平台量化執行的黃金標準。然而,AMD 開發者社群近期推出的實驗性推論技術堆疊 AMD Loom 正迅速打破這項固有格局。繼上週在 Strix Halo APU 上取得顯著加速後,作者今日帶來了針對獨立顯示卡 Radeon 9700(32GB VRAM) 的完整實測報告。

  1. 垂直整合的推論引擎與 Agent Skills 自動核心生成:
    • AMD Loom 是一套包含執行階段(Runtime)、核心編譯器(Kernel Compiler)與高效推論伺服器的完整垂直技術堆疊,編譯器核心亦能無縫整合至其他推論框架(如 Gufo 或作為 llama.cpp 的自訂後端);
    • 特別值得一提的是,專案中的所有高效能 GPU 核心全部是由 AI Agent Skills(loom-skills) 自動生成與調校,展現出自動化代理在硬體底層運算最佳化上的巨大潛力。
  2. 48 款模型基準測試:Prefill 與 Decode 綜合領先 42%:
    • 測試團隊選取了 Hugging Face 上最熱門的 Q4_K_M 量化模型,在 32GB 顯存容量內嚴格對比了 48 款模型的效能表現;
    • 在 32k 長上下文預填(Prefill, pp32k)與短文字解碼(Short Decode)兩項關鍵指標上,Loom 相較於最新版 llama.cpp 實現了 42% 的平均速度提升;
    • 部分模型展現出極為驚人的倍增效應:例如 Flint 在 32k 預填上自 3,190 tok/s 飆升至 6,476 tok/s(提升 103%),Decode 自 152 tok/s 提升至 255 tok/s;gemma-4-12B-it 的 32k 預填速度提升達 83%(2,811 vs 1,537 tok/s),解碼速度更自 67.3 翻倍至 127 tok/s;Qwen3-Coder-30B-A3B-Instruct 的解碼速度亦從 54.8 暴增至 157 tok/s(加速近 3 倍)。
  3. 本地推論生態意涵:
    • 這一突破表明,透過針對 RDNA 架構專屬設計的記憶體讀寫通道與自適應調度編譯器,AMD 硬體在本地大語言模型推論上的潛力正在被深度喚醒,為本機 AI 開發者提供了除 CUDA 之外極具競爭力的高性價比選擇。

來源:Reddit r/LocalLLaMA:AMD Loom Fun: Added Radeon 9700 support over the weekend 與 AMD Loom Benchmark 儀表板

多模態推測解碼重大進展:MMFlash 破解視覺依賴瓶頸,實現無損 3.58 倍解碼加速

推測解碼(Speculative Decoding)是近年加速大模型推論的主流技術,透過輕量級草稿模型(Drafter)單次前向傳播提出一組 Token 區塊,再交由目標模型平行驗證。然而,現有擴散式草稿模型(如 DFlash)多專注於純文字任務,一旦套用於視覺語言模型(VLM)時,推測成功率便急劇下降。今日在開源學術社群發布的 MMFlash 論文與模型,首次深入剖析並徹底解決了這項難題。

  1. 揭開關鍵病灶:Token 級別的「視覺依賴度(Visual Dependence)」落差:
    • 研究團隊提出了一種度量指標,透過計算模型在「給予視覺輸入」與「無視覺輸入」時的下一個 Token 預測分佈之 KL 散度,量化各 Token 對圖像內容的依賴程度;
    • 數據揭露了一個嚴峻現實:在視覺依賴度最低的前 25% Token 中,草稿模型的接受率高達 46%;但在高度依賴圖像資訊的 Token 中,接受率暴跌至 22%。即使用多模態資料對草稿模型進行完整訓練,這種預測落差依然頑固存在。
  2. MMFlash 兩大技術利刃:自適應加權與稀疏注意力:
    • 自適應難題加權:MMFlash 引入動態加權機制,針對草稿模型預測欠佳且視覺依賴度極高的 Token 自適應調高損失權重,強迫草稿模型精準捕捉多模態語義;
    • 長視訊稀疏注意力(Sparse Attention):在面對超長多影格視訊輸入時,MMFlash 採用稀疏注意力機制大幅剔除冗餘的空間與時間維度注意力計算,不僅加快了草稿生成速度,更顯著改善了草稿預測品質。
  3. 效能躍升:最高 3.58 倍無損加速:
    • 在多個權威多模態基準測試中,MMFlash 達到了高達 3.58 倍的端到端無損解碼加速;
    • 與業界頂尖方案相比,其推測效能分別超越了 EAGLE-3 達 195.4%、超越 DFlash 達 17.1%,且完全保持與原始目標模型百分之百一致的輸出機率分佈,為多模態即時對話與邊緣視覺理解提供了高效的落地解方。

來源:Reddit r/LocalLLaMA:Paper & Models MMFlash: Faster Speculative Decoding for Vision-Language Models 與 ArXiv:MMFlash 論文

科學多模態生力軍:上海 AI Lab 釋出 Sage-S2.1-Flash,統一分子圖譜與晶體結構表徵

上海人工智慧實驗室(Shanghai AI Laboratory)今日開源了一款專為複雜科學研究與跨學科分析設計的多模態大模型——Sage-S2.1-Flash。該模型打破了傳統語言模型難以直接理解非文字科學結構的障礙,具備多輪深度分析、可視化反饋自我糾錯與複雜工具呼叫能力。

  1. Sage SciPerception:跨越十種科學模態的統一表徵空間:
    • 該模型整合了專屬的 SciPerception 架構,原生支援包含分子圖(Molecular Graphs)、晶體結構(Crystal Structures)、蛋白質序列以及蛋白質 3D 構象等超過 10 種科學專用數據型別;
    • 各類輸入特徵在經過專門的編碼器後,直接投影至統一的跨模態共享表徵空間,能無縫與自然語言指令交織,執行性質預測、化學分類、活性位點定位、定量計算與立體結構推斷等極限任務。
  2. 閉環研究工作流與動態工具調用:
    • Sage-S2.1-Flash 能夠調用專業科學計算軟體執行仿真模擬,檢查中間生成的數據與圖像反饋,並根據視覺化計算結果主動修正後續的推理與驗證步驟,展現出高度自主的科學 Agent 特性。
  3. 橫掃多項基準榜單:
    • 在測試的 15 項綜合基準中,Sage-S2.1-Flash 奪得 4 項第一與 7 項第二;
    • 機器學習工程(MLE):在權威的 MLE-bench Lite 上獲得 90.3 分的高分,超越了 DeepSeek-V4.1-Flash-1017(89.2 分);
    • 專業文檔與表格理解:在 OfficeQA Pro、Harvey LAB 與 SpreadsheetBench 2 分別斬獲 72.2、25.0 與 37.1 分,均位列同級別模型榜首;
    • 在研究執行與自動化基準(如 AutomationBench、BFCL V4、WebArena-Verified 及 OSWorld-Verified)中亦全面名列前茅,展現出全能的學術助理能力。

來源:Hugging Face / Reddit:internlm/Sage-S2.1-Flash 與 Hugging Face 模型庫

產業動態與開發工具:企業開源權重採用率飆至 30%、騰訊釋出 Hy4 flash、GitHub Copilot 全域 AI 掃描與 Rust 形式化驗證

除了上述基礎模型與底層技術的演進外,今日在企業採用趨勢與開發者工具鏈方面亦傳來多項重要進展:

  1. 企業內部開源權重模型使用率激增至 30%:
    • 最新產業數據顯示,自今年 7 月幾乎為零的份額起算,企業在生產環境中對「開源權重模型(Open Weight Models)」的調用量已飆升至整體 API 使用量的 30%;
    • 企業普遍將開源模型部署於大批量資料處理、批次離線推論以及常規程式碼生成等高頻寬場景,藉此大幅抑制閉源商業 API 的長期營運成本。
  2. 騰訊混元推出 Hy4 flash:224B 參數量的高性價比輕量旗艦:
    • 騰訊混元團隊正式推出 Hy4 flash 模型,擁有 224B 總參數量(包含 64B Engram 專屬記憶參數),但透過極致的稀疏混合專家(MoE)設計,每個 Token 生成時僅啟動 12B 活躍參數;
    • 模型原生支援多模態輸入與高達 100 萬 Token(1M) 的長上下文窗口,在維持旗艦級多模態推理與長文本理解的同時,將推論成本與 API 定價降至極低水準。
  3. GitHub Copilot 引入全域 AI 安全掃描與 Agent Session 追蹤:
    • GitHub 發布每週重大更新,正式在 VS Code 中推出直觀的 Agent Sessions 監看功能,讓開發者一眼掌握哪些自主編程代理目前需要人工介入審核;
    • 上線「儲存庫全域 AI 掃描(Bulk start AI Scan for repositories)」,利用進階 AI 模型深度掃描預設分支中的安全漏洞,涵蓋 CodeQL 尚未支援的程式語言,並在既有靜態分析的基礎上挖掘更隱蔽的業務邏輯缺陷。
  4. Harmonic Aristotle 驗證能力延伸至 Rust 生態:
    • 程式碼形式化驗證工具 Aristotle 正式宣佈支援 Rust 語言。其最具突破性的亮點在於:系統能夠借助大語言模型與符號證明引擎,甚至能在 unsafe 區塊內部嚴格證明程式碼不存在任何未定義行為(Undefined Behavior),為構建極端安全、高併發的關鍵系統軟體提供了前所未有的形式化驗證保障。
  5. 官方 SDK 演進:OpenAI 與 Anthropic 同步更新 Python SDK:
    • openai-python 釋出 v3.52.0,正式支援排程暫停原因查詢,並支援將 Beta Agents 的 Session 錯誤以串流事件格式即時回傳;
    • anthropic-sdk-python 發布 v2.9.0,新增 Claude Tag Bundle 更新指令與 RBAC 角色錯誤碼回報,並針對 Windows 環境下的工作區安全沙盒與 ripgrep 執行路徑進行了關鍵的安全性加固。

來源:Reddit r/LocalLLaMA:Open weight models account for 30% usage at enterprises、Reddit r/LocalLLaMA:Introducing Hy4 flash、GitHub Changelog:Bulk start AI Scan for repositories、Harmonic:Aristotle Expands into Rust 與 GitHub:anthropic-sdk-python v2.9.0