自動 AI 新聞摘要：ISTA 釋出 DeepSeek-V4.1-Flash 極致量化 GGUF、GPU-Unlock 解鎖 RTX 30/40 限制使 LLM 算力翻倍、Meta 發表位元級無分詞模型研究、ANEMLL 實現 Apple 晶片 192K 長上下文

前言

本文由 Horizon 抓取資料，再由 Codex 篩選與改寫；Horizon 只負責資料抓取。今日全球人工智慧技術動態聚焦於「前沿超大模型極致壓縮與邊緣平民化」、「硬體潛能逆向解鎖與老舊算力再生」、「底層 Tokenizer 典範轉移」、「終端神經網路引擎架構突破」，以及「系統程式語言與 AI 語言認知深層反思」。從奧地利科學技術學院（ISTA）釋出讓 763B 頂級 MoE 模型在單張 12GB 消費級顯卡運行的 GSQ-RCO 量化方案，到社群利用開源 UEFI 模組解鎖 RTX 30/40 系被封鎖的指令發射率使 Prefill 效能倍增；從 Meta 探索摒棄分詞器直接讀取原始位元組的微型模型 Scaling Law，到 Apple Neural Engine 上實現 192K 上下文的本地推論破局，AI 技術社群正在以驚人的工程實踐，將頂級模型的能力邊界全面推進至消費級硬體與底層系統的核心地帶。

ISTA DASLab 發布 DeepSeek-V4.1-Flash-1017 GSQ-RCO 量化：2.0 bpw 保持 100% 效能，單張 12GB 顯卡流暢運行 763B MoE

奧地利科學技術學院深度演算法與系統實驗室（ISTA DASLab）正式公開了針對 DeepSeek-V4.1-Flash-1017 的全新量化成果，採用 GSQ（Gumbel-Softmax Quantization）與 RCO（Riemannian Constrained Optimization）技術，將模型壓縮至 1.75 至 2.25 bpw（Bits Per Weight）的極限水準，並宣告所有版本皆可在單張配備 12GB VRAM 的消費級顯卡上流暢運行。

DeepSeek-V4.1-Flash-1017 是一款龐大的稀疏混合專家模型（MoE），包含 384 個路由專家（每層每個 Token 啟動 6 個），總參數量高達 763.2B，並支援 1M Token 的超長上下文窗口。原始模型採用 FP8 密集路徑權重與 FP4 專家權重。ISTA 團隊本次推出的技術突破包括：

1. GSQ 與 RCO 聯合調優：GSQ 透過聯合學習網格指派與分組縮放比例，在低位元下填補了純標量量化與向量量化的性能鴻溝；RCO 則直接在任務損失上透過黎曼梯度下降嚴格滿足位元預算，自動為 1,008 個骨幹張量分配最適量化等級（密集路徑覆蓋 Q5_K 至 Q8_0，專家路徑覆蓋 IQ1_S 至 IQ3_S）。
2. 零精度折損的 2.0 bpw 奇蹟：在 2.00 bpw（IQ2_XXS，骨幹體積 138.2 GB）測試中，模型在 AIME25（100.00）、GPQA-Diamond（90.91）與 LiveCodeBench v6（89.71）基準上取得與全精度原始模型完全相同的評分，達到 100.0% 的驚人保留率；即使進一步壓縮至 1.75 bpw（IQ1_M，120.7 GB），任務平均基準保留率仍高達 98.7%。
3. 磁碟記憶體映射與 Strata 引擎整合：模型內建的兩組 Engram 查表權重（196.6B 參數，以 IQ4_NL 量化，體積 110.6 GB）被單獨抽出作為跨構建共享檔案，由於推理時每個 Token 僅需讀取一行，可直接留在高速 NVMe SSD 上透過 mmap 記憶體映射讀取。搭配開源推理引擎 Strata，用戶在單張 12GB GPU 筆電或桌機上即可啟動本機 OpenAI 相容端點。

來源：Release ISTA GSQ-RCO GGUFs for DeepSeek-V4.1-Flash-1017 / ISTA-DASLab/DeepSeek-V4.1-Flash-1017-GSQ-RCO-GGUF on Hugging Face

開源 GPU-Unlock 突破硬體限制：解除 RTX 30/40 系 FP/BF16 指令發射瓶頸，LLM Prefill 算力直接翻倍

在開源硬體改裝與 AI 算力挖掘領域，開發者 Zagitta 發布了引發熱烈迴響的開源工具「gpu-unlock」，宣告成功破解了 NVIDIA 在消費級 GeForce RTX 30 系列（Ampere）與 RTX 40 系列（Ada Lovelace）顯示卡上所施加的人為算力限制。

長期以來，NVIDIA 為了劃分專業運算卡與消費級遊戲卡市場，在消費級驅動程式與韌體層面故意限制了 FP16/BF16 指令的發射率（Instruction Issue Rate）。gpu-unlock 的技術亮點與社群反饋如下：

• 獨立 UEFI 鏈式載入：借鑑了早期 CMP90/50 礦卡破解經驗，gpu-unlock 被打包為獨立的 UEFI 模組，在系統引導至作業系統前搶先載入並執行硬體暫存器解鎖，使用者無需再自行手動反編譯或打補丁修改 NVIDIA 官方驅動二進制檔。
• Prefill 階段算力翻倍：多位測試者回報，在本地運行大語言模型時，運算密集型（Compute-Bound）的提示詞預填（Prefill）階段效能提升最高達 2 倍，讓消費級顯卡在處理長提示詞時展現出逼近企業級加速卡的算力表現。
• 散熱與功耗代價：社群測試指出，解鎖完全硬體吞吐量後，部分顯卡的瞬時功耗上限需拉高至 450W，工作溫度顯著上升，對原廠散熱模組提出了更高要求。此外，該補丁可與解除消費卡間 P2P 頻寬限制的 open-gpu-kernel-modules 模組疊加使用，為自建多卡本地工作站的玩家提供了前所未有的性價比空間。

來源：Zagitta/gpu-unlock on GitHub / NVIDIA RTX 30 & RTX 40 GPUs Get Impressively Fast In AI LLMs As Compute Doubles With New Unlock Tool

Meta 發表位元級（Byte-Level）語言模型研究：告別 Tokenizer，跨表徵蒸餾打破微型模型 Scaling 瓶頸

Meta AI 發表了最新前沿論文（arXiv:2609.12303），深入探討跳過傳統分詞器（Tokenizer），直接讓語言模型以「原始位元組（Raw Bytes）」為單位進行文字理解與生成的嶄新架構路徑。

現行主流大模型依賴 BPE 或 WordPiece 等子詞分詞法，將文字切分成數萬至十數萬個 Token。這種機制帶來了三大歷史包袱：多語言詞表嚴重膨脹、罕見字元被碎片化，以及模型對字母數量、逆序拼寫與字元級程式碼編輯的天然「盲區」。Meta 的研究重點在於：

1. 跨模態表徵蒸餾（Cross-Representation Distillation）：研究團隊訓練了約 1B 參數量的小模型，核心挑戰在於教師模型（如 Llama 3 8B）以 Token 空間進行思考，而學生模型僅讀取 Byte 流。團隊設計了精密的潛在空間映射機制，成功在 Token 概念與 Byte 序列之間建立了無損知識傳遞通道。
2. 展現更強的縮放律（Scaling Law）：實驗表明，在訓練初期 Token 模型因步長優勢暫時領先；但隨著訓練資料增加，Token 模型迅速遭遇效能平原（Flatline），而 Byte 模型則展現出持續提升的斜率。外推趨勢顯示，Byte 模型在較大運算量下能夠全面超越同尺寸的 Llama 3.2 1B 與 Gemma 3 1B，且達到相同表徵品質所需的文本量減少約 6 倍。
3. 推論代價與邊緣前景：由於 1 個 Token 通常包含 4 至 5 個字元，Byte 模型在自回歸生成時需要增加約 5 倍的前向傳播步數，推論延遲有所增加。然而，徹底擺脫龐大詞表矩陣能大幅節省參數記憶體，為手機與嵌入式設備上的微型本地端 Agent 提供了消除分詞缺陷、極致壓榨模型潛能的全新理論支撐。

來源：Meta trained small AI models to read raw bytes instead of tokens / Meta Byte-Level Model Paper (arXiv:2609.12303)

ANEMLL Forge 0.2.1 發布：讓 Qwen3.8-27B 於 Apple Neural Engine 運行 192K 超長上下文

專注於挖掘 Apple Silicon 神經網路引擎（ANE）極限性能的開源專案 ANEMLL 釋出了 Forge 0.2.1 重大更新，正式宣告在具備 32GB 統一記憶體的 Apple 晶片設備（如 Mac mini 與 MacBook Pro）上，成功將 27B 規模旗艦模型 Qwen3.8-27B 推進至高達 192K 的上下文窗口。

將大模型完整卸載至 Apple 神經網路引擎向來受制於 ANE 苛刻的記憶體定址與編譯限制。ANEMLL Forge 0.2.1 透過三大架構創新化解了瓶頸：

• INT8 動態 KV 快取：全面採用 INT8 KV Cache 取代傳統 FP16，使長文本快取體積直接減半，為上下文擴展至 192K 創造了物理條件。
• 共用輸出頭的微型草稿模型（Drafter）：投機解碼草稿模型直接共用目標模型的輸出頭矩陣，成功省下 0.86 GB 珍貴的 ANE 核心記憶體，且未造成任何推論速度損耗。
• Three-Bit MLP 向量量化與實測效能：團隊同步發表了針對 ANE 硬體特化的 3-Bit MLP 向量量化論文。在推論吞吐量方面，短上下文 Prefill 達 260 tok/s，在 192K 極限長度下仍可維持 62 tok/s；解碼速度在結構化 JSON 輸出時達 3562 tok/s、程式碼生成為 1832 tok/s。在最推薦的 96K 上下文甜蜜點，整體記憶體佔用僅 21.4 GB，Prefill 速度達 123 tok/s，讓一般用戶無需頂級雲端集群即可在個人桌機上享有超長文本分析能力。

來源：ANEMLL Forge v0.2.1 Release Notes / M6 Mac Mini owners: now you can run Qwen3.8-27B in high quality on the Apple Neural Engine

老舊 GPU 迎來新生：llama.cpp 高性能舊卡分支為 Kepler 與 Maxwell 注入 CUDA Graphs 與 Windows NCCL

面對近年 AI 模型硬體需求膨脹導致大量老舊顯示卡遭到淘汰的現狀，開源開發者 TheSpicyBoi123（IvanR）釋出了專為舊款 NVIDIA 架構特化的 llama.cpp 高效能分支，並向官方主線發起 Pull Request（#30727），致力於讓舊硬體免於淪為電子垃圾（e-waste）。

該分支專門針對 Compute Capability 3.5 至 5.0 的架構（包括 Kepler、Maxwell 與 Pascal，如 Tesla K40c、GTX 700/900 系列）進行了深入的底層重構：

1. 修正 cuBLAS Compute-Type 初始化：修復了 llama.cpp 主線代碼在老舊架構上因 cuBLAS 運算型別不匹配而導致啟動崩潰的歷史問題，使這批老卡能夠重新加載現代量化模型。
2. CUDA Graphs 全面加速：在 4 張 Tesla K40c 伺服器卡配置下運行 MTP Qwen3.6-35B-A3B（Q8_0 量化），引入 CUDA Graphs 後，生成速度直接由原先的 35 tps 躍升至 55 tps，總體推論吞吐量突破 60 tps，Prompt Processing 速度達到 70 至 100 tps。
3. 整合 Windows NCCL 跨卡通訊：透過自主移植的 Windows NCCL 函式庫，將多卡通訊開銷降低 5% 至 10%，為預算有限、持有舊款企業級伺服器卡的個人開發者提供了極具實用價值的本地推理改造方案。

來源：llama-on-legacy-gpu on GitHub / llama.cpp Pull Request #30727 / High-Performance llama.cpp fork for Legacy GPUs

John Carmack 盛讚新世代系統程式語言 Goose：無共享記憶體、多堆疊分析與零拷貝解析架構

電腦圖形學傳奇人物、著名工程師 John Carmack 近日對由 Wouter van Oortmerssen（Aardappel，FlatBuffers 與 Lobster 語言創作者、前 Google 資深工程師）開發的新型系統程式語言「Goose」給予了高度評價，引發了全球系統架構師與編譯器社群的熱烈關注。

John Carmack 指出，軟體工程長年忽視了資料解析的巨大代價，傳統透過 JSON、Protobuf 或自訂協議對網路與磁碟資料進行的「解析（Parsing）」往往比理論極限慢上 100 倍。Goose 的核心架構設計正是為了徹底根治此一痛點：

• 無共享記憶體（Share-Nothing）並行模型：類似 Dart Isolates，每個 Worker 在編譯期即被視為擁有獨立記憶體空間的獨立程式，平坦數據跨 Typed Queues 的傳遞全部透過底層高速 memcpy 完成，從根本上杜絕了資料競爭（Data Races）、鎖（Locks）、原子操作與記憶體屏障帶來的並發複雜度。
• 自動多堆疊分析與相對引用：編譯器透過精確的靜態分析支援多重資料堆疊與可變長度欄位，並將資料結構組織為自洽的相對引用（Relative References）。
• 零拷貝直接映射（Direct Memory Mapping）：結合內建的二進制結構驗證機制，程式能將磁碟文件或網路資料包直接透過 mmap 映射進記憶體並就地讀取與執行，無需任何解包或物件重建步驟，為 AI 時代的高併發資料流與高性能伺服器架構提供了極具吸引力的新範式。

來源：The Goose Programming Language / aardappel/goose on GitHub

學術研究剖析「AI 文本疲勞」：為何 RLHF 偏好的 AI 生成語言如此難以理解與消耗精力？

一項在 arXiv 刊載的最新研究（arXiv:2610.29162）《Why is AI generated language so hard to understand?》在 Hacker News 與 AI 技術社群激起了廣泛共鳴，深入解剖了當前大語言模型輸出文本所普遍存在的「可讀性危機」與「認知負擔」。

資深技術作家與語言學研究者指出，儘管大模型生成的文字文法無懈可擊，但人類在閱讀長篇 AI 內容時往往會迅速產生心智疲勞，其根源在於目前主流對齊機制（RLHF / DPO）與真實人類溝通本質之間的結構性斷裂：

1. 優化「評分者第一印象」而非「真實溝通效率」：在人類反饋強化學習過程中，眾包標注人員通常只能給出數秒至數十秒的直覺評分。這導致模型被強力訓練去迎合評估者的「外觀好感指標」——如整齊的條列式清單、加粗副標題、過度客氣的排比過渡詞與表面看似詳盡但資訊密度稀薄的長句。
2. 缺乏心理意圖模型（Mental Model）：真實人類寫作建立在作者對讀者背景知識、潛在意圖與認知路徑的動態預測之上；而 LLM 僅僅是在機率空間中重構合乎統計規則的語義符號，缺乏真誠的發話動機，使得文字呈現出「詞藻豐富卻語意空洞」的特徵。
3. 對未來 Agent 提示工程的啟示：該討論提醒開發者，在構建面對最終用戶的 AI 應用或編程 Agent 時，不應盲目依賴模型預設的冗長回覆格式，而應在系統提示中刻意抑制 RLHF 殘留的浮誇結構，強制模型採取更精準、語境化且尊重人類注意力預算的表達風格。

來源：Why is AI generated language so hard to understand? (arXiv:2610.29162)

今日觀察

回顧今日的各項技術突破，可以清晰洞察到開源 AI 與系統工程領域呈現出三個深刻的演變趨勢：

1. 極致量化算法正在重塑硬體經濟學：從 ISTA DASLab 以 GSQ-RCO 在 2.0 bpw 下實現 100% 基準保持，到 ANEMLL 讓 27B 規模模型在消費級 Mac 上吞吐 192K 上下文，演算法層面的精細化調度正在打破「前沿能力必須依賴巨額雲端叢集」的迷思，使頂級 AI 推論以極低成本走向個人端與小型伺服器。
2. 開發者社群對「軟體人為閹割」的持續反叛：從解鎖 RTX 30/40 系硬體指令發射率的 gpu-unlock，到拯救 Kepler 等老舊 GPU 的 llama.cpp 專用分支，開源社群展現出強大的逆向與底層工程能力，在晶片製造商的人為產品線劃分之外，重新釋放出數以萬計顯示卡的隱藏價值。
3. AI 系統正從「粗放表層」回歸「底層電腦科學本質」：Meta 挑戰 Tokenizer 的位元級架構、John Carmack 讚許的 Goose 零拷貝記憶體映射語言，以及學界對 RLHF 虛浮文本的深刻反思，皆說明整個行業正在從早期的「大力出奇蹟」狂歡中冷靜下來，重新審視資料結構、通訊協議與人類認知這些歷久彌新的電腦科學基本原則。