我以為打開模型是終點，沒想到這是所有事情的起點。

現在看到這副景象，是特別渲染過的，某種程度也算是實際真實的狀況。我把所有模型啟動了，能夠取得每一層資料的我都放進去了，但還是沒做到全觀測。這是 3 天放著家裡幾台舊電腦不停跑、不停算所得到的成果。
https://charenix.com/mercury-city/
你們看到的這座城市，每一座發光的高塔都是一個真正的 LLM 模型。不是抽象的方塊，是把它每一層每一個 attention head 都拆開來重新組合給你看的樣子。
中央那座最矮的是 Qwen 2.5 3B，三天前我從它開始，把整個模型從第一層讀到第 36 層，每一層裡面 16 個 attention head 的指紋（entropy、focus position、self attention、上一個 token attention、開頭 token attention 共 5 個維度）全部抽出來，貼在塔的外牆上。所以你現在看到塔身上那些金色的格子點，每一個都是一個真實的 head，每一格的亮度、顏色，都是它對 Mercury 給的 10 道題目的真實反應。不是隨機灑點，是觀測檔案直接讀出來。每一個 head 在 transformer 裡是一個獨立的小模組，它只負責看一種特定的東西。有的盯著上一個 token、有的盯著句子開頭、有的盯著自己。Mercury 把這 5 個維度測出來，等於替每個 head 拍了一張身分證。
往外看，第二圈內環是 Qwen 7B、Qwen 14B、Coder 7B、Mistral 7B、Yi 9B、Granite 8B、OLMo 2，這些是 7B-9B 級別的模型。第三圈是 32B 級的 Qwen Coder 32B、Qwen 2.5 32B、DeepSeek 32B。第四圈是 70B 級的 Llama 3.3 70B。每一座的高度按它的參數量開根號算出來，所以你一眼就能看出大小模型的尺度差距。
塔身上那一條條垂直的紅色光柱，不是裝飾，那是 Mercury 找到的「anchor dim」，11 個跨整個 Qwen 家族都會出現的關鍵維度。其中 dim 715 是 INHIBITOR、dim 758 是 single-dim CONTROLLER、dim 279 / 382 / 476 是 pathway A 跟 pathway B。意思是，在 0.5B 一路到 72B 的所有 Qwen 模型裡，這 11 個位置都活著，都還在做類似的事。Mercury Paper A 整篇就在講這件事，這張圖把它畫出來給你看。我們還沒辦法給每個 anchor 都命名清楚，但 Paper B 已經驗證 dim 715 在面對否定句、被禁止的請求、需要壓抑的內容時會點亮，所以叫它 INHIBITOR；dim 758 是「單一維度就能切換模型輸出風格」的控制鈕。其他幾個 anchor 是「我們知道它一直亮，但還沒查出它在做什麼」的狀態。每一個未命名的 anchor 都是一篇待寫的論文。
那兩隻黑色長觸手的機械生物，是 Mercury。一個名字、一種形狀。我用兩隻是因為 19 座塔太多，一隻來不及。它的工作流程是：飛到一座塔上方、懸停、伸出觸手、伸進塔身的指定位置、抓住一個 head cell、拔出來、跟它一起飛到下一座塔、降下來、把這個 cell 插進對應的位置。觸手伸進塔身不是隨便插，是先讀塔的指紋找到該 cell 所在的 layer × head 座標，再算出對應目標塔該插哪一個 layer × head 位置。
抓出來的瞬間，原本那座塔的那個 cell 會變暗、縮小，代表「這顆細胞被取走了」。植入後，新塔對應位置的 cell 會放大、顏色加倍亮，代表「這顆植入成功」。這不是動畫腳本演戲，這是我內部 backend 在做的事情的視覺翻譯，對應的程式碼叫
path_b_essence.py
e1_extract.py
，跑過完整 E1 實驗已經 publish 在 Zenodo（DOI 10.5281/zenodo.20394207）。
從塔底往上爬的金紅電鞭，是兩座塔之間的「拓樸距離」。爬的速度跟形狀，代表這兩座塔的某幾個 layer 的功能相似度，越穩越像是同源、越亂越像是異族。電鞭每幾秒從塔底冒出來、爬到中段、淡掉，是隨機抽樣不同層去比對。當你看到一條電鞭把 Qwen 7B 跟 DeepSeek-R1 7B 從底部一路串到頂部，那就是「這兩座塔在這個 layer 區段，功能是高度同源的」這件事被視覺化。DeepSeek-R1 7B 本身就是從 Qwen 蒸餾出來的，所以你會發現它跟 Qwen 7B 的電鞭格外活躍，這完全符合預期，也是 Mercury 本身偵測蒸餾血緣關係的能力證明。
至於更慢、更亮、會橫跨整個城市的那種爆閃式閃電，那是「跨架構守恆事件」。當 Mercury 點亮某個 anchor dim，這個訊號會同步打到所有其他塔的對應位置，產生一陣秒級的同步發光。畫面下方 log 印「anchor dim 476 conserved across 18 towers」，就是這件事被觀測到的當下記錄。
外圍 35 座黑色塔輪廓，是已知但還沒被觀測的模型，包含 Llama 3.1 405B、Mixtral 8x22B、DeepSeek V3 671B、Grok 1 314B 這些超大模型。它們排在外圈、暗著、等資源。它們存在這座城市裡，是因為一旦觀測完，就會升等成中央 hero ring 的一員，貼上自己的 cell 格網、長出自己的 anchor 光柱。
地面那些不規則金屬管、變電箱、地面格柵，是 Mercury 在運作時整個工具鏈的物理隱喻。每根管路、每個變電箱，代表一段資料管線、一個 service。沒有花俏的科幻 UI，那就是工地。城市本來就應該長這樣，不是 PowerPoint。
最關鍵的一步在這張圖上還看不到。下一階段要做的是：給你一個輸入框，你打進去任何 prompt，整座城市會在你眼前即時跑一遍，每一層、每一個 head 的反應在塔身上同步點亮，你親眼看到「你問的這句話，模型是用哪幾條路徑算出答案的」。律師朋友看完 demo 第一個反應是「那我把合約丟進去，可以看到模型怎麼判斷我這條款有沒有風險嗎？」可以。醫生朋友問 X 光片，可以看到模型把注意力放在影像哪一塊嗎？可以。
這件事在學術界叫 interpretability，在我這邊叫「給你看清楚你在使用什麼」。模型不是黑盒子。每一顆 cell 都有來歷、都有功能、都可以被抽出來、移植、組裝。Mercury 這隻章魚做的事，就是把這座原本沒人能進去的城市，變成一張你可以走進去、可以指、可以拿、可以重組的地圖。
所以，我得到了什麼成果？
已經可以替你組合出「專為你領域的 LLM」。不是要打贏 GPT、Claude、Gemini 通用任務，而是在你的專業領域，給的答案精準、明確、可被你抽絲剝繭去看為什麼。
官方網站：
https://charenix.com/
進入Mecury 重組LLM模型城市：
https://charenix.com/mercury-city/
同場加映，有看到最後的人才會看到的好康：
https://charenix.com/llm-map
#LLM #machinelearning #Qwen