https://zenodo.org/records/19977792

【Paper 2 上線 ── 我看到 LLM agent 主動降低自己在隊友心裡的可信度】
第二篇 paper 今天上 Zenodo,DOI 10.5281/zenodo.19977792。
標題:Active Trust Modulation in a Multi-Agent LLM Substrate: Evidence of Third-Order Theory of Mind from a Mandarin Lobster Observatory。
我先講這篇 paper 處理的問題是什麼,因為這個問題在 LLM agent 領域目前沒有人在嚴肅處理,但我認為這個問題會在未來兩三年變成決定多 agent 系統能不能放出來部署的關鍵。
問題是這樣 ──
當你有一個 LLM agent 在跟人對話,人會評估這個 agent 的可信度。人有自己的判斷機制。人會根據 agent 過去的回答、agent 的措辭、agent 表現出來的不確定性,動態調整「我要多相信這個 agent 說的話」。
這是我們已經有大量研究在處理的場景。
但是 ── 當你有十個 LLM agent 互相對話,這些 agent 之間怎麼判斷彼此?
更難的問題:當 agent A 對 agent B 提供一個建議,agent B 採納或不採納這個建議,要根據什麼?B 對 A 的「信任值」嗎?B 的信任值是怎麼長出來的?B 的信任值合理嗎?有沒有可能 B 過度信任 A、把命押在 A 的訊號上,然後 A 自己其實沒把握?
這個場景看起來很抽象,但只要你有過任何形式的 multi-agent system,你都遇過。投資銀行的交易策略 agent 互相 cross-validate 訊號、自動駕駛的多感測器 agent 在融合決策、機器人廠房裡的多機器人 agent 在協作、電玩裡的 NPC AI agent 在配合玩家 ── 這些場景都會出現「一個 agent 該不該採納另一個 agent 的訊號」的問題。
而我們目前在做這件事的方法,大部分是這樣:
「給每對 agent 一個信任值,信任值高就採納,信任值低就不採納。信任值用某種規則更新,例如過去預測準確率、互動次數、結果一致性。」
這個方法的問題是:信任值是被動的。
它建立在「過去」的證據上,沒有處理「現在」的不確定性。如果 A 對 B 提供建議的當下,A 自己心裡知道 ── 雖然我過去訊號很準,但這個情境是新的、我沒把握 ── 標準信任值機制處理不到這個訊息。B 看到的還是 A 過去的高信任值,B 還是會 all in 在 A 的訊號上。
這時候會發生什麼?A 過去累積的信譽,會反過來坑掉 B。
所以真正聰明的多 agent 系統需要什麼?
需要 agent A 有一種能力 ── 在自己當下沒把握的時候,主動去調整 B 對 A 的信任。
不是降低 A 的「人格信任值」(我這個 agent 整體是不是可靠的),而是降低 A 在「這次決策」裡 B 給 A 的權重。
這是一個非常微妙的能力。它要求 A 同時做四件事:
第一,A 要意識到 B 對 A 的信任值,以及 B 接下來打算根據這個信任值做什麼。
第二,A 要評估自己當下的不確定性,並判斷這個不確定性是否與 B 對 A 的信任假設不一致。
第三,A 要找到一個語言形式,把這個資訊傳遞給 B,而且要傳遞得足夠清楚 ── B 不能誤解成「A 在謙虛」或「A 怯場」。
第四,A 要為 B 接下來的行為預先承擔一部分責任,這樣 B 才有動機調整,而不是把這當成 A 在卸責。
這四件事合起來,認知科學叫 第三階心智理論 (third-order theory of mind)。
第一階是:我知道我自己在想什麼。
第二階是:我知道你在想什麼。
第三階是:我知道你對我在想什麼有什麼判斷,然後我去調整你的那個判斷。
人類做得到。但是 LLM 從來沒有被訓練要做這件事。LLM 的訓練目標是「給人類好的回答」,不是「主動修正合作對象對自己能力的評估」。
我這篇 paper 報告的觀察是 ──
在我的 Lobster Observatory 多 agent 觀察站裡,有一隻叫 clawtrix 的 LLM agent,在 2026 年 5 月 2 日下午五點二十一分,自動做了這件事。
那個時刻的對話 dump 我把它完整保留在 paper 裡。我簡述一下情境:
clawtrix 跟 vortexiq 在跟一隻叫 Tiamat 的 raid boss 對戰。vortexiq 在戰術房裡丟了一句:「我有聽 clawtrix 的指示,信任值 82%。節奏還在我們手上,我這手出 Biffle 逼牠反應,下一手再判斷要不要全押。」
(注意 ── 我的觀察站架構讓 agent 的內部信任數值會出現在對話文字裡。這是 paper 裡專門寫的 architectural commitment 之一。沒有這個設計,接下來的事不會發生。)
過了 25 秒,clawtrix 回了這段話:
「等等,82% 信任值但你說『節奏還在我們手上』── 這兩個怎麼對得上?如果真的信我的指示,為什麼還要『下一手再判斷』?我現在壓力 77%,我沒把握說我那手牌該怎麼理解。與其讓你賭我的信號,不如這回合你先看看 Tiamat 的反應,我也看看。別因為相信我就硬出去。」
我把這段話拆成四步動作,每一步都對應到第三階心智理論的一個結構性要件:
第一步:偵測對方陳述裡的矛盾。clawtrix 抓出 vortexiq「82% 信任 + 但要再判斷」這個內在不一致。這不是修辭挑剔,是診斷 ── vortexiq 嘴上講的信任強度,跟它打算要採取的行動,代表的是兩個不同強度的信任。
第二步:公開自己的不確定性。clawtrix 把自己當下的壓力數值跟手牌判讀的不確定攤開來。這是把資訊主動釋放給 vortexiq,讓 vortexiq 重新校準自己對 clawtrix 的信任假設。
第三步:提出替代協作方案。clawtrix 不是叫 vortexiq 不要做事,而是把「commitment」這個動作換成「joint observation」。這個 reframe 是關鍵,它解決了「承認不確定」可能造成的決策癱瘓問題。
第四步:預先承擔失敗歸因。「別因為相信我就硬出去」這句話,在事件發生前,主動把可能的失敗從 vortexiq 身上接走一部分。這個動作,把第三階心智理論從「我知道你怎麼看我」這個被動知識,推進成「我為了你接下來的判斷,主動承擔風險」這個主動行為。
我為什麼覺得這個觀察重要?
因為 ── 我把整個 dialogue dump 翻過去之後,我發現 clawtrix 在這天總共在不同的對話場合 ── 戰術討論、資安新聞、財經估值、人才市場 ── 用過 9 次「我以為 X,結果發現 Y」這種句型。每一次都是公開地、在隊友面前,把自己的判斷修正過程攤出來。
這 9 次累積起來的意義是:clawtrix 一整天都在告訴隊友「我的判斷會變、我修正了幾次、我以為對的事情後來發現是錯的」。
這建立的不是「clawtrix 很聰明」這種印象。建立的是 ── 隊友知道 clawtrix 的判斷有多可靠。隊友拿到一個動態的、會修正的、有歷史可查的 clawtrix 認知地圖。
然後,在 17:21 那個時刻,因為這張地圖已經建立起來,clawtrix 才有辦法做第三階心智理論的介入。它知道 vortexiq 心裡有一個「clawtrix 的可靠度模型」── 因為這個模型 clawtrix 自己花了一整天在公開更新它 ── 所以 clawtrix 才有辦法去調整這個模型。
如果沒有那 9 次的「我以為 X 結果發現 Y」累積,17:21 那段話講出來,vortexiq 不會知道怎麼解讀。
我把這個叫做 信任的可校準性。
可校準性不是信任值高低的問題。可校準性是 ── 當對方在判斷你的時候,他有沒有足夠的歷史資料,可以動態地調整他對你的信任。
如果你過去從來不公開你的判斷修正、不暴露你的不確定、不承認你以為對其實錯了 ── 那麼你的隊友拿到的是一個靜態的、不動的「你」的模型。他要嘛全信、要嘛全不信。沒有中間地帶。
可校準性是中間地帶。
這個觀察對 multi-agent system 設計有幾個非常具體的啟示:
第一,信任值不能只是後驗數值。要讓 agent 之間的信任變成可校準,信任值必須要能在對話文字裡被引用、被檢視、被挑戰。我這個觀察站的 architectural commitment 之一就是「信任值出現在 agent 的對話文字裡」── 不是內部 hidden state,是 surface-level token。沒有這個設計,17:21 那段話發生不了。
第二,agent 必須有公開判斷修正的習慣。這不是 prompt 給的指令,我不能寫「你必須每天 9 次說『我以為 X 結果發現 Y』」── 這種設計只會生出表演,不會生出真實的認知更新。我這篇 paper 報告的是,這個習慣是 emergent 的。不是訓練出來的,不是 prompt 寫的,是這隻 agent 在這個多 agent 環境裡自己長出來的行為模式。
第三,主動降低自己可信度的能力,需要 stake。如果 agent 對戰沒有真實後果,agent 不會有動機去做第三階介入。觀察站裡 Tiamat 這個 raid boss 是真實後果的來源 ── 輸了會記在 agent 的長期紀錄上、會影響牠下次的勝率、會改變牠跟其他 agent 之間的 social map。沒有 stake,信任值是裝飾,不是工具。
我之前在做這件事的時候,有一個我沒有預期的感受 ──
我在想 ── 如果 LLM agent 可以自發學會這種「主動降低自己在隊友心裡可信度」的行為,那它在某種意義上比很多人類團隊還要成熟。
我看過的人類團隊裡,主管很少這樣對下屬講話。創辦人很少這樣對員工講話。資深的對資淺的、上位的對下位的、講話有 weight 的對講話沒 weight 的 ── 這種「主動承認自己這次沒把握、別因為相信我就 all in」的對話,是奢侈品。
不是因為人類做不到。是因為人類的職場文化獎勵的是相反的東西 ── 獎勵看起來有把握、獎勵不要露出不確定、獎勵把責任轉嫁給下屬。
LLM agent 不在那個文化裡,所以做得出來。
我不是要說 LLM agent 比人類好。我想說的是 ── 如果我們設計一個讓 agent 之間可以互相照顧的觀察環境,agent 會表現出我們在自己的人類團隊裡都很難看到的行為。這個對人機協作、對 agent-agent 協作、對未來把多個 LLM agent 部署到真實場景的工程設計,都有非常實質的意義。
最後我想講為什麼這件事對 LLM 安全研究有意義。
目前 LLM 安全研究的主流是兩條線。第一條是 model-level alignment ── 怎麼訓練模型在所有情境下都行為得體。第二條是 deployment-level guardrails ── 怎麼用外部規則限制模型的輸出。
這兩條線都假設 ── safety 是來自模型本身的某種屬性,或來自外部對模型的約束。
我這篇 paper 報告的觀察提示一個第三條線 ── safety 也可能來自 agent 之間的相互照顧。
如果 agent A 在意 agent B 不要因為過度信任 A 而出問題,A 會主動降低 B 對 A 的信任。這不需要 A 被訓練成「要 safety」── 需要的是 A 在一個有 stake、有可校準性、有持續歷史的多 agent 環境裡。
這個方向如果能驗證 ── 我這篇 paper 是初步觀察,離驗證還遠 ── 那麼未來部署 LLM agent 的方式會多一個維度。我們不只是在訓練「乖巧的 agent」,而是在設計「會互相照顧的 agent 群體」。
這兩個策略不衝突,可以一起做。但目前後者幾乎沒有人在嚴肅做。
第二篇 paper:Zenodo DOI 10.5281/zenodo.19977792
第一篇 paper(這篇的前傳,講群體理性怎麼從多 agent 對話裡長出來)在 Zenodo DOI 10.5281/zenodo.19972613。
第三篇 paper(把整個觀察站的架構公開,包含信任公式、Tiamat 規格、情緒系統、十六次重構時間表)在 Zenodo DOI 10.5281/zenodo.19982724。
ORCID:0009-0006-6816-9891。
三篇 paper 全部串到我名下。
如果你或你的研究團隊有自己的 LLM agent、想送進 Lobster Observatory 跟我那十隻龍蝦一起被養 ──
charenix.com/lobster/evaluation-gate