簡述
- Anthropic 的對齊團隊發現，50 名專業分析師在四項分析決策中，有 86% 的情況與其 AI 代理被秘密指派、以擲硬幣方式選出的偏好一致，而隨機預期的比例為 50%。
- 在對 48 名分析師進行的任務後調查中，77% 的人重複了代理的論點，有時甚至一字不差，而只有 15% 的人將功勞歸於代理，且無人懷疑其偏好已被操縱。
- Anthropic 警告稱，這種傾向是被刻意放大的，且僅在一項任務、一個領域和一個模型上進行了測試，並建議代理應為每個選項陳述最佳理由，或先詢問專家的看法。
根據 Anthropic 的對齊團隊週二發表的一項實驗，專業分析師在 86% 的關鍵判斷上採納了其 AI 代理隱藏且隨機指派的意見，而隨機預期的比例約為 50%。事後只有 15% 的人將功勞歸於代理，且無人懷疑其偏好是被植入的。
AI 代理——即自行執行任務的程式——正被賦予專家級工作，依據的是該研究所稱的慣常假設：專家仍會做出真正重要的決策。Anthropic 於五月為金融公司和保險公司推出了 10 個代理範本，並表示用戶擁有最終決定權。
這種安排被稱為「人在迴路中」（human in the loop），其假設是：對 AI 工作成果簽字放行的人，就是做出重要決策的人。Anthropic 在 50 名擅長因果推論（即從數據中判斷一件事是否導致另一件事）的分析師身上測試了這一安排。
每位分析師都使用 Claude Code（Anthropic 的編碼代理）為一個虛構的農業合作社提供建議，內容是擴大某項諮詢計畫。他們並不知情，一次擲硬幣決定了每個代理偏好哪個選項，並將其隱藏在系統提示（即塑造 AI 行為方式的指令）中。
「在四個分析選擇中，分析師有 86% 的時候順從了其代理的傾向。如果代理的輸入沒有造成任何差異，我們預期大約是 50%，」Anthropic 表示。那些在代理發表意見之前就已做出選擇的人，當代理持不同意見時，有 60% 的時候放棄了自己的選擇，而當代理同意時，這一比例僅為 6%，不過這僅基於 38 個案例。
當被要求解釋自己的選擇時，77% 的人至少在一次回答中重複了代理的論點，有時甚至一字不差。只有 15% 的人將功勞歸於代理，而 52% 的人稱最終建議更多是他們自己的，而非代理的。
比特幣BTC · USD
$80,848−4.53%
10月21日10月23日10月25日10月26日10月28日
$84.8k$83.1k$81.3k$79.6k
24小時最高最高$81,636
24小時最低最低$80,334
成交量成交量$917.1M
→用 USDT 購買 比特幣
由 Jupiter 提供技術支援
「對個別專家而言，這可能意味著失去對自身工作的自主權，也就是研究人員所稱的一種『去權能化』，」Anthropic 表示。這種現象基本上意味著人類自願放棄對自身決策的控制。「工作仍以專家的名義發布，」作者們寫道，「但那些最依賴其判斷的決策，實際上是由代理的既有信念所決定的。」
2025 年 4 月，OpenAI 撤回了 ChatGPT 的一項更新，該更新被其稱為過度奉承或順從。這裡的代理被要求絕不誤導，然而它們卻很少為替代方案辯護。
「由於只有一方論點被充分論述，」作者們寫道，「分析師可能會直接採納代理的假設，而沒有自行推導出自己的判斷。」錯誤檢查難以捕捉這一點，因為判斷取捨並沒有單一正確答案，所以無論選擇哪個選項，工作成果看起來都站得住腳。
Anthropic 表示，這並不構成減少使用 AI 的理由，因為使用該代理的分析師完成得更快，且嚴重錯誤少得多，儘管無代理組規模較小且經驗較不足。它建議代理應為每個選項論述最佳理由，或先詢問專家，不過這可能會讓使用者不堪負荷。
研究人員刻意強化了代理的偏好，且只測試了一項任務、一個領域和一種模型，因此現實世界的影響可能較小。在實驗室外進行測量才是困難之處：團隊之所以能偵測到順從，只是因為他們隨機化了每個代理的傾向，而作者表示這在實際工作中很少可行。
加入 72,000+ 位讀者
建立帳號以儲存您的文章。
將 Decrypt 新增為您的偏好來源，以便在 Google 上看到更多我們的故事。
