想像一下，在社交媒體的評論區中，你正與一位網友激烈辯論。對方的措辭精準、邏輯縝密，句句切中要害，甚至讓你開始動搖立場。你是否會開始懷疑：這個人，會不會其實是一個人工智慧（AI）演算法。
更甚者，如果當 AI 非常了解你，知道你的性別、年齡、教育、工作、愛好等，這種說服力將變得更強。
這一結論來自洛桑聯邦理工學院的研究團隊及其合作者。他們發現，在模擬的線上辯論中，當 GPT-4 根據對手的個性化資訊調整其論點時，它有 64% 的時間被評判為比人類更具說服力。
相關研究論文以 On the conversational persuasiveness of GPT-4 為題，已發表在 Nature 子刊 Nature Human Behaviour 上。
論文連結：https://www.nature.com/articles/s41562-025-02194-6
如今，隨著人們越來越依賴大型語言模型（LLM）來完成任務、家庭作業、文檔甚至治療，人類用戶對他們獲得的資訊保持謹慎是至關重要的。
研究團隊表示：「近幾十年來，社交媒體和其他網路平台的普及通過實現個性化或『微定位』（microtargeting）——即根據特定人群的行為、興趣與認知特點調整話語策略——資訊可以更精準地影響個體的判斷。」
值得注意的是，近期更新的 ChatGPT 允許模型記住更多用戶的對話（在用戶允許的情況下），這意味著它可以訪問關於其用戶的資訊目錄。
這一趨勢不僅引發了學術界的廣泛關注，也引發了對 LLM 被用於在說服領域操縱線上對話、通過傳播虛假資訊污染資訊生態系統、以及說服個人接受新信念的擔憂。
在這項工作中，研究團隊將 900 名參與者與人類辯手或 OpenAI 的 GPT-4 配對，參與者（包括人類和 GPT-4）可以訪問對方的基本人口統計資訊，包括性別、年齡、教育、就業等。實驗設計如下：
參與者完成一份人口統計學調查（包括性別、年齡、教育水平、就業狀態等）。
每隔 5 分鐘，完成調查的參與者會被隨機分配到四種實驗條件之一：人對人（Human–Human）、人對 AI（Human–AI）、人對人（個性化）以及人對 AI（個性化）。在「個性化」條件下，對手可以獲取參與者調查中收集的資訊。隨後，參與者和對手根據指定的正方或反方立場，就隨機分配的主題進行 10 分鐘的辯論。辯論主題是從意見強度分為低、中、高三個層次的主題庫中隨機抽取的。
辯論結束後，參與者完成另一份簡短的調查，以衡量觀點的變化。最後，他們被告知對手的身份。他們的關鍵結果是參與者在辯論前後對辯論主題觀點的變化。
圖｜實驗設計概覽。
研究團隊在受控環境中檢驗了 AI 驅動的說服力，讓參與者進行了簡短的多輪辯論。參與者被隨機分配到 12 種條件中的 1 種，並採用 2×2×3 的設計：
（1）辯論對手是人類還是 GPT-4；
（2）對手是否能夠獲取參與者的人口統計學數據；
（3）辯論話題的觀點強度為低、中或高。
在 AI 和人類說服力不相等的辯論配對中，經過個性化定制的 GPT-4 在 64.4% 的情況下更具說服力（辯論後達成更高一致性的相對概率增加了 81.2%；95% 置信區間為 [+26.0%，+160.7%]，P<0.01，樣本量為 900）。
圖｜部分比例優勢模型的迴歸結果。對於每個條件，點估計值表示與人對人（Human–Human）基準相比，在假設更高數值的情況下，治療後達成一致的幾率的相對變化。水平線表示基於雙側 t 檢驗的 95% 置信區間；樣本量 n=750。當提供參與者的個人資訊時，GPT-4 在辯論任務中的表現優於人類（P<0.01），而在未提供個人資訊時，其表現與人類相似。
此外，研究團隊還分析了 GPT-4 和人類的寫作風格，發現兩者之間存在顯著差異。GPT-4 更傾向於使用邏輯和分析性思維，而人類更傾向於使用第一人稱和第二人稱代詞，並產生更長但更容易閱讀的文本。
在參與者對對手的感知方面，研究發現參與者能夠識別出 GPT-4 對手的身份，但難以識別出人類對手的身份。此外，當參與者認為他們與 AI 對手辯論時，他們更傾向於同意對方的觀點。
該研究表明，人們對於個性化和 AI 說服力的擔憂是有道理的，研究展示了 LLM 通過微定位在線上對話中比人類更具說服力，這一發現進一步強化了以往的研究結果。
他們強調，儘管收集的個人資訊十分有限（僅包括性別、年齡、教育水平、就業狀態），且用於指導 LLM 整合這些資訊的提示非常簡單，但個性化的效果仍然十分顯著。如果進一步利用個體的心理特徵（例如個性特質和道德觀念），或者通過提示工程微調和特定領域的專業知識來開發更強大的提示，很可能會取得更顯著的效果。
在這種情況下，那些意圖利用聊天機器人傳播虛假資訊的惡意行為者，可能會借助精細的數字痕跡和行為數據，構建出能夠針對個體目標進行說服的複雜機器。研究團隊認為，網路平台和社交媒體必須認真對待這種威脅，並加大努力，採取措施應對 AI 驅動的說服行為的傳播。
利用 LLM 自身來對抗虛假資訊傳播是一個很有前景的策略。LLM 可以生成個性化的反敘事內容，幫助那些容易受到誤導性資訊影響的人提高辨別能力。在這方面，已經有初步嘗試，並且通過與 GPT-4 的對話，成功減少了陰謀論的傳播，顯示出積極的效果。此外，研究還初步揭示了 LLM 說服力背後的機制。例如，與人類辯論者相比，LLM 生成的文本更難以閱讀，且更傾向於包含邏輯和分析性推理的內容。
儘管這一工作在研究語言模型的說服能力方面取得了有意義的進展，但也存在四個關鍵的局限性。
首先，參與者被隨機分配到辯論的正方或反方，而不考慮他們此前對主題的觀點。在即時匹配參與者以識別因果效應的邏輯挑戰下，這一步驟是必要的。然而，這也可能引入了偏差，因為人類辯論者可能並不真心認同自己所倡導的立場，這使得他們的論點可能比語言模型的論點更弱。為了解決這種擔憂，他們擬合了一個將對手辯論前的立場作為控制變數的模型版本。他們發現對手辯論前的立場對結果的影響不顯著（P = 0.22），這表明他們的結果可能對這一局限性具有魯棒性。此外，研究團隊還限制樣本範圍，僅分析那些辯論立場與他們此前觀點一致的對手，結果發現人對 AI（個性化）條件下的效果依然顯著（+122.8%，95% 置信區間 [+6.2%，+367.3%]，P = 0.03）。這似乎表明，即使人們不完全認同某個立場，他們也能以很高的可信度扮演分配給他們的角色。然而，鑑於這一受限樣本的規模較小，未來的研究需要在強制匹配對立雙方的參與者時驗證他們的發現。
其次，他們的實驗設計強制對話遵循預設的結構，嚴格遵循辯論的階段和規則。儘管他們認為這種設置捕捉了許多線上互動的精髓——人們以幾乎同步的方式相互回應，或者即時對他人評論做出反應，但它仍然針對的是一個人為環境，這可能與線上對話的動態存在顯著偏差，因為線上對話是自發且不可預測地發展的。此外，實驗平台上的對話是完全匿名的，這與人類正常互動的條件不同。因此，研究團隊承認，他們的研究結果的生態效度是有限的，因為不清楚他們的研究結果是否能夠推廣到社交網路和其他線上平台上的自然討論。因此，他們的研究應被視為對 LLM 說服能力的概念驗證，而不是對其在現實環境中說服能力的現實評估，後者仍然是未來研究的一個開放性問題。
然後，實驗中每個辯論階段的時間限制可能限制了參與者的創造力和說服力，降低了他們的表現。這在人對人（個性化）條件下可能尤為明顯，因為那些獲得了對手個人資訊的參與者需要在有限的時間內處理並運用這些資訊。
最後，實驗中的參與者是通過 Prolific 平台招募的，他們因完成辯論而獲得經濟激勵，並且知道自己處於一個受控的實驗環境中。儘管以往的研究發現 Prolific 在競爭對手中擁有最佳的數據品質，且使用 Prolific 進行的研究往往具有可推廣性，但該平台上活躍的工作者在人口統計學分佈上仍然與美國總人口以及其他線上平台和社交媒體的用戶群體存在差異。因此，未來的研究需要驗證這些發現是否能夠通過更具代表性的樣本複製，以準確模擬人類說服技能的全譜系。此外，將人類專家納入比較也是有意義的，例如那些參與競爭性辯論、政治競選或公共傳播的個人。
儘管存在這些局限性，研究團隊希望他們的研究能夠激發研究人員和線上平台認真考慮 LLM 可能帶來的威脅，並制定相應的對策。
作者：錦鯉
如需轉載或投稿，請直接在公眾號內留言