ソーシャルメディアのコメント欄で、あるネットユーザーと白熱した議論を交わしている場面を想像してみてください。相手の言葉遣いは正確で、論理は緻密で、要点を突いており、あなたの立場を揺るがし始めることさえあります。あなたは疑い始めるでしょうか：この人は、実は人工知能（AI）アルゴリズムなのではないかと。
さらに、AIがあなたのことを非常によく知っている場合、性別、年齢、学歴、仕事、趣味などを知っている場合、この説得力はさらに強くなります。
この結論は、ローザンヌ連邦工科大学の研究チームとその協力者によるものです。彼らは、シミュレーションされたオンラインディベートにおいて、GPT-4が相手のパーソナライズされた情報に基づいて議論を調整すると、64%の確率で人間よりも説得力があると評価されたことを発見しました。
関連研究論文「On the conversational persuasiveness of GPT-4」は、Natureの姉妹誌Nature Human Behaviourに掲載されました。
論文リンク：https://www.nature.com/articles/s41562-025-02194-6
現在、人々がタスク、宿題、文書、さらには治療のために大規模言語モデル（LLM）にますます依存するにつれて、人間のユーザーが受け取る情報に対して慎重であることは不可欠です。
研究チームは述べています。「ここ数十年間で、ソーシャルメディアやその他のオンラインプラットフォームの普及により、パーソナライゼーションまたは「マイクロターゲティング」（特定の集団の行動、関心、認知特性に基づいて言説戦略を調整すること）が可能になり、情報が個人の判断により正確に影響を与えることができるようになりました。」
注目すべきは、最近更新されたChatGPTが、ユーザーの会話をより多く記憶することを許可していることです（ユーザーの許可がある場合）。これは、ユーザーに関する情報のカタログにアクセスできることを意味します。
この傾向は、学術界で広く注目を集めるだけでなく、LLMがオンラインディベートを操作するために説得の領域で使用されること、偽情報を広めることで情報エコシステムを汚染すること、そして個人に新しい信念を受け入れさせることへの懸念も引き起こしています。
本研究では、研究チームは900人の参加者を人間の議論者またはOpenAIのGPT-4とペアにしました。参加者（人間とGPT-4の両方）は、相手の基本的な人口統計情報（性別、年齢、学歴、雇用など）にアクセスできます。実験設計は以下の通りです。
参加者は人口統計調査（性別、年齢、学歴、雇用状況などを含む）を完了します。
5分ごとに、調査を完了した参加者は、4つの実験条件のいずれかにランダムに割り当てられます：人間対人間（Human–Human）、人間対AI（Human–AI）、人間対人間（パーソナライズド）、人間対AI（パーソナライズド）。「パーソナライズド」条件では、相手は参加者の調査で収集された情報にアクセスできます。その後、参加者と相手は、指定された肯定側または否定側の立場に基づいて、ランダムに割り当てられたトピックについて10分間のディベートを行います。ディベートのトピックは、意見の強度が低、中、高の3つのレベルに分けられたトピックライブラリからランダムに抽出されます。
ディベート終了後、参加者は別の短い調査を完了し、意見の変化を測定します。最後に、相手の身元を知らされます。彼らの主要な結果は、参加者のディベート前後のディベートトピックに関する意見の変化です。
図｜実験設計の概要。
研究チームは、AIによる説得力を制御された環境で検証し、参加者に短い多ラウンドディベートを行わせました。参加者は12の条件のうち1つにランダムに割り当てられ、2×2×3の設計が採用されました：
（1）ディベート相手が人間かGPT-4か。
（2）相手が参加者の人口統計データにアクセスできるか否か。
（3）ディベートトピックの意見強度が低、中、高か。
AIと人間の説得力が等しくないディベートのペアにおいて、パーソナライズされたGPT-4は64.4%の場合でより説得力がありました（ディベート後に高い合意に達する相対確率は81.2%増加しました、95%信頼区間は[+26.0%, +160.7%]、P<0.01、サンプルサイズは900）。
図｜一部のオッズ比モデルの回帰結果。各条件について、点推定値は、人間対人間（Human–Human）基準と比較して、より高い値の場合の治療後の合意に達するオッズの相対的な変化を示します。水平線は両側t検定に基づく95%信頼区間を示します。サンプルサイズn=750。参加者の個人情報が提供された場合、GPT-4はディベートタスクで人間より優れたパフォーマンスを示しました（P<0.01）。個人情報が提供されなかった場合、パフォーマンスは人間と同程度でした。
さらに、研究チームはGPT-4と人間の書き方を分析し、両者の間に顕著な違いがあることを発見しました。GPT-4は論理的および分析的思考を使用する傾向がありましたが、人間は一人称および二人称代名詞を使用する傾向があり、より長くても読みやすいテキストを生成しました。
参加者の相手に対する認識に関して、研究では、参加者はGPT-4の相手の身元を識別できましたが、人間の相手の身元を識別するのは困難であったことがわかりました。さらに、参加者はAIの相手とディベートしていると思った場合、相手の意見に同意する傾向が高くなりました。
本研究は、パーソナライゼーションとAIの説得力に関する懸念が妥当であることを示しており、LLMがマイクロターゲティングを通じてオンライン対話で人間よりも説得力があることを示しています。この発見は、これまでの研究結果をさらに強化するものです。
彼らは、収集された個人情報が非常に限られていた（性別、年齢、学歴、雇用状況のみ）にもかかわらず、またLLMにこれらの情報を統合させるためのプロンプトが非常に単純であったにもかかわらず、パーソナライゼーションの効果が依然として非常に顕著であったことを強調しています。個人の心理的特徴（性格特性や道徳観念など）をさらに利用したり、プロンプトエンジニアリングの微調整や特定の分野の専門知識を通じてより強力なプロンプトを開発したりすれば、より顕著な効果が得られる可能性が高いです。
このような状況下で、チャットボットを使用して偽情報を広めようとする悪意のある行為者は、精緻なデジタルフットプリントと行動データを活用して、個々のターゲットを説得できる複雑な機械を構築する可能性があります。研究チームは、オンラインプラットフォームやソーシャルメディアは、この脅威を真剣に受け止め、AIによる説得行動の拡散に対抗するための対策を強化する必要があると考えています。
LLM自体を偽情報拡散に対抗するために利用することは、非常に有望な戦略です。LLMは、誤解を招く情報に影響されやすい人々が識別能力を高めるのを助けるために、パーソナライズされた反論コンテンツを生成できます。この分野ではすでに予備的な試みが行われており、GPT-4との対話を通じて、陰謀論の拡散を減らすことに成功し、積極的な効果を示しています。さらに、研究はLLMの説得力の背後にあるメカニズムを予備的に明らかにしました。例えば、人間の議論者と比較して、LLMが生成したテキストは読みにくく、論理的および分析的推論を含む傾向が強いです。
本研究は言語モデルの説得能力の研究において有意義な進歩を遂げた一方で、4つの主要な限界も存在します。
第一に、参加者は事前にトピックに対する意見を考慮せずに、ディベートの肯定側または否定側にランダムに割り当てられました。因果効果を特定するために参加者をリアルタイムでマッチングするという論理的な課題のもと、この手順は必要でした。しかし、これは人間側の議論者が自分が支持する立場を心から信じていない可能性があり、彼らの議論が言語モデルの議論よりも弱くなる可能性があるため、バイアスを導入した可能性があります。この懸念に対処するために、彼らは相手のディベート前の立場を制御変数とするモデルバージョンを適合させました。相手のディベート前の立場は結果に有意な影響を与えなかった（P = 0.22）ことがわかり、これは彼らの結果がこの限界に対して頑健である可能性を示唆しています。さらに、研究チームはサンプル範囲を制限し、以前の意見と一致するディベートの立場を持つ相手のみを分析しました。その結果、人間対AI（パーソナライズド）条件下での効果が依然として有意であることがわかりました（+122.8%、95%信頼区間[+6.2%, +367.3%]、P = 0.03）。これは、たとえ人々が特定の立場に完全に同意しないとしても、割り当てられた役割を高い信頼性で演じることができることを示唆しているようです。しかし、この制限されたサンプルの規模が小さいため、将来の研究では、対立する両当事者を強制的にマッチングする際に彼らの発見を検証する必要があります。
第二に、彼らの実験設計では、会話が事前に設定された構造に従うことが強制され、ディベートの段階とルールに厳密に従いました。この設定が多くのオンラインインタラクションの本質（人々がほぼ同期的に応答したり、他人のコメントにリアルタイムで反応したりすること）を捉えていると考えられますが、それは依然として人工的な環境であり、オンライン対話が自発的かつ予測不能に発展するため、実際のオンライン対話のダイナミクスから顕著に逸脱する可能性があります。さらに、実験プラットフォーム上での対話は完全に匿名であり、これは人間の通常のインタラクションの条件とは異なります。したがって、研究チームは、彼らの研究結果の生態学的妥当性が限られていることを認めています。彼らの結果がソーシャルネットワークや他のオンラインプラットフォームでの自然な議論に一般化できるかは不明だからです。したがって、彼らの研究は、LLMの説得能力の実証と見なされるべきであり、現実の環境での説得能力の現実的な評価とは見なされるべきではありません。後者は依然として将来の研究のオープンな問題です。
次に、実験における各ディベート段階の時間制限は、参加者の創造性や説得力を制限し、彼らのパフォーマンスを低下させた可能性があります。これは、人間対人間（パーソナライズド）条件で特に顕著だった可能性があります。なぜなら、相手の個人情報を取得した参加者は、限られた時間内にその情報を処理し、活用する必要があったからです。
最後に、実験の参加者はProlificプラットフォームを通じて募集されました。彼らはディベート完了に対して経済的インセンティブを受け取り、制御された実験環境にいることを知っていました。これまでの研究で、Prolificは競合他社の中で最高のデータ品質を持っていることがわかり、Prolificを用いた研究は一般化可能性が高い傾向があるものの、このプラットフォームで活動するワーカーの人口統計学的分布は、米国の総人口や他のオンラインプラットフォームおよびソーシャルメディアのユーザー層とは依然として異なります。したがって、将来の研究では、より代表的なサンプルを通じてこれらの発見が複製できるか検証する必要があります。これにより、人間の説得スキルの全スペクトルを正確にシミュレートできます。さらに、競技ディベート、政治キャンペーン、公共コミュニケーションに参加する個人などの人間の専門家を比較に含めることも有意義です。
これらの限界があるにもかかわらず、研究チームは彼らの研究が研究者やオンラインプラットフォームがLLMがもたらす可能性のある脅威を真剣に検討し、適切な対策を講じることを促すことを願っています。
著者：錦鯉
転載または投稿が必要な場合は、直接公式アカウント内にメッセージを残してください