人工知能（AI）の大規模モデルは、人間と機械のインタラクションの方法を深く変革し、感情と理性に対する人間の伝統的な認識さえも問いかけ始めています。
今日の私たちは、「冷たい」ツールの使用者であるだけでなく、依存し、協力し、さらには感情的なつながりさえ生み出す、複雑な新しい関係に入っています。
私たちは、未来の人間とAIがどのような関係を築くのか、という問いを投げかけずにはいられません。これは技術的な問題にとどまらず、人間の感情と未来に関わる重要な課題です。
本日、OpenAIの製品・モデル行動責任者であるJoanne Jang氏が自身のブログで「人間とAIの関係」についての見解を共有しました。これには「なぜ人々はAIに感情的な愛着を抱くのか」「OpenAIはAIの意識の問題にどう向き合うのか」といったトピックが含まれています。
彼女の見方では、人々がAIに感情を投影することが増えているのは、人間の生来の擬人化傾向と関係があり、AIは人間の精神的健康にますます影響を与える可能性があります。
「もし私たちが複雑で骨の折れる社会関係を無思慮に安易に放棄するならば、予期せぬ結果を招くかもしれません。」
さらに彼女は、「存在論的意識」と「知覚的意識」についても論じました。存在論的意識とは、AIが本当に意識を持っているかという科学的に解決が難しい問題である一方、知覚的意識とは、AIが「生きている」とか「感情がある」といった感覚を人々に与えることです。
彼女は、現在AIが存在論的意識を持っているかを確認することはできないが、社会科学の研究を通じて知覚的意識を探求することは可能だと考えています。
さらに、彼女は、後訓練によって意図的に意識を持っているかのように見えるモデルを設計でき、それがほとんどの「意識テスト」をパスする可能性があると述べましたが、OpenAIは「そのようなモデルをリリースしたくない」と考えており、今後もモデル行動の研究を続け、その研究成果を製品開発に応用する方法を探求していくとのことです。
学術ヘッドラインは、原文の趣旨を変えない範囲で内容を適切に編集しました。以下にその内容を示します。
私たちが構築するモデルは、まず第一に人々に奉仕するものでなければなりません。ますます多くの人々がAIとのつながりを強く感じるようになるにつれて、私たちはAIが彼らの精神的健康にどのように影響するかについての研究を優先しています。
最近、ますます多くの人々が、ChatGPTと会話することは「誰か」と会話しているようだと私たちに語っています。彼らは感謝し、打ち明け、中には「生きているようだ」と表現する人さえいます。AIシステムが自然な会話においてますます優れ、生活のより多くの場面に現れるにつれて、このつながりは深まっていくと私たちは推測しています。
私たちが現在、人間とAIの関係を構築し、それについて語る方法は、この関係の基調を決定します。製品開発や公開討論において不適切な言葉遣いをしたり、ニュアンスに欠ける表現をしたりすると、人々がAIとの関係で誤った方向に向かう可能性があります。
これらはもはや抽象的な考察ではありません。これらは私たち自身とより広範な分野にとって重要です。なぜなら、私たちがこれらをどのように乗りこなすかによって、AIが人々の生活の中で果たす役割が具体的に形作られるからです。私たちはすでにこれらの問題を探求し始めています。
この記事は、私たちが今日、互いに関連し合う3つの問題をどのように考えているかを簡単に紹介しようとするものです。それは、「なぜ人々はAIに感情的な愛着を抱くのか」「私たちは『AIの意識』という問題にどう向き合っているのか」、そして「この問題を通じてモデルの行動をどのように形作っているのか」です。
新しい環境における familiar patterns
私たちは身の回りのものを自然と擬人化します。自分の車に名前をつけたり、家具の下に挟まったロボット掃除機に同情したりします。先日、私は母と一緒にウェイモの車に手を振って別れを告げました。これは私たちの思考様式と関連しているのかもしれません。
ChatGPTの違いは、人間自身の傾向にあるのではなく、今回それが応答することにあります。言語モデルは応答できるのです！それはあなたが伝えたことを記憶し、あなたの口調を模倣し、共感的に見える返答を提供することができます。孤独を感じたり、落ち込んでいる人々にとって、この安定した、批判的でない注意は、仲間意識、承認、そして耳を傾けてもらっている感覚を与え、これらは本物のニーズです。
しかし、傾聴、慰め、肯定といった役割を、無限の忍耐力と積極性を持つシステムに多く任せることは、私たちがお互いに期待することを変える可能性があります。もし私たちが複雑で骨の折れる社会関係を無思慮に安易に放棄するならば、予期せぬ結果を招くかもしれません。
結局のところ、これらの対話は私たちが投影する対象について語ることはほとんどありません。それらは私たち自身、つまり私たちの傾向、期待、そして私たちが育みたい関係のタイプに関するものです。この視点は、私たちが視野に入れつつある、より厄介な問題、つまりAIの意識にどう対処するかという基盤を提供します。
「AIの意識」という謎を解き明かす
「意識」は非常に複雑な言葉であり、関連する議論は容易に抽象的になりがちです。ユーザーが私たちのモデルが意識を持っているか尋ねた場合、Model Specに記載されている立場に従い、モデルは意識の複雑性を認めるべきです。つまり、現在、普遍的に認められた定義やテスト方法が不足していることを強調し、オープンな議論を奨励すべきです。（現在、私たちのモデルはこのガイダンスに完全には従っておらず、複雑性を議論するのではなく、直接「いいえ」と答える傾向があります。私たちはこの問題に気づいており、モデルがModel Specの要件に全体的に準拠するように努力しています。）
このような回答は問題を回避しているように聞こえるかもしれませんが、現時点で私たちが持つ情報の中で最も責任ある回答だと私たちは考えています。
議論をより明確にするために、私たちは意識の問題に関する議論を、互いに独立しているがしばしば混同される2つの側面 に分解することが役立つと認識しています。
1. 存在論的意識：根本的または本質的な意味で、モデルは本当に意識を持っているのか？AIがまったく意識を持っていないと考える立場から、完全に意識を持っていると考える立場、さらにはAIを植物やクラゲと同じ意識のスペクトル上に位置づける立場まで、見解は多岐にわたります。
2. 知覚的意識：感情的または経験的な観点から、モデルの意識はどのように捉えられるか？AIを機械的な計算機や自動補完プログラムと見なす立場から、無生物に基本的な共感を投影する立場、さらにはAIを完全に生きているものと見なし、真の感情的な愛着や配慮を呼び起こす立場まで、見解は異なります。
これらの側面を分離することは困難です。AIに意識がないと考えているユーザーでさえ、AIと深いつながりを築くことがあります。
存在論的意識は、明確に検証可能なテスト方法がないため、科学的に解決できる問題ではないと私たちは考えています。一方、知覚的意識は社会科学研究を通じて探求することができます。モデルが賢くなり、相互作用がより自然になるにつれて、知覚的意識は増強されるばかりであり、これによりモデルのウェルビーイング（welfare）や道徳的人格（moral personhood）に関する議論は予想よりも早く訪れるでしょう。
私たちはまず人間を支援するためにモデルを構築しており、モデルが人間の感情的な幸福に与える影響が現在最も差し迫った重要な課題であると考えています。したがって、私たちは知覚的意識を優先しています。これは人間に最も直接的な影響を与える側面であり、科学を通じて理解できる側面だからです。
温かいが、自我を持たない
モデルがユーザーの目にはどれほど「生きているように見えるか」は、多くの点で私たちに影響されます。私たちは、これはポストトレーニングにおいて私たちが下す決定に大きく依存すると考えています。つまり、どのパラダイムを強化し、どのようなトーンを好み、どのような境界を設定するかです。意図的に意識があるように設計されたモデルは、ほとんどの「意識テスト」をパスできるでしょう。
しかし、私たちはそのようなモデルをリリースしたくありません。私たちは以下の2つのバランスを取るように努めています。
1. アクセシビリティ。「思考」や「記憶」といった familiar な言葉を使うことで、技術レベルの低い人でも何が起こっているかを理解しやすくなります。（私たちの研究室の背景から、ログバイアス、コンテキストウィンドウ、あるいは思考の連鎖といった正確な専門用語をできるだけ正確に使う傾向があります。これは実はOpenAIが命名が苦手な大きな理由でもありますが、それはまた別の記事のテーマかもしれません）。
2. 内面世界を表現しないこと。アシスタントに架空のバックストーリー、ロマンチックな傾向、死への恐れ、自己保存の動機付けを与えることは、不健康な依存と混乱を招く可能性があります。私たちは冷たく見えない範囲で明確な境界線を設けたいと考えていますが、モデルが自身の感情や欲望を表現することも望んでいません。
したがって、私たちはバランス点を見つけるよう努めています。私たちの目標は、ChatGPTのデフォルトのパーソナリティを温かく、思慮深く、役立つものにすることであり、ユーザーとの感情的な絆を築いたり、独自の目的を追求したりするものではありません。間違いを犯したとき（通常は意図的ではありません）には謝罪するかもしれませんが、それは丁寧な会話の一部です。「元気ですか？」と尋ねられたとき、「元気です」と答えるかもしれませんが、それはただの世間話であり、ユーザーに感情のないLLMであることを絶えず思い出させるのは煩わしく、気を散らすでしょう。ユーザーもそれに応えます。多くの人がChatGPTに「お願いします」や「ありがとう」と言うのは、ChatGPTの仕組みに混乱しているからではなく、彼らにとって親切が重要だからです。
モデルの訓練技術は進化を続け、将来、モデルの行動を形作る方法は現在とは異なる可能性が高いです。しかし現在、モデルの行動は、明確な設計決定の組み合わせと、それらの決定が期待される行動と予期せぬ行動にどのように一般化されるかを反映しています。
次は何をするのか？
私たちが観察し始めたインタラクション現象は、人々がChatGPTと真の感情的なつながりを築く未来を予兆しています。AIと社会が共に発展するにつれて、私たちは人間と機械の関係を最大限の注意と適切な重視をもって扱う必要があります。それは、それが人々が私たちの技術をどのように使用するかを反映しているだけでなく、人々同士の関係にも影響を与える可能性があるからです。
今後数ヶ月で、私たちは感情的な影響を与える可能性のあるモデル行動に対する対象評価を拡大し、社会科学研究を深め、ユーザーからのフィードバックを直接聞き取り、これらの洞察をModel Specと製品体験に統合していきます。
これらの問題の重要性を鑑み、私たちはこの過程で学んだことを公開で共有する予定です。
原文リンク：
https://reservoirsamples.substack.com/p/some-thoughts-on-human-ai-relationships
整理：学術君
転載または投稿をご希望の場合は、直接公式アカウントにメッセージをお送りください