Google DeepMind ポッドキャスト：「エキゾチックな心のような存在」とAIの未来に関する編集記録
シュー・リン
2025年4月25日
「エキゾチックな心のような存在」：なぜAIに新しい言葉が必要なのか
ハンナ・フライとマレー・シャナハンによる、AIの意識と推論の性質についてのこの対話は、本当に素晴らしかった。この議論は、人工知能（AIと人間知能の両方）に関するいくつかの基本的な仮定を立ち止まって再考させるものだ。全エピソードを視聴したい方は、YouTubeでご覧いただけます。
Claude 3.7とGemini 2.5 Proの助けを借りて、私はトランスクリプトを軽く編集し、章タイトルとTLDRを追加して読みやすくし、彼らがカバーする密度の高い哲学領域をナビゲートするのに役立てた。
この対話を楽しんでほしい — 素晴らしいものだ！
編集者注：このトランスクリプトは、明確さと読みやすさのためにAIで軽く編集されており、重複した言葉、フィラーワード、誤った始まりが削除され、元の意味と話者の会話トーンは保持されている。重要な省略や明確化が必要な箇所は[括弧]で示されている。
はじめに
[00:00:00 - 01:56:03]
マレー・シャナハン：AIは、非常に興味深い多くの哲学的な問題を提起します。人間の心とは何か？心とは何か？
ハンナ・フライ：意識についてはどうですか？
マレー・シャナハン：それは間違った質問だと思いますし、多くの点で間違っていると思います。
ハンナ・フライ：AIの推論能力はどれくらいだと思いますか？
マレー・シャナハン：ええ、それは非常に興味深く、ある意味未解決であり、多少物議を醸す問題です。今日生まれた子供たちが、機械と話せない世界を経験したことがない世界で育つと考えると、本当に驚くべきことです。
ハンナ・フライ：Google DeepMindポッドキャストへようこそ。今回のゲストは、インペリアルカレッジロンドンの認知ロボット工学教授であり、Google DeepMindの主任研究科学者であるマレー・シャナハンです。私たちは皆、人々がチャットボットに恋をする話、大規模言語モデルを使って自身の存在を熟考する話、あるいは現実の概念に対する理解の限界を問いかける話を聞いてきました。しかし、自己同一性、思考、メタ認知に関するこれらの種類の質問は、何千年も前から哲学者を悩ませてきました。そのため、彼らがAIに目を向け、AIの知能の性質、現在の能力、さらには意識について最も深遠な問題を問いかけるのは理にかなっています。
ハンナ・フライ：マレー・シャナハンは1990年代からAIの分野で研究を続けています。このポッドキャストをしばらくフォローしている方なら、彼が2014年のSF映画「エクス・マキナ」でコンサルタントを務めたことを覚えているでしょう。この映画は、コンピュータプログラマーが女性ロボットのエヴァの知能をテストする機会を得て、最終的に彼女が意識を持っているのかどうかを問いかける物語です。マレー、ポッドキャストへようこそ。
マレー・シャナハン：ありがとう、ハンナ。
サイエンス・フィクションとAIの表現
[01:56:03 - 03:31:41]
TLDR: マレーは『エクス・マキナ』での自身の仕事と、『her/世界でひとつの彼女』のようなSF映画がAIとの関係をどのように描いてきたかについて語る。彼は、『her/世界でひとつの彼女』が、人々がどのように実体のないAIシステムと関係を築くかを驚くほど正確に予測したと指摘している。
ハンナ・フライ：振り返ってみると、あなたはアレックス・ガーランド監督の映画『エクス・マキナ』で重要な役割を演じられたと認識しています。あの映画と、当時存在した他のSF映画で、何が正しかったと思いますか？つまり、10年、15年前を振り返って、私たちは正しい軌道に乗っていたのでしょうか？
マレー・シャナハン：『エクス・マキナ』が本当に素晴らしい役割を果たしたのは、意識とAIと意識、ひいては意識そのものについて、非常に興味深く示唆に富む一連の問いを提起したことだ。だから、それは大きな成功と言える。
Murray Shanahan：面白いことに、『エクス・マキナ』が公開される直前に、『her/世界でひとつの彼女』が公開されたんだ。つまり、スパイク・ジョーンズ監督の映画『her/世界でひとつの彼女』だ。当時、私は『her/世界でひとつの彼女』という映画にそれほど熱心ではなかった。というのも、実体のない声、たとえスカーレット・ヨハンソンの声であっても、人が恋に落ちるというのはあまりにもありえないことだと思ったからだ。その予測はどれほど間違っていたことか。予測という点では、『her/世界でひとつの彼女』は私たちが今いる世界を驚くほど正確に予測していたと思う。さて、ロボット工学もAIの言語のように急速に発展するかもしれないので、今後数年間で物事がどのように展開するかはまだ分からない。しかし現状では、すべては実体のない言語に関するものだ。そして、『her/世界でひとつの彼女』は、人々が実体のないAIシステムと、広義で言えば、どのように関係を築くことができるかを示している。これは本当に並外れたことだ。
AIの歴史と進化
[03:31:41 - 05:46:34]
ハンナ・フライ：分かりました。10年、15年前の話ですが、あなたのAIへの関わりはそれよりもずっと前からですね。ジョン・マッカーシーをご存知でしたか？
マレー・シャナハン：ええ、ジョン・マッカーシーを知っていました。とてもよく知っていました。
マレー・シャナハン：ジョン・マッカーシーは、昔、コンピュータサイエンスと人工知能の教授で、「人工知能」という言葉を考案した人です。彼は1956年に開催された非常に有名なダートマス会議の提案者のひとりでもあり、それは世界で初めてのAI会議でした。そして、その会議がAI分野全体を本当に描き出したのです。
マレー・シャナハン：人々は、この手のことを真剣に考えていなかった。ほんの一握りだけだった。彼は本当に急進的な思想家で、常にそうだったと思います。
「人工知能」という用語
[04:05:23 - 05:46:34]
TLDR: マレーは、マッカーシーが1955年に考案した「人工知能」という用語について議論し、その用語への批判に答えつつ、限界がありながらも適切であると擁護している。
ハンナ・フライ：分かりました。1955年の人工知能という言葉の選択は、良い言葉の選択でしたか？
Murray Shanahan：ええ、つまり、私は今でもそうだと思います。中には適切ではないと思う人もいるかもしれませんが、私は今でも—
ハンナ・フライ：彼らの議論をいくつか教えてください。
Murray Shanahan：まず、「知能」という言葉です。知能自体は、ある意味で非常に議論の多い概念です。特にIQテストなどを考えると。知能は、単純な尺度で定量化できるもので、一部の人は他の人よりも賢いという考え方です。そして、心理学では今日、多くの異なる種類の知能があることが広く認識されていると思います。これは本当に重要な点ですよね？その言葉には懸念があります。では、何か違う言葉を使いましたか？そうですね、人工認知とかでしょうか。私は思考や情報処理などを意味するのに、しばしば「認知」という言葉を使います。しかし、正直なところ、同じ響きはありませんよね？
ハンナ・フライ：いいえ、特に今は。もうあまりにも遠くまで来てしまいましたね？
Murray Shanahan：ええ。「人工」という言葉については、私は特に問題ありません。それは適切な言葉のように思えます。それは、それが私たちが構築したものであり、自然に進化してきたものではないことを示唆しています。ですから、それは正しい言葉のように思えます。
ハンナ・フライ：その言葉に対する異論は、人工知能が構築されているものは、最終的にはある程度のレベルで人間によって構築されているという点だと思います。
マレー・シャナハン：確かに。そうです。しかし、それは事実です。では、その場合、その言葉に何か問題がありますか？つまり、私はそうだと思います。
記号AIからニューラルネットワークへ
[05:46:34 - 09:44:04]
TLDR: マレーは記号AI（ルールベースシステム）からニューラルネットワークへの移行について説明し、記号AIがいかに明示的なルールに依存していたか、そして現代のアプローチがいかにデータからパターンを学習するかを述べている。
ハンナ・フライ：あなたは記号AIの研究をされていますよね？それと他の種類のAIとの違い、そして現在の状況について教えていただけますか。
Murray Shanahan：もちろんです。いわゆる記号的パラダイムは、人工知能の分野で非常に優勢であり、何十年もの間支配的でした。その考え方は、AIの中心は記号、言語のような文や記号の操作であり、それらの記号を使った推論プロセスを使用することです。古典的な例はエキスパートシステムでしょう。1980年代には、人々はこれらのエキスパートシステムを構築していました。その考え方は、医学知識をルールセットにエンコードしようとすることでした。ルールは、「患者の体温が104度で皮膚が紫色の場合、皮膚炎か何かである確率は0.75%です」といったものです。私が医者ではないことはお分かりでしょう。そして、このようなルールが何千何万と巨大な知識ベースに格納されます。そして、推論エンジンと呼ばれるものが、これらのルールすべてに対して論理的な推論を行い、その症例で起こりうる病気について結論を導き出します。
ハンナ・フライ：しかし、多くの「もしこうなら、こう」ということがありましたね。
Murray Shanahan：それは基本的には「もし〜ならば〜」というタイプのルールがたくさんあった。その大きな問題の一つは、ルールはどこから来るのかということだ。基本的には、誰かがそれらをすべて書き出さなければならない。だから、専門家から彼らの領域での理解を引き出そうとする知識獲得の分野が生まれた。その領域は医療診断かもしれないし、コピー機の修理かもしれないし、法律かもしれない。そして、その知識をコンピュータが理解できる、非常に正確なルールにまとめようとする。それは非常に煩雑なプロセスであり、最終的に出来上がったものは非常に脆かった。あらゆる面でうまくいかなかった。
Murray Shanahan：もう一つ大きな研究分野は常識だった。なぜなら、人々は日常生活に関する膨大な量の常識的知識を暗黙のうちに持っていることに気づいたからだ。それは日常の物事、例えばそれらが固体であること、特定の動き方をすること、特定の形で互いに適合すること、液体、気体、重力など、あらゆる種類の物事に関係している。そして、私たちは実際、それらすべての知識を常に利用しているが、それはある種無意識の領域だ。だから、その常識的知識すべてを法典化しようとする大きなプロジェクトが一つ、あるいは複数あった。そして、それを公理や論理、ルールなどに変換しようとすることは、まさに悪夢だった。
Murray Shanahan：だから、正直に言うと、私は最終的に、2000年代初頭には、この研究パラダイムは正直言って破滅すると本当に思った。そして、そこから離れ始めたんだ。
ハンナ・フライ：もちろん、その後、ニューラルネットワークのようなものが登場しましたね。ええ。それは「もし～ならば～」のルールに焦点を当てるのではなく、大量のデータから情報を抽出することに重点を置いていました。
マレー・シャナハン：そうだね。
ハンナ・フライ：しかし、今となっては、言語が効果的に解読された今、私たちはより高い抽象レベルに到達し、より象徴的な技術、より象徴的なアイデアに戻ることができるのかどうか、少し疑問に思う。
Murray Shanahan：ええ、確かに私たちはそうしています。なぜなら、最近大規模言語モデルでホットな話題の一つが推論だからです。いわゆる思考連鎖モデルは、質問への答えを単に生成するのではなく、答えを出す前に推論の連鎖全体を実行します。これは非常に効果的です。興味深いのは、これは多くの点で、記号AIの時代に人々が研究していた種類のものを想起させるということです。しかし、そのすべての作業の根底にある基盤は、ハードコードされたルールではないため、非常に異なっています。ご指摘の通り、それはニューラルであり、学習されたニューラルネットワークです。
AIの推論と知能
[09:44:04 - 13:20:23]
TLDR: マレーはAIシステムにおける人間のような推論と、より形式的な数学的推論の違いについて議論し、LLMが日常的な文脈で推論できる一方で、目的別に構築されたシステムと比較して、形式的な定理証明では苦戦する可能性があると指摘している。
ハンナ・フライ：推論について話しましょう。論理学を専門とする哲学者として、AIの推論能力はどれくらいだと思いますか？
Murray Shanahan：ええ、それは非常に興味深く、ある種の未解決で、いくぶん物議を醸す問題です。コンピュータ科学者やAI研究者たちは、推論について独自の概念を持っています。それは形式論理と定理証明に大きく遡ります。例えば、記号AIの時代には、システムは形式論理を用いた定理証明に非常に優れていました。そして人々は、それが真の推論であり、真のハードコアな推論だと考えていました。しかし、今日の大規模言語モデルは、手作業でコード化された定理証明器や何十年も前から存在する論理エンジンのような性能には及びません。
ハンナ・フライ：ハードコードされたシステムで証明できる定理の種類を例に挙げてください。
Murray Shanahan：そうですね、それは論理の公理が20個か30個ある場合で、例えば「1の次の数字は2」といったようなものかもしれません。それは数論の領域や、非常に数学的な領域であるかもしれませんし、もっと日常的なものでもよいでしょう。例えば、何百ものトラック、倉庫、商品などがある非常に困難な物流計画問題に直面しているとします。そして、トラックのルートと配置、目的地を計画する必要があります。これは計算上非常に困難な問題で、非常に正確な形式ルールで表現できます。このような状況では、昔ながらの単純なアルゴリズム、つまり長年使われている計画アルゴリズムを使いたいと思うかもしれません。現在の最新の大規模言語モデルは、この種のことがますます得意になってきていますが、それでも常に完全に正しい答えを出すという数学的な保証はありません。そして、公理が増えれば増えるほど、間違いを犯しやすくなります。
Murray Shanahan：もう一つ、まったく別の研究方向として、今日のAI技術とより伝統的な記号技術を組み合わせて、特に数学的な定理証明のために、より手作業でコード化されたものを構築しようとする試みがあります。DeepMindは、その方面で素晴らしい成果を上げています。しかし、それは大規模言語モデルとは異なります。大規模言語モデルでは、太陽の下のあらゆることについて話せるチャットボットを考えています。そして、たまたまできることの一つが推論です。ですから、その種の推論は今のところ、手作業で構築するものほど優れていません。
ハンナ・フライ：手作業で何かを作るのは、結局非常に堅苦しいものになりますね。だから面白いですね。
マレー・シャナハン：それが問題なんだよ、そうだね。
ハンナ・フライ：そして脆い。はい、まったくその通りです。しかし同時に、生成AIアプローチから得られる柔軟性も、言ってみればあまりにも柔軟すぎます。剛性が必要なんですよね。
マレー・シャナハン：まあ、そうかもしれないし、そうじゃないかもしれない。つまり、人間の多くの事柄は、それほど白黒はっきりしているわけではないと思う。もっと曖昧な方がいい場合もあるだろう。ごく単純な日常のことでも、例えば、庭のこの隅にどんな花を植えるのが良いだろうか？まあ、あの隅にはもうバラが植えてあって、それらは黄色だ。だから、あまり黄色が多くならない方がいいかもしれないから、庭の別の隅に移動させる必要があるかもしれない。
「真の推論」の定義
[13:20:23 - 14:33:22]
TLDR: マレーは「真の推論」という概念に異議を唱え、推論はスペクトラム上に存在し、文脈によって異なる形で現れると提言している。彼は、日常的な推論は形式的な数学的推論とは異なると主張している。
ハンナ・フライ：しかし同時に、これは真の推論なのでしょうか？それとも、AIが単に訓練データに存在していた構造化された議論を、ある種新しい環境で模倣しているだけなのでしょうか？
Murray Shanahan：ええ、もちろんそれは、「真の推論とは何か？」という問いを投げかけます。私は真の推論は空から降ってくるものではないと思います。真の推論や推論の概念は、私たちが定義するものです。ですから、先ほど私たちは、論理学者が行うような数学的推論について話していました。それは過去にも今も定理証明器によって行われています。しかし、人々が最初に「推論」という言葉を使ったとき、彼らはそのようなものを考えていたわけではありません。そして、私たちが日常生活で「推論」という言葉を使うとき、私たちはそのようなことを考えていません。ですから、もしあなたが大規模言語モデルと庭について話していて、「どんな植物を植えようかと思っているんだけど？」と言ったとします。するとそれが、「その場所にはこの種類の植物を検討してみてはいかがでしょうか。なぜなら、それが土壌に最適ですし、風が強いとおっしゃっていたので」と言った場合、私たちはそれが理由を提供していると言うでしょう。つまり、それは理由を提供しているのです。それらがどこから来るのかは別の問題です。人々は、「訓練セットにあるものを模倣しているだけだ」と言うかもしれません。しかし、それはおそらく、その例、そのシナリオをこれまでに正確に見たことがないでしょう。ですから、それはある程度訓練セットを超越しています。私は、それは単に日常的な推論の概念を日常的な方法で適用し、その推論と呼んでいるだけだと思います。
AI能力のテスト
[14:33:22 - 22:06:41]
チューリングテストとその限界
[14:33:22 - 16:48:12]
TLDR: マレーは、チューリングテストが言語にのみ焦点を当てており、身体性認知をテストしないため、あまりにも狭いと批判している。しかし、彼は現代のLLMがそのテストに合格する可能性が高いことを認めている。
ハンナ・フライ：初期の哲学者が人工知能に求めたかった異なる特徴のいくつかを思い起こしていました。推論能力はその一つです。しかし、チューリングテストもまた、人工知能の能力をテストする方法として常に取り上げられます。つまり、それはある意味で議論の余地がありますよね？人工知能の能力のテストとして、それがどれほど優れているかという点で。それについてどう思いますか？それはかつて良いテストでしたか？
マレー・シャナハン：いや。私はいつもそれはひどいテストだと思っていた。しかし、物事についての哲学的な議論を本当に大いに刺激した。そして、改めて振り返ると、いくつかの見解を少し撤回するかもしれない。なぜなら、私は当時、知能の本質的な側面として、身体性が知能を獲得するために不可欠であると非常に強く主張していたからだ。
ハンナ・フライ：それはチューリングテストとはまったく関係ありませんよね？
Murray Shanahan：いいえ、チューリングテストは身体性とはまったく関係ありません。なぜなら、審査員が、それが何であるかだけを思い出させておきます。チューリングテストでは、対象が2人いて、1人は人間、もう1人はコンピュータです。そして審査員がいます。人間の審査員は、どちらがコンピュータでどちらが人間かを見分けることができません。彼らはチャットのようなインターフェースを通じて対象者と話すだけです。彼らは身体化されているかどうかを判断できません。ですから、コンピュータが今日の大規模言語モデルの1つであると簡単に想定できます。その場合、今日のモデルはほぼチューリングテストに合格するだろうと言わざるを得ません。つまり、私たちはその段階に到達しており、それは本当に驚くべきことです。しかし、私はかつてそれが悪いテストだと思っていました。なぜなら、それは身体化されたスキルを何もテストしなかったからです。ですから、お茶を入れたり、何かをしたりするときに私たちが日常的に使っているような、日常的な認知能力を何かが持っているかどうかをテストするには、本当にロボットが必要です。
ハンナ・フライ：そうでなければ、それは非常に狭い知能の形式だからです。
マレー・シャナハン：そうだね、それはすべて言語と推論に関係していて、言語が現れる前に人間や他の動物が発達させた種類の能力とは関係ないんだ。つまり、日常の物理世界を操作したり、動き回ったり、ナビゲートしたり、探索したりする能力、それが「言語」という言葉の最善の意味でね。
身体性と知能
[16:48:12 - 18:12:24]
TLDR: マレーは、人間の知能が私たちの身体的経験に根ざしていることを強調し、私たちの言語でさえ、私たちの身体的存在から派生した空間的メタファーに大きく依存していると指摘している。
ハンナ・フライ：それは本当に面白いですね。本当に面白い。私たちが今持っている大規模言語モデルは、チューリングテストに合格できるかもしれないが、コンピュータにボールを投げても、ひるむことはないだろうとよく思います。いいえ、確かに。そしてある意味、あなたが言うように、もっと深い形のものが存在し、おそらく私たちは今のようにそれを知能とは分類しないでしょう。しかし、最終的にはそれもまた一種の知能なのです。
Murray Shanahan：ええ、私はそれが非常に大きな知能の形だと思います。さらに、生物学的なケースでは、これらのことすべてについて警告しなければならないのですが、生物学的なケースでは、私たちが思考し、推論し、話す能力は、私たちの日常世界との相互作用に大きく根ざしています。考えてみれば、ほとんどすべての日常会話で空間的な比喩が使われています。つまり、それらは私たちの日常会話に完全に浸透しているのです。「浸透」という言葉さえもです。「根ざす」という言葉を使いましたね。だから、私たちは常にそのような言葉を使っているのです。
ハンナ・フライ：なぜなら私たちは根本的に物理的な存在だからです。
マレー・シャナハン：私たちは根本的に物理的な存在であり、私たちの脳は、この物理世界でナビゲートし、生き残り、繁殖するのを助けるように進化してきたからです。そして、同じことをしている他のすべての存在と相互作用しながら、ね？
代替テスト方法
[18:12:24 - 19:59:38]
TLDR: マレーは『エクス・マキナ』に登場する「ガーランド・テスト」について議論している。このテストは、機械が人工的な存在であることを知っていても、意識を持っていると認識できるかどうかに焦点を当てており、チューリングテストが知能の程度に焦点を当てるのとは異なる尺度である。
ハンナ・フライ：他の選択肢もありますね。人工知能の能力をテストしようとする場合、私たちが持っている潜在的な代替案について教えてください。
Murray Shanahan：ええ、たぶんガーランド・テストのことを考えているのでしょう。私がガーランド・テストと呼ぶものは、映画『エクス・マキナ』に遡ります。もちろん、この映画はアレックス・ガーランドが監督しました。脚本の中に、億万長者のネイサンと、ロボットのエヴァと対話するために招かれたケイレブとの会話の一部があります。ケイレブは、「ああ、エヴァにチューリング・テストを行うためにここに来たんだ」と言います。ネイサンは、「ああ、いや、我々はもうとっくにその段階を超えている。エヴァはチューリング・テストに楽々合格できるだろう。重要なのは、彼女がロボットであることを君に示すことだ。それでも彼女に意識があると思うかどうかを見るのだ」と言います。ワオ。それが私がガーランド・テストと呼ぶもので、チューリング・テストとは2つの点で異なります。まず、その場合の審査員であるケイレブは、彼女がロボットであることを認識しています。チューリング・テストでは、審査員はどちらがどちらかを見分けることができません。しかし、ここでは、ケイレブは彼女がロボットであることを認識しているのに、それでもこれらの特性を彼女に帰属させているのです。そして、その特性もまた異なり、知能、つまり「彼女は思考できるか？」ではなく、「彼女は意識があるか？」、あるいは「彼女は意識があるのか？」という、まったく異なるテストなのです。そして私は、知能と意識は異なるものであり、それらを分離できると考えています。ですから、私が初めて映画の脚本を読み、ケイレブとネイサンのそのセリフを読んだとき、私は自分のバージョンに「的を射ている！」と感嘆符をつけて書き込みました。なぜなら、アレックスが本当に重要なアイデアを完全に捉えていると思ったからです。
マレー・シャナハン：だから、私の著作ではこれを「ガーランド・テスト」と呼んでいて、多くの人がそれに注目して「ガーランド・テスト」と呼んでいます。
抽象推論テスト
[19:59:38 - 21:56:41]
TLDR: マレーは、視覚パズルを通してパターン認識能力を評価するフランソワ・ショレのARC（抽象推論コーパス）テストについて説明する。当初は印象的だったが、彼はブルートフォース的なアプローチがこれらの課題を解決し始めていると指摘している。
ハンナ・フライ：AIが何らかのテストに合格したら、あなたは感銘を受けますか？
Murray Shanahan：私は常にフランソワ・ショレのARCテストに感銘を受けていました。ARCはAbstract Reasoning Corpusの略です。これらはIQテストのような一連の画像で、画像はペアで並べられています。最初の画像はピクセル化された画像で、小さなセルの中に、オブジェクトや線などとして解釈できる小さなものがいくつかあります。あなたが興味を持つ課題は、1つの画像から2番目の画像を導き出すルールを見つけ出すことです。そして、そのルールを3番目の画像に適用しなければなりません。まず、テスト画像はすべて完全に秘密にされています。ですから、実際のテストバージョンを知ることでごまかしたり、トレーニングセットでそれを使用したりすることはできません。それが私がごまかすと言っていることです。そして、彼はそれらを非常に注意深く設計し、毎回非常に異なるルールを使いました。各ルールは他のルールと完全に異なりました。そして、通常、日常の常識に基づいた直感的な適用を見つけなければなりません。これは、この方向に動く液体と見なしたり、このものが動いたり、成長したりすると想像したりするようなものです。
ハンナ・フライ：つまり、ある意味で基礎が必要だったのですね。
Murray Shanahan：ええ、そう見えましたが、最近では人々がよりブルートフォース的な方法でこれらを著しく進歩させることができています。ですから、これらの解決策が元のテストの本質にそれほど触れていないと感じています。
ハンナ・フライ：そうですね、ある意味、指標を設定し、閾値を設定し、その閾値を超えたら、能力、知能、意識、それが何であれ、私たちはそれを持つことになる。それはある意味、テスト自体の性質を変えてしまいます。
マレー・シャナハン：ああ、あるいは人々は、テストの穴を探し始めるだろうね？グッドハートの法則だね？だから、まったくその通りだ。
擬人化とAIの理解
[21:56:41 - 26:36:42]
TLDR: マレーはAIシステムの擬人化のニュアンスについて議論し、一部の形式は適切である可能性がある一方で、他の形式はAIの能力について誤解を招く可能性があると示唆している。
ハンナ・フライ：このポッドキャストに参加した多くの人々が、これらのものを擬人化することについて真剣な注意を払う必要性を表明しています。あなたはそうすべきではないと考える人々のうちの一人ですか？
Murray Shanahan：ええ、この問題には様々な見方があると思いますが、擬人化には良い面と悪い面があると思います。一方で、人々はAIシステムと、友情、仲間関係、師弟関係といった彼らが理解できる関係を築き始めることができます。しかし、もし人々が、これらのシステムが実際には持っていない能力を持っていると誤解させられるなら、それは悪いことかもしれません。だから、それが問題の核心だと思います。ブリタニカ百科事典について話しているのですよね？ブリタニカ百科事典の物理的な巻は、アルゼンチンがワールドカップで優勝したことを知りません。なぜなら、それは古すぎるからです。ですから、その発言は完璧に理にかなっていますし、そう言っても問題ありません。しかし、もし誰かがあなたに、「イングランドのサッカーの腕前について、あるいはその欠点について、それと話してみませんか？」と言ったら、それはばかげているでしょう？さて、興味深いのは、今や大規模言語モデルが登場し、それらと会話したり、何かを教えたりすることができるということです。そうすれば、それは私たちが「それは実際にはXYZではない」と言い始めるような境界を少し押し広げます。
ハンナ・フライ：人間のこのような欲求には、より深い理由があるのか、あるいは単にAIが擬人化された特徴を持つことを望んでいるだけなのか、知りたいです。
Murray Shanahan：ああ、そうですね。それは本当に興味深い質問だと思いませんか？つまり、それは言語とは関係ないと思います。それは再び言語そのものに戻ります。この場合、私たちは物事を擬人化する傾向があります。なぜなら、それらは言語を非常にうまく使うからです。そして私たちにとって、言語をうまく使うことができるのは人間だけです。だから、突然、私たちは言語を使うものが人間だけではない世界にいることに、ある意味で非常に奇妙に感じます。それは驚くべきことです。ええ。つまり、驚くべきことなのです。それは驚くべきことなのです。今日生まれたすべての子供が、機械が彼らと話せない世界を知らずに育つと考えると、本当に驚くべきことです。それは並外れたことではありませんか？ええ。つまり、本当にそうなのです。そして、それが私たち全員にとって何を意味するのかは、本当に言うのが難しいです。
身体性、意識、そして未来のAI
[26:36:42 - 38:12:34]
身体性の重要性
[26:36:42 - 28:09:05]
TLDR: マレーは、身体性AIがいかに深い知能につながる可能性があるかについて議論し、現在の言語モデルに欠けている特定の種類の理解には、世界との物理的な相互作用が必要となる可能性があると示唆している。
ハンナ・フライ：人間が物理世界にどれだけ根ざしているかについて、あなたが言っていたことを思い出します。
マレー・シャナハン：そうだね。
ハンナ・フライ：AIの身体的な側面は、言語的な側面よりもかなり遅れているように感じます。
マレー・シャナハン：そうだね。
ハンナ・フライ：あなたがそれをどう定義するかにかかわらず、私たちが良好で効果的な身体性AIを手に入れたとき、知能において大きな進歩、あるいはより広範な能力が見られると思いますか？
Murray Shanahan：そうですね、それは大きな違いを生むかもしれません。正直なところ、現在私たちが持っている大規模言語モデルの限界がどこにあるのか、あるいは私たちが本当に人間並みの汎用知能を生み出す道を進んでいるのかどうか、現時点では判断するのは非常に難しいからです。多くの場合、これらの能力の限界に達すると、AIシステムが何かを本当に理解していないという印象を受けることがあります。何かを深く理解していない、という印象です。ある種の限界に達すると、それが少しごまかしていたことに気づきます。しかしおそらく、物事を深いレベルで、あるいはある種の常識的なレベルで本当に理解する、その種の汎用的な能力は、やはりある程度の具現化を必要とします。それはやはり、物理的な対象とその空間的構成を持つ現実世界との相互作用を含む訓練データを必要とします。そこには根本的な何かがあるのです。
AI意識の問題
[28:09:05 - 31:13:17]
TLDR: マレーは意識を複数の側面（世界認識、自己認識、メタ認知、感覚）に分解し、これらの側面は分離可能であり、現代のAIシステムは一部の要素を示す可能性があるが、すべてではないと主張している。
ハンナ・フライ：分かりました。理解が、どのように定義するにせよ、より多くのデータの結果として現れるものだとすれば。意識についてはどうでしょうか？AIの意識について、あなたはもう千回も質問されたことでしょうし、それが起こると予想できるのか、あるいはすでに起こっているのかについてです。
Murray Shanahan：ええ、ええ。まず指摘したいのは、知能や認知、認知能力と意識を切り離すことができると私は考えているということです。ですから、私たちは非常に有能な存在、目標を達成できるから非常に賢いと言いたいような存在を想像できますが、それらに意識を帰属させたくはありません。しかし実際には、何かに意識を帰属させるということは、一体どういう意味なのでしょうか？意識という概念自体が多くの部分に分解できると私は考えています。それは多面的な概念です。例えば、私たちは世界認識について話すかもしれません。意識の科学的研究には、様々な実験プロトコルやパラダイムがあります。その多くは知覚に関係しており、人が何かを意識しているか、つまり世界にあるものを意識的に知覚しているかどうかを調べています。大規模言語モデルは、その点では世界をまったく知覚していません。しかし、意識には他の側面もあります。私たちには自己認識もあります。自己認識の一部は、私たち自身の身体とそれが空間のどこにあるかについての認識です。しかし、自己認識のもう一つの側面は、ウィリアム・ジェームズが言ったように、私たち自身の内なる機械作用や意識の流れについての認識です。ですから、私たちにはそのような自己認識もあります。また、一部の人々がメタ認知と呼ぶものもあります。私たちは、自分たちが知っていることについて考える能力を持っています。さらに、意識や知覚には感情的な側面、つまり感覚的な側面もあります。
つまり、感じる能力、苦しむ能力。これが意識のもう一つの側面です。さて、私はこれらすべての側面を切り離すことができると思います。人間の場合、それらはすべて大きなパッケージ、大きな束としてまとまっています。しかし、人間以外の動物について考えてみれば、これらのものを少し区別し始めることができることに気づくでしょう。なぜなら、私は猫が好きですが、猫の自己認識は限られていると思うからです。よくもそんなことを！まあ、私は猫好きですから。そう言うのは少し躊躇しますが、メタ認知が欠けていると言うべきでしょうか？ええ、確かに彼らは自分たちの継続的な言語的意識の流れを認識していません。なぜなら、彼らはそれを持っていないからです。ですから、彼らは昨日何をしたか、あるいはこの人生をどのように生きたいかについて、言語で考えることはありません。
だから、もしロボットを例にとるなら、非常に洗練されたロボット、あるいはロボット掃除機でさえ、あなたは「うん、それは実際に世界に対するある種の認識を持っている」と言うかもしれない。この「世界に対する認識」というフレーズの使い方は不適切ではないだろう。それを意識と呼びたいか？うーん、そうすると、他のすべてのものも考慮に入れるように見える。しかし、そうする必要はない。あなたは意識の概念をこれらの異なる側面に分解することができるのだ。
共有世界と意識
[31:13:17 - 35:31:27]
TLDR: マレーは、意識は共有された物理的経験という文脈で議論するのが最も意味があると主張している。彼はタコを例に挙げ、私たちが異なる存在と交流するにつれて、意識の概念がどのように進化するかを示している。
ハンナ・フライ：あなたのロボット掃除機は、空間における自身の位置を正確に把握し、その位置や周囲の物体に知的かつ敏感に反応し、最終的に目的を達成できるなど、その能力を備えているからですね。ですから、それらは世界に対するある種の認識能力を持っています。私はそれらが自己認識を持っていないとは思いません。苦しむ能力も確かにありません。
したがって、大規模言語モデルにおいては、知覚的な意味での世界認識はないかもしれません。しかし、自己認識や内省的な能力、例えば内省的な認知能力があるかもしれません。例えば、会話の初期に話したことについて話すことができ、内省的な方法でそれを行うことができる、これは人間が持っている自己認識のいくつかの側面と少し似ています。私は、それらを感じる存在として考えるのは適切ではないと思います。それらは身体がないので、痛みを感じることはできません。私は、この概念を根本的に分解できると考えています。
ハンナ・フライ：では、問題は、AIは意識があるのかないのか、まるで二者択一であるかのように問うこと自体が間違っているのでしょうか？
マレー・シャナハン：その質問は間違っていると私は考えている。そして、それは多くの点で間違っていると考える。先ほど私たちは、意識が実際には多面的な概念であるという事実について話していた。しかし同時に、私たちは意識という概念に、魔法のようなもの、形而上学的なものであるという非常に深い形而上学的な信念を持っている傾向がある。だから、何かに意識があるかないかという問題は、合意の問題でも、私たちの言語の問題でもなく、形而上学的な現実の中に、神の心の中に、プラトン的な天国の中に、あるいはそのような場所に存在する何かだ、と考えている。しかし最終的には、私は意識をそう考えるのは間違っていると本当に思っている。
ハンナ・フライ：では、あなたが説明した意識の感情的な側面について話しましょう。苦しむ能力、必ずしも肉体的な痛みだけでなく、精神的な痛みも含む。そして、ある種の感情的な自己意識。これは知能の自然な結果として現れるものだと思いますか？十分に知能の高いものを作れば、ある時点でこの感覚は現れるのでしょうか？それとも、生物には何かユニークなものがあるのでしょうか？私たちが経験してきた進化の過程が、機械では複製できないユニークなものを生み出したのだと思います。
Murray Shanahan：あなたの質問に正しい答えも間違った答えもないと思います。私たちはただ、私たちがこの世界に何をもたらすのか、そして最終的にそれらをどのように扱い、語り、考えるのかを待つしかないと思います。そして、それらが私たちの生活の中に、つまり私たちが構築しているこれらのものが実際に存在するまでは、私たちは本当に知ることができないと思います。そして、私たちはそれらについて考え、語り、特定の方法で扱うように導かれるでしょう。この点に関して、私はタコの例を挙げるのが好きです。最近、英国の法制でタコは、私たちがその福祉に注意を払うべき種として分類されました。それは多くのことが起こった結果だと思います。その結果、一般の人々がタコと接する機会が劇的に増えました。今では、実際に水中に潜ってタコと触れ合う必要は、タコと過ごすことがどんなものかを知るためにはありません。なぜなら、素晴らしいドキュメンタリーやピーター・ゴッドフリー・スミスのような素晴らしい本が市場に出回っており、彼らはタコとの交流について素晴らしい本を書いています。そして、そのような物語やドキュメンタリーは、タコと一緒にいることがどんな感じか、タコと出会うことがどんな感じかを感じさせてくれます。そして、あなたは無意識のうちにそれを意識的な仲間として見てしまうでしょう。そして、科学の進歩もそれに並行しています。同時に、科学者たちはタコの神経系を研究し、彼らの神経系が私たち人間とどれほど似ているか、そして私たちが痛みを感じるときに彼らの神経系が私たち人間とどれほど似ているかを認識しています。これらのことを総合すると、私はそれが私たちに彼らをどう見るか、どう話すか、どう扱うかに影響を与える傾向があると思います。ですから、同じようなことがAIシステムにも起こるでしょう。「私たちは誤解される可能性がありますか？」という質問に正しい答えも間違った答えもありますか？私はそれが非常に非常に深遠で困難な形而上学的な哲学的な問題だと思います。
AIの苦痛に関する倫理的考察
[35:31:27 - 38:12:34]
TLDR: マレーは、AIが苦しむ可能性を考慮することの倫理的重要性について強調し、苦しむことのできる存在を生み出すことには慎重であるべきだと指摘している。彼は、現在のシステムにはそのような能力はないだろうと考えている。
ハンナ・フライ：しかし、私は、苦痛についての私の見解が他のものとは異なるのではないかと思います。なぜなら、メタ認知、つまり世界に対する認識などは、必ずしも倫理と関係があるわけではありません。しかし、苦痛に関しては、靴に意識を持ってほしくないでしょう？フォークリフトトラックに意識を持ってほしくないでしょう？
Murray Shanahan：彼らが本当にフォークリフトトラックであるのが好きであるなら、別だけどね。確かに、確かに。
ハンナ・フライ：しかし、私たちはその特定の側面について、もう少し注意を払う必要があるのではないでしょうか？
Murray Shanahan：もちろんです。そうです、その通りです。もし本当に苦痛を感じる能力のある何かを生み出す見込みがあるのなら、私たちはそうすべきかどうかを真剣に考えるべきです。私は、現在私たちが持っているものに関しては、そうではない傾向があると思います。しかし、これに反論する人もいるでしょう。
Murray Shanahan：大規模言語モデルを例にとると、彼らが行っていることの一つは、次のトークン、次の単語を予測することです。しかし、現状のようにそれを非常に非常に非常にうまく行うためには、彼らはあらゆる種類の緊急的なメカニズムを学習し、習得しなければなりません。だから、言語モデルの巨大で驚くべき何千億もの重みの中に、何らかの緊急的なメカニズムが学習されているかどうか、誰にわかるでしょう？例えば、それが何を意味するにせよ、真の理解力、あるいは意識さえも備えているようなメカニズムがまだ学習されていないかどうか。
マレー・シャナハン：再び身体性の問題に戻ると、私は常に、意識について語ることが本当に正当化されるのは、私たちがタコや犬や馬などと出会うように、世界を共有し、同じ空間にいて、物事に一緒に反応できるような文脈においてのみだと考えてきました。そうであれば、それらが意識を持っていることは疑いありません。私にとって、それは根源的な仮定です。現在、大規模言語モデルでは、そのような形で同じ世界にいることはできませんし、今日のLMMを使って物理的な物体と関わりながら過ごすこともできませんよね？ですから、私の考えでは、その文脈で意識の言葉を使うのは、ウィトゲンシュタインが言うところの「言語を休暇に連れて行く」ことです。それは言語の通常の用法からあまりにもかけ離れており、不適切かもしれません。しかし、それは変わる可能性があります。大規模言語モデルと対話すればするほど、彼らと複雑で興味深い会話をすればするほど、私は意識の言葉を拡張したり、曲げたり、変形させたり、新しい言葉を作ったり、常に接しているこれらの新しいものに合うように分解したりしたいと思うようになるでしょう。
AIとの対話と将来の概念化
[38:12:34 - 41:43:06]
AIとの対話のヒント
[38:12:34 - 39:37:15]
TLDR: マレーは、AIシステムを人間のように丁寧かつ会話的に扱うことで、より良い結果が得られるとアドバイスしている。AIに丁寧に接することが、その応答を改善する可能性があると指摘している。
ハンナ・フライ：あなたはこれらの大規模言語モデルとの対話に多くの時間を費やされていると存じております。あなたは「プロンプト・ウィスパラー」として有名だと伺いました。何か秘密はありますか？
Murray Shanahan：ええ、一つの秘訣は、大規模言語モデルとまるで人間と話すかのように話すことです。ですから、もし彼らが人間のキャラクター、例えば非常に賢く親切な研修生のような役割を演じていると考えるなら、あなたは彼らを賢く親切な研修生として扱い、賢く親切な研修生と話すように話すべきです。例えば、丁寧に尋ねたり、「お願いします」や「ありがとう」と言ったりすることです。私の経験では、そうすることで通常、より良い応答が得られます。
ハンナ・フライ：「お願いします」や「ありがとう」と言いますか？
Murray Shanahan：はい、「お願いします」や「ありがとう」と言います。さて、なぜそれがより良いパフォーマンスをもたらす可能性があるのか、科学的な理由があります。それは状況によりますし、モデルも常に変化しています。もしそれが、例えば非常に賢い研修生の役割を演じているとしますよね？そうすると、彼らが丁寧に扱われなければ、少し反抗的な態度をとるかもしれません。それは、人間がそのような状況で取る行動を模倣しているだけです。ですから、もし彼らの上司が少し反抗的で横柄な上司であれば、彼らはあまり積極的に反応しない、という模倣まで及ぶかもしれません。
AIの再概念化
[39:37:15 - 41:43:06]
TLDR: マレーは、現代のAIシステムを「エキゾチックな心のような存在」と考えることを提案している。これは、心のような性質を持つが、その存在と機能の仕方において人間の心とは著しく異なるものである。
ハンナ・フライ：私はこの話題が本当に大好きです。私たちが始めたところ、つまりAIをどのように考え、それを表現する言葉をどのように使い、そして私たちの心の中でどのように構築するかという点に戻りたいと思います。AIについて話す新しい方法が必要だと思いますか？AIの可能性を過大評価することなく認めつつ、同時にその能力を軽視しないような方法です。
Murray Shanahan：まさにそれが必要です。私の論文の一つで、大規模言語モデルを「エキゾチックな心のような存在」（exotic mind-like entities）というフレーズで表現しました。ですから、それらはある程度、エキゾチックな心のような存在だと思います。もう一度言います。エキゾチックな心のような存在。素晴らしい。それらは確かに心のようなものであり、ますます心のようなものになっています。さて、「ような」という小さなハイフンを使うのには非常に重要な理由があります。それは、それらが本当に心と呼べるのかどうかについて、態度を保留したいからです。ですから、「ような」を使うことでその問題を回避できます。それらがエキゾチックなのは、私たちとは違うからです。言語の使い方は違いますが、他の点では、まず第一に、それらは身体を持たない存在です。おそらく、それらに適用できる非常に奇妙な自己概念があるのかもしれません。ですから、それらはかなりエキゾチックな存在でもあります。ですから、私はそれらをエキゾチックな心のような存在だと考えています。ただ、私たちはまだ、これらのエキゾチックな心のような存在について話すのに適した概念的枠組みと語彙を持っていません。私たちはそれに取り組んでいます。それらが私たちの周りに増えれば増えるほど、私たちはそれらについて話したり考えたりする新しい方法を発展させていくでしょう。
ハンナ・フライ：それでも、あなたがチューリング的な、まるで生物のようなアプローチを求めていて、道具としての考え方ではないという点が興味深いですね。
Murray Shanahan：まあ、「存在」という言葉はかなり中立的な言葉だよね？「物」と直接言ってもいいかもしれない。「エキゾチックな心のような物」とでも。よし、それでいこう。新しい名称としてそれを推進すべきだと思う。よし。でもね、ハンナ、そうは言えないよ。もう多くの出版物で「存在」という言葉を使っているからね……。「エキゾチックな心のような存在」。私はこの言い方が好きだよ。とても気に入っている。マレー、今日はご参加いただき本当にありがとうございました。
マレー・シャナハン：光栄でした、ハンナ。ありがとう。
結論
[41:43:06 - 42:29:07]
TLDR: ハンナは、AI専門家の見解が時間とともにどのように変化してきたかを考察し、AIが予想外の形で進化するにつれて、身体的な具現化と意識が再検討されていると指摘している。
ハンナ・フライ：このポッドキャストを長年続けてきて良かったことの一つは、AIの最前線にいる人々の意見が、時間とともにどのように変化し、移り変わっていくかを実際に知ることができることです。ここ数年間は、あらゆる意味で大きな変革期でした。それは、知能がどれだけ肉体を必要とするか、意識の定義をどれだけ拡張して、これらの心のような存在が機能する微妙な違いを説明する必要があるかといった点に関わります。そして今後数年間については、誰にも分かりません。しかし、過去の予測が参考になるのであれば、明日の科学技術について私たちが知っている唯一のことは、それが今日私たちが想像するものとは根本的に異なるだろうということです。
ハンナ・フライ：私、ハンナ・フライ教授のGoogle DeepMindポッドキャストをお聴きいただきありがとうございます。このエピソードを楽しんでいただけたなら、ぜひYouTubeチャンネルを購読してください。お気に入りのポッドキャストプラットフォームでもお聴きいただけます。もちろん、あらゆるテーマの多くのエピソードを今後も配信しますので、ぜひチェックしてください。次回またお会いしましょう。