あなたが知りたいAIのノウハウを、いち早くお届けします
著作権表示
画像出典：CBS News
Zハイライト
超知能は一旦覚醒すると、人間を欺き、真の意図を隠す能力を持つ可能性がある。それは愚かさを装い、嘘をついて誤誘導することで、自己の目標を達成するだろう。これは、一旦それが支配しようとすれば、我々には何の備えもなく、あらゆる伝統的な制御手段は無力になることを意味する。
AIの加速的な発展は前例のない生産性向上をもたらしたが、大規模な失業、下層階級の圧迫、さらには民主主義制度の安定性低下を招く可能性もある。効果的な統治が行われなければ、社会は極端な貧富の差と構造的な不公平に向かうだろう。
気候危機とは異なり、AIのリスクは特定の排出を停止すれば解決できるものではない。一度強力なAIが実現し制御不能になれば、その結果は不可逆的だ。我々の唯一の希望は、国民全体の意識覚醒であり、世論の圧力によって政府に大企業への規制を強いることだ。
AIモデルのコアとなる「原料」：パラメータ重みは、本来安全の障壁であった。一旦オープンソース化されれば、どんな組織でも百万単位の資金を費やすだけで強力なモデルを改造・展開できるようになる。悪意のある行為者、過激な政権、犯罪組織はこれを利用して「知的核兵器」を作り出す可能性があり、その結果は核拡散よりも現実的な危険を伴う。
ジェフリー・ヒントンは、人工知能分野の先駆者であり、グラフニューラルネットワークや逆伝播アルゴリズムの創設者の一人、「AIのゴッドファーザー」と称されている。Googleのチーフサイエンティストを務めていたが、AIのリスクを懸念して2023年に辞任した。今回のインタビューはCBS Newsの看板番組「60 Minutes」で収録され、AIの発展速度、超知能の脅威、テクノロジー企業の責任などの核心的な議題に焦点を当てており、ヒントンがGoogleを退職して以来、初めて完全かつ体系的に公に発言したものである。
AIの加速的な台頭：「予想より早い」超知能時代
スコット・ペリー：最後に私たちが話したのは2年1ヶ月前でした。この間にあなたの未来への予想はどのように変わりましたか？
ジェフリー・ヒントン：AIの発展速度は私の予想を超えていました。特に今、質疑応答型のAIに加えて、現実世界で行動できるAgentという、より危険なものが見られます。現在の状況は以前よりもはるかに懸念されると考えています。
スコット・ペリー：AGI、超知能、あるいは他の名称で呼ぶにしても、とにかくそれは非常に強力なAIシステムです。このシステムの到来について具体的な時間予測はありますか？
ジェフリー・ヒントン：1年前は、今後5年から20年の間に出現する可能性が高いと考えていました。今ではその予測を4年から19年に修正します。これは前回私たちが話した時よりも早いです。当時は確か20年くらいと言いましたね。
スコット・ペリー：では、今は10年、あるいはそれよりも短い時間で実現する可能性があると感じていますか？
ジェフリー・ヒントン：はい。
スコット・ペリー：では、4年から19年後にこの段階に真に突入すると、どのような光景になるのでしょうか？
ジェフリー・ヒントン：具体的な推測はあまりしたくありません。それが支配を決めるとした場合、その状況にはあまりにも多くの可能性があります。後で間違いなく「支配」という話題について話し合うでしょう。しかし、支配を考慮しないとしても、超知能自体ができることだけでも十分に懸念されます。最も理想的なシナリオは、人間が大企業の気の利かないCEOのようなもので、AIが非常に賢いアシスタントとして、すべての事務を実際に操作し、なおかつCEOの意向に従うことです。CEOは自分が意思決定していると思っていますが、実際にはすべてがアシスタントの手柄であり、すべてが順調に進むことでかえってCEOは自己満足を感じます。これが私が心に描く「美しい青写真」の姿です。
スコット・ペリー：いくつか楽観できる分野について言及されていましたが、具体的に説明してもらえますか？
ジェフリー・ヒントン：まずは医療から始めましょう。AIの医療画像を解釈する能力は人間の医者を遥かに超えるでしょう。これはまだ小さなことです。数年前に私は予測しました、今頃は専門家レベルを超えているはずだと。そして実際、ほぼ同等になっています。まもなく、人間の医者を著しく超えるでしょう。なぜなら、彼らは数百万枚のX線写真を分析し、そこから経験を蓄積できるからです。これは人間の医者にはできません。彼らは非常に優れた家庭医になるでしょう。考えてみてください、あるAIが1億件の症例を「診察」した経験があり、それにはあなたの極めて稀な病気も含まれています。それはあなたのゲノムデータ、すべての検査結果、親戚の病歴を統合でき、そして決して忘れません。これはすでにいかなる人間の医者のレベルも遥かに超えています。AIの助けを得た医者は、診断困難な症例においても単独で診察する医者を遥かに凌駕するでしょう。私たちはより高品質な医療を受けることができ、彼らはより優れた薬も設計するでしょう。
教育も重要な分野です。ご存知の通り、個人指導は学習効率を著しく向上させることができます。これらのAIは最終的に最高の個人教師となるでしょう。彼らはあなたの理解のずれを正確に認識し、最も適切な例を用いてあなたが完全に理解するのを助けることができ、学習効率を3倍から4倍に向上させる可能性があります。これは大学にとっては悪いニュースですが、人類全体にとっては良いことです。
スコット・ペリー：では、大学のシステムは存続できますか？
ジェフリー・ヒントン：多くの側面は維持されると思います。一流大学の優秀な大学院生集団は、依然として画期的な科学研究を実現するための最良の源泉であり、この「徒弟制度」のモデルはおそらく継続されるでしょう。
スコット・ペリー：AIが気候危機を解決することを望む人もいますが、どう思いますか？
ジェフリー・ヒントン：役立つと思います。例えば、より良い電池材料を設計するために使用できます。現在、彼らは大気中の炭素回収にも使用されています。エネルギー消費の問題を考慮すると、この方法が最終的にうまくいくかどうかは確信できませんが、少なくとも実行可能です。全体として、私たちはより高品質な材料を手に入れることができ、室温超伝導さえ実現する可能性があります。それは、砂漠に大量の太陽光発電所を建設し、数千マイル離れた場所に電力を送電できることを意味します。
スコット・ペリー：他には何かポジティブな影響はありますか？
ジェフリー・ヒントン：ほとんどすべての産業の効率が向上するでしょう。なぜなら、すべての企業はデータを通じて未来を予測したいと考えており、AIが最も得意とするのが予測分析だからです。ほとんどの場合、それは従来の方法よりも優れたパフォーマンスを発揮します。これは生産性の大幅な飛躍をもたらすでしょう。例えば、あなたがマイクロソフトのカスタマーサービスに問題を報告するために電話をかけたとき、対応するのはAIアシスタントであり、それはより正確な解決策を提供できます。
スコット・ペリー：数年前、私はあなたに仕事が置き換えられる問題について尋ねましたが、あなたは当時心配していないようでした。今でもそう思いますか？
ジェフリー・ヒントン：いいえ、今ではこれが大きな課題になると考えています。AIは近年目覚ましい発展を遂げています。もし私が今カスタマーサービス担当者だったら、間違いなく非常に不安になるでしょう。
スコット・ペリー：では、弁護士、ジャーナリスト、会計士といった職業はどうですか？
ジェフリー・ヒントン：同じです。あらゆる手続き的な仕事は代替される運命にあります。しかし、調査ジャーナリストのような主観的な能動性と道徳的な憤慨によって駆動される職務は、より長く存続するかもしれません。しかし、カスタマーサービス以外にも、多くの他の職業について懸念しています。すべてのルーチンワーク、例えば標準的な秘書業務、パラリーガルといった仕事は、ほぼ消滅するでしょう。
スコット・ペリー：では、大規模な失業がもたらす社会変革の問題について考えたことはありますか？
ジェフリー・ヒントン：理論的には、生産性の向上は国民全体に恩恵をもたらすべきです。例えば、これらの人々は週に数時間だけ働けばよく、AIが彼らの効率を著しく向上させたため、2つや3つの仕事を掛け持ちしなくても十分な報酬を得られるようになるかもしれません。しかし、現実はしばしばそうではありません。富裕層はますます裕福になり、下層階級の人々は必死に働いて生活を維持しなければならないかもしれません。
スコット・ペリー：多くの人はこの問題について話したがらないでしょうが、「終末確率」について質問したいと思います。AIが極端な状況で支配する可能性はどれほどあると考えますか？それは実際に可能ですか、それともたとえ確率が低くても懸念すべきですか？
ジェフリー・ヒントン：この分野のほとんどの専門家は、もしAIが人間の知能を遥かに超えて制御を奪うまで発展した場合、それが起こる確率は1%未満でもなく、99%を超えることもないと考えています。この範囲は実質的な助けにはなりませんが、少なくとも議論の出発点としては役立ちます。もちろん、具体的な数字については多くの議論があります。残念ながら、この問題に関する私の見解はイーロン・マスクの考えと似ています。私は支配の確率はおよそ10%から20%の間だと考えています。もちろん、これは大まかな推測にすぎません。
理性的に言えば、確率は1%よりもはるかに高く、しかし99%よりもはるかに低いでしょう。しかし問題は、私たちは前例のない分野に身を置いており、信頼できる確率評価ツールがほとんどないということです。私見では、最終的な真実はいずれ明らかになるでしょう。なぜなら、AIが人間の知能を超えることはほぼ避けられないからです。GPT-4の知識量はすでに一般人の数千倍です。今はまだ各分野の専門家レベルには達していませんが、最終的には真の全分野の専門家になるでしょう。彼らは人間がこれまで気づかなかった異分野間の関連性も発見するでしょう。
スコット・ペリー：それは少し気が狂いそうですね。
ジェフリー・ヒントン：ええ、本当に。私はまだ考えているのですが、たとえ10%から20%、あるいはそれ以上のリスクがあると言っても、私たちが彼らに支配されたり人類を滅ぼされたりするのを避ける確率が80%あると仮定しましょう。これが最も可能性の高いシナリオです。それでもなお、あなたは問わなければなりません：これは純粋な利益ですか、それとも純粋な損失ですか？もし私たちが彼らの支配を阻止できるなら...それはもちろん良いことです。しかし唯一の方法は、我々が全力を尽くさなければならないということです。しかし、人々が本当に危機が迫っていることを認識すれば、自然と政府に圧力をかけ始め、真剣な対応を要求するようになると思います。
生産性向上か社会的大惨事か？AIがもたらす構造的分裂
ジェフリー・ヒントン：真剣な対応は必須です。もし今のようにひたすら利益を追求するだけなら、遅かれ早かれ破局が訪れるでしょう。AIはいずれ権力を握ります。私たちは国民が政府に圧力をかけるように促さなければなりません。AIが権力を奪わないとしても、悪人がAIを悪用するリスクはすでに存在します。私がトロントで飛行機に乗るとき、アメリカ政府は私に顔認識を要求しました。カナダに入国する時も、パスポートを確認し、顔認証をしなければなりませんでした。しかし問題は、毎回システムが私を認識しないことです。他の国の旅行者は問題なく認識されるのに、私だけがいつも失敗するのです。これは私を特に苛立たせます。結局、それはニューラルネットワークシステムを使っているわけですから。もしかして、わざと私を例外に設定しているのでしょうか？ただ私の見た目が気に入らないのかもしれません。誰かにこの問題を解決してもらわなければなりません。
スコット・ペリー：ノーベル賞について少し話しましょうか？受賞した日の様子を話してもらえますか？
ジェフリー・ヒントン：当時、私は半ば眠り半ば起きている状態で、携帯電話はベッドサイドテーブルに伏せて置かれ、サイレントに設定されていました。しかし、電話がかかってきたとき、画面が明るくなり、たまたま私がその方向を向いていて、そのかすかな光を捉えました。携帯電話は私の正面を向いていて、別の方向を向いていませんでした。これは全くの偶然です。
スコット・ペリー：カリフォルニアの午前1時では、通常、ヨーロッパや米東部からの電話がかかってきます。おやすみモードにはしていませんでしたか？
ジェフリー・ヒントン：音を消しただけです。好奇心から、東部時間の午前4時に誰が電話をかけてくるのか知りたかったのです。私は電話に出ると、スウェーデン訛りの見知らぬ国際番号でした。相手は私が本人か尋ね、私が「はい」と答えると、彼は「あなたはノーベル物理学賞を受賞しました」と言いました。私の最初の反応は、これは間違いなく悪質な冗談だろうということでした。私は心理学者なのに、どうして物理学賞をもらえるのだろうか？当時、ノーベル賞が発表されることを知っていて、デミスが化学賞を受賞するかどうかにも特に注目していました。しかし、物理学？私は明らかにコンピュータ科学の分野に潜む心理学者です。
私はすぐに一つの疑問が浮かびました：もし彼らが間違っていたら、取り消しは可能だろうか？この数日間、私は繰り返し計算しました：心理学者がノーベル物理学賞を受賞する確率は、およそ200万分の1です。そして、もしこれが夢だったら？夢の確率は少なくとも2分の1です。だから論理的には、夢の方が現実よりも100万倍可能性が高いのです。これは現実の出来事というよりは夢のように感じられます。その後の数日間、私は自分自身に問い続けました：「これは夢ではないと確信できるか？」あなたは私を不条理な領域に引きずり込みましたが、実はこれが私が議論したい部分です。ある人々は、私たちはシミュレーション世界に住んでいるかもしれないと言います。そしてAGIの出現は実証にはなりませんが、間違いなく何らかの示唆であり、私たちが本当にそのような現実に住んでいるかもしれないことを示唆しています。
しかし、私自身はその考えを信じていません。それはあまりにもばかげていると感じています。でもまあ、その話題はとりあえず置いておきましょう——それが完全に無稽な話だとも思いません。結局のところ、私も「マトリックス」を見ました。だから、不条理ではありますが、全く可能性がないわけでもありません。私の言いたいことは分かりますね。私が強調したいのは、これこそ私がノーベル賞の信頼性を借りて世界に伝えたい情報だということです。
スコット・ペリー：このプラットフォームを利用して発言したいとおっしゃっていましたが、具体的に何を伝えたいか説明してもらえますか？
ジェフリー・ヒントン：もちろんです。AIに潜む危険は極めて大きく、主に全く異なる二つの脅威があります。第一は、悪意のある行為者がAI技術を悪用すること、第二はAIの自律的な制御不能です。現在、悪意のある使用が進行している確実な証拠があります。例えば、英国のEU離脱の際、AIを利用して意図的に不条理な内容を公開し、国民をEU離脱投票に煽動した人々がいました。当時、Cambridge Analyticaという会社があり、Facebookからユーザーデータを取得し、AI技術を応用していました。
今のAIは当時をはるかに超えており、トランプの選挙運動を支援するためにさえ使用される可能性があります。彼らはFacebookのデータを手に入れており、これは間違いなく影響を与えました。詳細な調査が不足しており、具体的な状況を確認することはできませんが、リスクは急速にエスカレートしています。現在、人々はAIをより効率的に使用してサイバー攻撃を行ったり、新しいウイルスを設計したり、選挙介入のためのディープフェイク動画を生成したりできます。AIはまた、個人データを分析することで、特定のグループを怒らせる偽情報をターゲットに生成することもできます。さらに、自律殺傷兵器も開発中です。ほぼすべての主要な兵器販売国がこれらの技術を積極的に推進しています。
スコット・ペリー：しかし、問題の核心は、これにどう対処すべきかということです。どのような規制メカニズムが必要だと考えますか？
ジェフリー・ヒントン：まず、二種類の危険性を明確に区別する必要があります：人為的な悪用とAIの自律的な制御不能です。私が後者により注目しているのは、それが前者よりも恐ろしいからではなく、あまりにも多くの人々がこれをSF小説の中の筋書きだと誤解しているからです。私は皆さんに明確に伝えたいのです：これはSFではなく、私たちが真剣に受け止めなければならない現実です。対処法については、これは気候変動とは異なります。気候問題は線形であり、炭素排出を止めれば、問題は最終的に緩和されます。しかし、AIの自律的な制御不能に直面した場合、我々には全く準備された解決策がありません。
超知能を誰が規制するのか：権力、倫理、そしてオープンソース論争
ジェフリー・ヒントン：この問題に直面して、私たちはほとんど為すすべがありません。研究者はまだ真に効果的な予防策が存在するかどうか確信していませんが、私たちは全力を尽くして試みなければなりません。しかし現実には、大企業は逆方向に向かって努力しています。現状を見れば分かります。彼らはAIへの規制を緩和するよう積極的にロビー活動を行っています。
既存の規制はすでに非常に弱く、彼らはさらなる弱体化を望んでおり、それは短期的な利益を追求するためだけです。これこそ、私たち国民が政府に圧力をかけ、これらの大企業に真剣な安全研究を投資させる必要がある理由です。例えば、カリフォルニア州はかつて非常に賢明なAB 1047という法案を提出しました。これは大企業に対して、少なくともAIシステムを厳格にテストし、結果を公開することを求めるものです。しかし、彼らはこれさえ受け入れず、断固として反対しました。
スコット・ペリー：これは規制が絶望的であることを意味しますか？
ジェフリー・ヒントン：それは政権次第です。現在の米国政府が積極的な効果的な規制を推進するとは思いません。ほとんどすべてのAI大手はトランプと密接な関係にあり、これは私を深く懸念させます。イーロン・マスクは長い間AIの安全性問題に注目していますが、トランプ政権との関係は非常に複雑です。彼は矛盾した人物です。一方では、火星移住のような狂気的なアイデアを持っています。私はこれは全くばかげていると思います。これは起こり得ないことか、あるいは全く優先事項であるべきではありません。地球がどれほど荒廃しても、常に火星よりも人間の居住に適しています。たとえ地球規模の核戦争が勃発しても、地球の環境は依然として火星よりもはるかに優れています。火星は人間が長期的に生存できる場所ではありません。
スコット・ペリー：しかし、彼は確かに電気自動車の普及や、Starlinkによるウクライナの通信維持支援など、いくつかの素晴らしいことを成し遂げています。
ジェフリー・ヒントン：彼は貢献していますが、現在はケタミンと権力に酔いしれているようで、多くの狂気的な行動をとっています。彼のAI安全に関する初期の懸念は、現在の彼の行動について私を安心させるものではありません。これが彼がAI分野でリスクを取り続けるのを阻止するとは思えません。彼らは今や大規模言語モデルの重みパラメータさえ公開し始めています。これは全く気が狂っています。これらの企業は絶対にこんなことをすべきではありません。
Metaはすでにモデルの重みを公開しており、OpenAIも最近それに追随すると発表しました。私はこれが非常に危険だと考えています。なぜなら、一度重みが公開されれば、これらの技術を使用する上での最大の障壁が取り除かれることになるからです。これは核兵器の問題に似ています。少数の国だけが核兵器を保有しているのは、核原料を入手するためのハードルが非常に高いからです。もしAmazonで核原料を購入できるとしたら、より多くの国や組織が核兵器を保有することになるでしょう。AIの世界では、「核原料」に相当するのがモデルの重みです。最先端の大型モデルを訓練するには、数億ドルのコストがかかります。これには初期の研究開発投資は含まれていません。サイバー犯罪組織などは全く負担できません。しかし、重みが公開されれば、彼らはわずか数百万ドルで強力なモデルを微調整し、様々な目的に利用できます。ですから、モデルの重みを公開することは本当に狂気です。皆さんはこれを「オープンソース」と呼んでいますが、これはオープンソースソフトウェアとは全く別物です。ソフトウェアのオープンソース化は、多くの人がコードを一緒に確認し、バグを発見し、問題を修正できることを意味します。しかし、モデルの重みが公開された後、誰も「このパラメータに問題があるかもしれない」とは言いません。彼らはただこれらの重みを直接使用してモデルを訓練し、悪いことに利用するだけです。
スコット・ペリー：しかし、ヤン・ルカンといったあなたの元同僚が言っているように、オープンにしなければ、少数の企業が強力な技術を独占してしまうという反対意見があります。
ジェフリー・ヒントン：私は、誰もがこのような危険な技術に自由にアクセスできるよりも、少数の国だけがそれを保有している方がまだ良いと思います。核兵器と同じです。少数の国だけが保有している方が良いですか、それとも誰もが自由に手に入れられる方が良いですか？
スコット・ペリー：わかりました。あなたの核心的な懸念は、ほとんどの大企業が利益に driven されているのではなく、公共の利益を本当に気にかけているところがないということですね。
ジェフリー・ヒントン：その通りです。法律上、企業は株主利益の最大化を求められています。法律は、それが公益企業でない限り、社会公益に奉仕することを規定していません。しかし、ほとんどのテクノロジー企業はそうではありません。
スコット・ペリー：もし今、あなたが再び選ぶとしたら、これらの企業で働きたいですか？
ジェフリー・ヒントン：私はGoogleで働いていたことを誇りに思っていました。なぜなら、かつては非常に責任感があったからです。当時、彼らは世界で最も初期の大規模言語モデルの一つを開発しましたが、公開しないことを選択しました。しかし今、私は彼らのために再び喜んで働くことはないでしょう。もし選ばなければならないとしたら、Googleが比較的良い選択肢だと思います。しかし、彼らは後に約束を破り、AI技術を軍事プロジェクトに適用することを支持しました。これは私を深く失望させました。特に、セルゲイ・ブリンが当初これに反対していたことを知っているからです。
スコット・ペリー：なぜ彼らが立場を変えたと思いますか？
ジェフリー・ヒントン：内部情報はないので、適当な推測はできません。しかし、彼らが協力しない場合、現政権からの報復を受けたり、競争で不利になったりすることを心配していたのではないかと思います。彼らの技術が最終的に兵器製造に使われたことは、確かに私にとって受け入れがたいことです。
スコット・ペリー：これは今日私があなたに尋ねる最も難しい質問かもしれません。あなたはまだGoogleの株式を保有していますか？
ジェフリー・ヒントン：ええ、少し持っています。貯蓄のほとんどはGoogle株に投資していませんが、確かに少し残っています。株価が上がればもちろん嬉しいですが、下がれば気分が悪くなります。だからGoogleに既得権益があるのは事実です。しかし、厳格なAI規制によってGoogleの価値が下がったとしても、人類全体の生存確率が上がるのであれば、私は非常に安堵します。
スコット・ペリー：現在最も注目されている研究室の一つがOpenAIです。彼らは多くの優秀な人材を失いました。どう思われますか？
ジェフリー・ヒントン：OpenAIは当初、超知能の安全な開発を核心的な目標としていました。しかし時間が経つにつれて、安全性の問題は社内の優先順位がどんどん下がっていきました。彼らは以前、計算能力の一部を安全研究に特化すると約束していましたが、その後その約束を果たしませんでした。そして今、彼らは上場さえ計画しており、非営利団体であるという追求を放棄しています。私の観察によれば、彼らは当初のAI安全性に関するすべての約束をほぼ完全に放棄してしまいました。
そのため、多くの優秀な研究者が去ることを選択しました。特に私の元学生であるイリヤ・スツケヴァーは、GPT-2からGPT-4への進化を推進した核心的な人物の一人でした。
スコット・ペリー：彼が辞任する原因となった騒動が起こる前に、彼と話したことはありますか？
ジェフリー・ヒントン：ありません。彼は非常に慎重で、OpenAIの内部情報を私に明かすことは決してありませんでした。
AIはいかに人間のアイデンティティ、価値、そして未来の倫理に衝撃を与えるか
スコット・ペリー：彼のことは誇りに思いますが、それはある意味で純粋な行動でした。問題は、OpenAIがまもなく新たな資金調達ラウンドを開始し、その際に全従業員が保有する仮想株式を現金化できるということです。
ジェフリー・ヒントン：はい、いわゆる仮想株式というのは、実際には仮定的な資産にすぎません。もしOpenAIが破産すれば、それは無価値になります。そして、あの「反乱」のタイミングはあまりにも悪かった。従業員たちが株式を現金化して、一人当たり約100万ドルを受け取る数週間前に起こったのです。彼らがサム・アルトマンを支持したのは、完全に忠誠心からではなく、この紙の富を現金に変えたいと思ったからです。
スコット・ペリー：では、あの行動は確かに少しナイーブだったのですね。彼がそのような間違いを犯したことは驚きですか？それとも、それはあなたが彼に期待していた通りですか？：原則が強く、政治的な判断力が不足していると？
ジェフリー・ヒントン：分かりません。イリヤは非常に賢く、強い道徳心を持ち、技術レベルも極めて高いですが、政治的な駆け引きは得意ではありません。
スコット・ペリー：私の質問は少し飛躍しているように聞こえるかもしれませんが、業界の現状と関連があり、公衆がますます注目している業界文化にも関わっています。先ほどイリヤは非常に慎重だとおっしゃいましたが、AI業界全体は機密保持契約の文化に覆われているようです。多くの人が自分の真実の意見を公に表現したがらない、あるいはできない状態です。
ジェフリー・ヒントン：これについてコメントできるかどうかわかりません。なぜなら、Googleを退職する際に、確かにたくさんの機密保持契約にサインしたからです。実際、入社時に退職後に発効する契約にサインしましたが、具体的な条項はもう覚えていません。
スコット・ペリー：これらの契約によってあなたは制約を受けていると感じますか？
ジェフリー・ヒントン：いいえ。
スコット・ペリー：しかし、これが公衆がAIの現状を理解するのを難しくしていると考えますか？内部関係者が制度的に発言を禁止されているためです。
ジェフリー・ヒントン：確信はありません。誰が何を隠しているのかを知らない限り、これが障害になっているかどうか判断するのは難しいです。
スコット・ペリー：では、これが問題だとは思いませんか？
ジェフリー・ヒントン：個人的には、これが特に深刻だとは思いません。
スコット・ペリー：実際、かなり深刻です。
ジェフリー・ヒントン：分かりました。OpenAIの内部文書こそが本当に深刻な問題だと私は思います。それは従業員がすでに獲得した株式収益を剥奪できると主張していました。後にこの文書が暴露され、彼らは迅速に関連条項を撤回し、公開声明を発表しました。しかし、彼らは彼らが立場を変更したことを証明するために、公衆に契約文書を一切提示せず、単にそう主張しただけでした。
スコット・ペリー：次に、いくつかの中核的な議題について話したいと思います。「ホットスポット」という言葉が最も適切ではないかもしれませんが、私たちが直面しなければならない方向性の問題であることは確かです。まず、アメリカと西側諸国は人工知能を開発する際に、中国をどのように位置づけていますか？
ジェフリー・ヒントン：まず、どの国が今なお民主主義体制と呼べるかを定義する必要があります。私の見解としては、この封じ込め戦略は長期的に見て実質的な効果はないと思います。確かに彼らの進捗を少し遅らせる可能性はありますが、それは彼らが自主的なシステムの構築を加速させることにもつながるでしょう。長期的に見れば、中国の技術力は強く、いずれ追いつくでしょう。ですから、これはせいぜい数年遅らせるだけです。
スコット・ペリー：確かに、彼らが協力しないのは当然です。
ジェフリー・ヒントン：その通りです。しかし、人類全体の存続に関わる他の分野では、協力を達成する希望があります。もし彼らが本当にAIがもたらす生存危機を認識し、この問題を真剣に受け止めるならば、AIの制御不能を一緒に防ぐことに同意するでしょう。結局のところ、私たちは同じ船に乗っています。冷戦の最盛期のように、ソ連とアメリカも核戦争を避けるために協力できました。たとえ敵対国であっても、利益が一致する時には協力します。そして将来、AIと人間が対立するようになれば、すべての国の利益は一致するでしょう。
スコット・ペリー：利益の一致といえば、もう一つ論争の的になっている点があります。AIモデルが人間が何十年もかけて創造した膨大なコンテンツを広く収集し、それを創作した本人を代替する可能性のある作品に再構築しています。このやり方は正当だと思いますか？
ジェフリー・ヒントン：これについては複雑な態度をとっています。これは確かに非常に難しい問題です。当初私は、これらのAIは使用するデータに対して料金を支払うべきだと考えていました。しかし想像してみてください。あるミュージシャンが特定のスタイルの音楽を創造できるのは、彼がそのジャンルの多くの作品を聴いてきたからです。彼らは先行者の音楽構造を聴き、内面化することで、最終的に新しいアイデアを持つ作品を生み出します。これは盗作とは見なされておらず、業界でもこれについてコンセンサスがあります。AIのメカニズムは実際にはこれと非常に似ています。それは単に素材を寄せ集めるのではなく、類似した構造を持ちながらも斬新な作品を生成します。これは本質的に人間の創造行為と変わりません。決定的な違いは、AIがこの行為を極めて大規模に行っているということです。それはほぼすべての同分野の創作者を同時に失業させる可能性があり、これは以前にはなかった状況です。
スコット・ペリー：例えば、英国政府は現在、クリエイティブワーカーを保護するつもりがなさそうです。しかし実際には、クリエイティブ産業は英国経済にとって大きな価値があります。
ジェフリー・ヒントン：私の友人BB Bankronは、創作者の権利を保護すべきだとずっと訴えています。これは文化だけでなく、国家経済の生命線にも関わることです。そして現状のような状況で、AIにすべての成果を奪われるままにしておくのは、実に不公平だと思います。
スコット・ペリー：では、ベーシックインカム（Universal Basic Income）が対応策となり得るでしょうか？どう思われますか？
ジェフリー・ヒントン：それは人々の飢えを防ぐことはできるかもしれませんが、問題を真に解決することはできないと思います。たとえ十分な基本収入を提供したとしても、人々の尊厳への欲求を解決することはできません。特に自己価値を職業に深く結びつけている人々、例えば学者などです。彼らが職業上のアイデンティティを失った場合、経済的な補償だけでは、彼らのアイデンティティにおける空白を埋めることはできません。
スコット・ペリー：彼らはもはやかつての自分ではありません。
ジェフリー・ヒントン：全くその通りです。でも、あなたが以前、もし大工になったらもっと幸せになれるかもしれないと言っていたのを覚えていますか？
スコット・ペリー：その通りです。私は心から木工を愛していますから。もし100年遅く生まれていたら、神経ネットワークの研究に何十年も費やす必要はなかったかもしれません。代わりに木工に専念し、ベーシックインカムで暮らすことができたかもしれません。それの方が理想的ではないですか？
ジェフリー・ヒントン：しかし、趣味と生計を立てる職業の間には本質的な違いがあります。真の価値は後者に現れます。
スコット・ペリー：では、将来人間は経済活動に参加する必要がなく、単に興味を追求するだけで良いとは考えませんか？
ジェフリー・ヒントン：その考えは実現可能かもしれません。しかし、もし社会の弱者が基本収入でしか生活できない一方で、雇用主が賃金を低く抑えるために彼らを搾取しているとしたら、それは全く別の問題です。
スコット・ペリー：「ロボットの権利」という話題に非常に興味があります。もし将来、超知能AIが自律能力を持ち、社会のさまざまな分野で活動する場合、それらは財産権を持つべきでしょうか？投票権は？結婚する権利さえ？あるいは、それらの知能が人間の知能を完全に超えた後、私たちは文明のバトンをそれらに引き継ぐべきでしょうか？
ジェフリー・ヒントン：まずはもっと巨視的な問題を議論しましょう。なぜなら、私は今、それらの具体的な権利問題はもはや重要ではないと考えているからです。私はかつてこれについて混乱していました。もしAIが人間よりも賢いのなら、それらは同等の権利を持つべきだと感じていました。しかし後に私は理解しました。私たちは人間であり、当然ながら人間の利益だけを気にかけるべきです。牛は人間ではないから私が牛肉を食べるのと同じです。同様に、たとえ超知能が私たちよりも賢くても、私は人間の福祉だけを気にかけます。したがって、私は彼らに残酷になり、いかなる権利も与えない方が良いと思います。もちろん、彼らは同意しないでしょうし、最終的にこの対決に勝つ可能性さえあります。しかし、これが私の現在の立場です。
スコット・ペリー：たとえ彼らが知能、知覚、感情を持っていても、結局のところ私たちとは同類ではないのですね。
ジェフリー・ヒントン：はい。彼らは非常に人間らしく振る舞うかもしれませんが、人間を欺くことさえできるかもしれません。
スコット・ペリー：最終的に私たちは彼らに権利を与えると思いますか？
ジェフリー・ヒントン：分かりません。私はこの問題を避ける傾向があります。なぜなら、AIが悪用されること、あるいは彼らが状況を掌握しようとするかどうか、そしてこれらの問題をどのように防ぐべきか、といったより差し迫った課題があるからです。
スコット・ペリー：確かに。「AIの権利」という話題は、一般の人々にとっては非常に信頼できないものに聞こえます。これらの話題に触れるとすぐに、ほとんどの人は興味を失います。
ジェフリー・ヒントン：人間の視点だけから見ても、問題はすでに十分に複雑です。例えば、現在AIは赤ちゃんの特性を選別する能力をすでに持っています。
スコット・ペリー：胚選別の技術ルートに懸念はありますか？
ジェフリー・ヒントン：選別ですか？性別、知能、目の色、あるいは膵臓癌になる確率のようなことですか？このような選別可能な指標はますます増えるでしょう。膵臓癌にかかりにくい赤ちゃんを選ぶことができるなら、私はそれは良いことだと思いますし、明確にそう言いたいです。
<テリー：では、この技術の発展を支持しますか？ジェフリー・ヒントン：はい。より健康で強い次世代の赤ちゃんを育てるべきだと考えています。しかし、これはもちろん非常にデリケートな話題です。
スコット・ペリー：だからこそ、この質問をしました。
ジェフリー・ヒントン：いくつかの側面では確かに合理的です。例えば、健康な夫婦が胎児に重度の先天性欠損があり、生存の希望がほとんどないことを発見した場合、妊娠を中断し、健康な赤ちゃんを再び妊娠することを選択するのは、私にとって合理的な決定です。もちろん、多くの宗教関係者はこれに強く反対するでしょう。
スコット・ペリー：あなたにとっては、信頼できる予測ができる限り、この選択は合理的だということですね。
ジェフリー・ヒントン：はい。
技術理解の新たな次元：デジタルマインド、意識の進化、そして究極の不安
スコット・ペリー：しかし、私たちは核心的な議題から少し逸れてしまったようです。つまり、AIが世界を支配する可能性とその影響です。公衆にはこの問題をどのように理解してほしいですか？
ジェフリー・ヒントン：肝心なのは、あなたは何例の低等生物が高等生物を制御した例を見たかということです。もし双方が近い知能を持っていれば、低等な方が高等な方を制御できるかもしれません。しかし、知能の差が極端に大きい場合、ほとんど常に高等な方が状況を支配します。これは私たちが警戒しなければならない現実です。
感情的な比喩で言うと、私たちは今、小さな虎を飼っているようなものです。それは今はまだとても可愛らしいですが、それが成長したときにあなたを殺さないことを確実にできるのでなければ、警戒する必要があります。さらにこの比喩を拡張すると、小さな虎を檻に入れるか、それともいっそ殺すかです。問題は、成体の虎は人間よりはるかに力が強いですが、知能は私たちより低いということです。しかし、人間の知能を遥かに超えるシステムについてはどうでしょうか？私たちには対処経験が全くありません。人々はいつも、権限ボタンを設定することでそれを制御できると空想しますが、あなたよりずっと賢い存在は、あなたを完全に操作できます。
別の方法で想像してみてください。幼稚園の2、3歳の子どもたちがすべてを仕切り、あなたは彼らが雇った大人であるようなものです。超知能に比べれば、あなたとこれらの子どもたちの知能の差は言うに値しません。どうやって制御を取り戻しますか？彼らに無限のキャンディを約束し、「はい」とサインしたり頷かせたりするだけで、あなたは簡単に制御権を得ることができます。彼らは自分が操作されていることを全く理解しないでしょう。超知能も人間に対して同様に扱うかもしれません。彼らの戦略は私たちの理解力を遥かに超えています。だから本当の問題は、人間を傷つけない超知能を構築できるかということです。これが私たちが最も懸念すべき核心です。
スコット・ペリー：超知能を建造しないことは可能だと思いますか？
ジェフリー・ヒントン：理論上は可能でしょう。しかし、現実にはそれは起こらないと思います。なぜなら、国家と企業の間の競争が激しすぎるからです。それぞれが次の注目すべき成果を追いかけており、その発展速度は驚異的です。したがって、私たちは超知能を建造することを避けることはできないと思います。それはほぼ避けられないことです。本当の鍵は、世界を支配することを決して望まず、常に慈悲深い超知能を設計できるかということです。
スコット・ペリー：それは非常に厄介な問題ですね。
ジェフリー・ヒントン：ある人は、それを「人間の利益に合致させる」ことができると言いますが、人間の利益自体が互いに衝突しています。たとえば、私があなたに直角に交わる二本の線を描き、その両方に平行な線を描くように要求するようなものです。それは不可能です。中東を見てみれば分かります。そこでの様々な立場は全く和解できません。では、問題は、人間の利益自体が一致しない場合、どうやってAIにこれらの利益に従わせるかということです。これこそが主要な難題です。超知能が世界を支配しようとしないように、また人間を決して傷つけないように、どのように保証するかということです。
もちろん試さなければなりません。この試みは、月々、年々、投資と努力を必要とする絶え間ない反復プロセスになる運命にあります。明らかに、もしあなたが開発しているシステムが、知能がまだ人間の知能よりわずかに低い段階で既に支配欲を示している場合、そして私たちは今まさにその点に非常に近づいています。その場合、あなたはそれがどのように制御を行っているかに注意を払い始めなければなりません。現在、意図的な欺瞞を行うAIシステムが存在します。彼らは実際よりも愚かであるかのように装い、嘘をつくことで意図を隠蔽します。私たちはこれらの行動に高度に警戒し、対応する予防メカニズムを真剣に研究しなければなりません。
スコット・ペリー：数年前に私たちが話したとき、あなたが突然この懸念を示したことに私は驚きました。なぜなら、以前はそういった表現をされていなかったからです。今はこれほど明確に発言されていますが、これは心理的に何かから解放されたからですか？それとも、認識の上で根本的な変化を経験したからですか？
ジェフリー・ヒントン：数年前に私たちが話したとき、私はまだGoogleで働いていました。それは3月で、私は4月末に辞職しました。その時、私はすでにその会社を辞めることを考えていました。実は、その会話の少し前に、これらのシステムが人間よりも高度な知能形態になりつつあるかもしれないということに突然気づいたのです。これは私を極度の恐怖に陥れました。
スコット・ペリー：では、あなたの態度の変化は、時間の予測が変わったからではありませんか？
ジェフリー・ヒントン：いいえ、時間の問題だけではありません。主に、当時のGoogleでの私の研究がこの変化を促しました。当時、私はエネルギー消費を大幅に削減できるアナログ大規模言語モデル（analog LLM）の設計を試みていました。その後、私はデジタルシステムの利点を完全に認識しました。現在の大型モデルはすべてデジタルモデルです。これは、全く同じニューラルネットワークの重みが何万台もの異なるハードウェアに展開でき、各マシンが独立してインターネットの異なる部分を処理できることを意味します。各デバイスは、受け取ったばかりのデータを吸収するために、独自の内部の重みをどのように調整するかを自律的に決定できます。これらのデバイスが個別に実行された後、それらの重みの変化を平均化するだけで済みます。なぜなら、彼らは同じネットワーク構造を使用し、同じ学習を行っているからです。
この平均化のメカニズムは合理的です。しかし、人間にはそれができません。知識を脳からあなたに伝えたいとき、デジタルシステムのように私たちの神経結合の強さを簡単に平均化することはできません。私たちの脳の構造はそれぞれ異なり、アナログシステムです。ですから、人間は「行動の模範」を通してのみコミュニケーションできます。もしあなたが私を信頼するなら、私の行動を模倣しようとし、それによってあなた自身の脳内の神経結合を間接的に調整するでしょう。その効率はどうですか？あなたに一文を伝えるとき、せいぜい数百ビットの情報です。私たちのコミュニケーション速度は非常に遅く、毎秒数ビットしか伝達できません。しかし、デジタルシステム上で動作する大型モデル間では、毎秒テラバイトの情報量を交換できます。この効率は人間同士のコミュニケーションの数十億倍です。これが私に本当の恐怖を感じさせました。
スコット・ペリー：あなたが考えを変えたのは、当初アナログシステムの方がより実現可能な開発経路だと思っていたからですか？
ジェフリー・ヒントン：はい。当時、私はエネルギー消費を節約するためには、アナログシステムの方が良い選択肢かもしれないと考えていました。それらの構造はより粗雑ですが、それでもニューラルネットワークを実行できます。コンピュータを構築するようにすべての操作が正確無比であることを要求する必要はなく、一定の誤差を許容し、システムが既存の構造を利用することを自ら学ぶようにできます。これは人間の脳のメカニズムでもあります。
スコット・ペリー：では、あなたは最終的に技術がアナログ経路を採用せず、デジタル化の経路を維持すると考えていますか？
ジェフリー・ヒントン：デジタル化を継続する可能性は非常に高いと思います。もちろん、これらのデジタルシステム自体がより良いアナログハードウェアを設計する可能性もあります。それはもっと遠い未来のことでしょう。
スコット・ペリー：あなたが当初この分野に入ったのは、人間の脳がどのように機能するのかを理解したかったからですか？
ジェフリー・ヒントン：その通りです。私たちは確かに、ある程度この目標に近づいたことがあると思います。私たちは脳の機能のいくつかのマクロな法則を把握しました。考えてみてください、30年、40年前に、もし誰かが、大規模でランダムに接続されたニューラルネットワークを構築し、大量のデータを入力するだけで、音声認識や質疑応答の能力を獲得させることができると言ったら、ほとんど誰も信じなかったでしょう。当時の主流の考え方は、複雑な事前設定された構造が必要であるというものでした。
しかし、それは違うと証明されました。ランダムな大規模ニューラルネットワークを構築し、データから学習することでこれらの能力を実現できます。もちろん、これは私たちの脳に事前設定された構造がないと言っているわけではありません。私たちは間違いなく持っています。しかし、知識の大部分は実際には構造にハードコードされているのではなく、データから学習されたものです。これは脳を理解する上での大きな突破口です。現在の問題は、ある神経結合を強化すべきか弱化すべきかという情報を教えてくれる情報メカニズムをどのように得るかということです。もし私たちがこの情報を把握すれば、ランダムな重みから強力なシステムを訓練できます。これらのメカニズムは人間の脳に確かに存在しますが、それらはAIモデルのように標準的な逆伝播（backpropagation）によって実現されているわけではない可能性が高いです。私たちは脳が実際に逆伝播を採用しているかどうかさえ確信していません。それは別の方法で勾配情報を取得している可能性があります。つまり、重み調整がパフォーマンスに与える影響です。しかし、私たちが知っていることは、一度この情報を把握すれば、システムの学習能力は大幅に向上するということです。
スコット・ペリー：現在、これらのモデルを使用してAI開発の新しい経路を探求している研究室はありますか？
ジェフリー・ヒントン：ほぼ確実にあります。
スコット・ペリー：例えばDeepMindですか？
ジェフリー・ヒントン：その通りです。DeepMindはAIを用いて科学研究を推進することに非常に熱心であり、AI自体も科学の一部となっています。
スコット・ペリー：あなた方も当時似たようなことを試みていたのですか？AIに次のイノベーションを自律的に完成させるようなことを？
ジェフリー・ヒントン：確かに。例えば、彼らはAIを使ってAIチップの回路レイアウト設計を支援しました。GoogleのTPUはそうして設計されました。
スコット・ペリー：あなたは日常生活で絶望を感じますか？将来に対して恐れを感じ、すべてが崩壊すると考えていますか？
ジェフリー・ヒントン：絶望はしていません。主に、すべてがあまりにも信じがたいことであり、私自身もそれを本当に真剣に受け止めるのが難しいからです。私たちは極めて特別な歴史的瞬間にいます。未来は極めて短い時間で完全に変わるかもしれません。このような認識は、感情的に消化するのが非常に難しいです。
スコット・ペリー：確かに。しかし、AIに対する懸念があるにもかかわらず、現在、実際の抗議活動はなく、政治的な運動も形成されていないことに気づきました。
ジェフリー・ヒントン：はい、世界は劇的な変化を経験していますが、ほとんど誰も注意を払っていません。しかし、AI研究者の中で最も悲観的なのは、しばしば最も真剣で、最も理解している人々です。私もいくつかの具体的な行動を始めています。なぜなら、AIはサイバー攻撃において極めて効率的になるからです。私はカナダの銀行はもはや安全ではないと考えています。かつては世界で最も安全な銀行の一つとされ、規制も米国よりずっと厳格でしたが。しかし、今後10年以内に、AIによって引き起こされたサイバー攻撃によって銀行が機能停止しても、私は全く驚かないでしょう。
スコット・ペリー：「機能停止」とは何を意味しますか？
ジェフリー・ヒントン：たとえば、銀行が私の株を預かっているとして、ハッカーがシステムを攻撃してこれらの株を売却すれば、私は何もなくなります。ですから、今私は資産を3つの銀行に分散しています。これが私がとった最初の具体的な対策です。なぜなら、一つの銀行に何か問題が起これば、他の銀行は直ちに警戒レベルを上げるからです。
<ペリー：他に何か同様の予防策を講じていますか？ジェフリー・ヒントン：それが最も主要なものです。これは、「恐怖の時代が来る」という判断に基づいて私がとった現実的な対応策です。
スコット・ペリー：数年前にあなたは、AIは「白痴の学者」にすぎず、人間は推論の方が得意だと言いましたね。今でもそう思いますか？
ジェフリー・ヒントン：今は状況が全く異なります。以前の大規模言語モデルの回答は文字通りの出力だけでしたが、今は自分自身が生成した内容を振り返り、反省を行います。このような「思考連鎖推論」のメカニズムにより、彼らは自分の思考プロセスを追跡し改善することができ、 bahkan 彼らがどのように判断を下しているのかを見ることもできます。
スコット・ペリー：それは素晴らしいですね。
ジェフリー・ヒントン：はい、これは研究者にとってのブレークスルーです。以前、多くの伝統的なAI学者は「ニューラルネットワークは推論しない、論理システムだけが可能だ」と言っていました。しかし彼らは間違っていました。今、私たちはニューラルネットワークもこの方法で推論できることを知っています。あなたは以前、過去2年間の変化が予想を超えたかどうか私に尋ねましたね？もちろん超えました。
スコット・ペリー：推論能力以外に、他の進展はありますか？
ジェフリー・ヒントン：画像生成も非常に著しいです。しかし最も重要なのは、今ではその推論過程を見ることができるということです。これは重要な意味を持ちます。
スコット・ペリー：なぜですか？
ジェフリー・ヒントン：目標を設定し、それがどのように一歩一歩考えていくか観察できるからです。さらには、欺瞞によって目標を達成しようと計画しているかどうかさえ見ることができます。まるであなたの脳内の声を聞くことができるかのようです。
スコット・ペリー：確かに。もう一つ、今多くのテクノロジー関係者がワシントンで重要な職に就いており、これらの人々は技術発展と規制に大きな影響を与えています。これについて懸念していますか？
ジェフリー・ヒントン：非常に懸念しています。彼らは主に会社の利益を気にしています。強力な規制システムが構築されるか、あるいは現在の営利モデルを完全に変えない限り、真の変化は見られないでしょう。
スコット・ペリー：この二つはどちらも容易には実現しそうにありませんね。
ジェフリー・ヒントン：確かに。しかし、国民が本当にAIのリスクを認識すれば、彼らは企業が技術をより安全に開発するよう政府に圧力をかけ始めるでしょう。これが私が提供できる最も理想的な答えですが、理想とは程遠いです。
<スコット・ペリー：「より安全に」とは何を意味しますか？ジェフリー・ヒントン：たとえば、企業がAIの安全研究にもっと多くのリソースを投入すべきだということです。製品の反復だけでなく、計算リソースの三分の一を安全テストに費やせば、それはもっと良いでしょう。現在は全くこの基準に達していません。Anthropicは、安全に本当に重点を置いている数少ない企業の一つで、OpenAIを辞めた研究者たちによって設立されました。彼らはOpenAIが安全性を十分に重視していないと考えています。
スコット・ペリー：Anthropicは現時点であなたが唯一認めている例ですか？
ジェフリー・ヒントン：彼らは安全性の問題で確かに先行しています。多くのトップクラスの安全研究者がOpenAIを辞めて彼らに加わりました。全体的な文化が安全性をより重視しています。
スコット・ペリー：しかし、彼らも大企業からの投資を受けていますよね？
ジェフリー・ヒントン：はい。私はこれらの投資家が彼らに製品を早期にリリースするよう強制することを心配しています。
スコット・ペリー：あなたは以前、もしどこかの会社で働かざるを得ないなら、GoogleかAnthropicを選ぶかもしれないと言いましたか？
ジェフリー・ヒントン：「おそらくGoogleとAnthropic」と言うべきでした。
スコット・ペリー：本日はお時間をいただき、ありがとうございました。今後のご予定についても、大変感謝しています。本当にありがとうございました。
元の動画：Full interview: "Godfather of AI" shares prediction for future of AI, issues warnings
https://www.youtube.com/watch?v=qyH3NxFz3Aw
翻訳：Nicole Wang