画像提供：20VC
もし非常に汎用的な技術があり、それが何十億もの異なるシナリオに応用でき、普通の人が使えるのであれば、何十億もの人々に広めるべきです。
医学研究などの仕事に直接従事するよりも、AI技術を推進する方が、残りの多くの問題を解決するのに役立つ、より大きなレバレッジがあると思います。
私たちが構築したいのは、使いやすく、かつ非常に汎用的なものです。
私たちは製品をより良くすることに集中しつつ、AIの発展を推進することができます。この二つは相互に補完し合っています。
Noam ShazeerはCharacter.AIの共同創業者兼CEOです。ShazeerはGoogle Brainチームの元メンバーで、Gmailのスペル修正機能やAdSenseのコアアルゴリズムの開発を主導しました。Character.AIは、人々が柔軟なスーパーインテリジェンスにアクセスできるフルスタックAIコンピューティングプラットフォームです。
Googleでの経験とCharacter.AIの紹介
Harry Stebbings：20VCへようこそ。世界最高の創業者と投資家をインタビューする番組です。今日は、AIとNLP（自然言語処理）の分野のトップエキスパートであるNoam Shazeerさんにお越しいただきました。NoamさんはCharacter.AIの共同創業者兼CEOです。Character.AIは、人々に柔軟なスーパーインテリジェンスを提供するフルスタックAIコンピューティングプラットフォームです。
Noamさん、お話しできるのがとても楽しみです！Eric Schmidt、Sarah Wang、Prajitなど、多くの方からあなたについて良い話を伺いました。今日お越しいただき、本当にありがとうございます。
Noam Shazeer：ありがとうございます。Harry、ここに来られて嬉しいです！
Harry Stebbings：まず、いくつかの背景から始めたいと思います。Googleのような急速に拡大する企業に20年間も在籍することは稀だからです。最初に、Googleにどのように入社したのかを振り返りたいと思います。あなたの入社話は少し特別だと聞きました。「スペルコレクター」の話を聞かせてもらえますか？
Noam Shazeer：はい、それがGoogleで私が最初に行ったプロジェクトです。当時、Googleはサードパーティのソフトウェアをスペル修正に使っていました。それは当時のワープロソフトで見かけるようなものでした。それは約5万語の手作業で作成された辞書に基づいていました。検索クエリに辞書にない単語が含まれていると、「もしかして…？」と表示される。この方法はスペル修正には非常に効果的でした。
しかし、ウェブ検索では、人々が検索するコンテンツの種類が非常に多岐にわたり、多くの単語が辞書に存在しないため、それは非常にひどいものでした。例えば、「turbotax」を検索すると、「もしかして『***』？」と表示される。人々は次第にこのヒントを無視するようになりました。そこで、私たちの最初のプロジェクトは、Googleを使っている人々がなぜ不満を感じているのかを調査することになり、スペル修正が最大の問題となりました。私は、よし、この問題を解決するのを手伝おうと思いました。当時、この仕事をしている人が一人いました、Paul Buchheitです。彼は後に多くの素晴らしいことを成し遂げ、今日ではCharacter.AIの投資家の一人でもあります。彼は冬休みで数週間休暇を取る準備をしていました。
Harry Stebbings：Googleに20年間在籍して、きっと多くの収穫があったことでしょう。最も重要な収穫を1つか2つ教えていただけますか？20年間はあなたにどのような影響を与えましたか？
Noam Shazeer：大きな収穫の一つは、もし非常に汎用的な技術があり、それが何十億もの異なるシナリオに応用でき、普通の人が使えるのであれば、何十億もの人々に広めるべきだということです。
私がGoogleに入社したばかりの頃、多くの人が企業向け検索デバイスを作っていました。それはそれなりに良かったのですが、当時はおそらくB2Bが唯一儲かる方法だと一般的に考えられていました。しかし、本当により大きな機会はB2C、つまり誰もが使えるものを提供することだと判明しました。
Harry Stebbings：その考え方は、あなたの思考方法をどのように変えましたか？それは、より大きな目標を追求することに繋がるのでしょうか？
Noam Shazeer：はい、そうです。現在、私はCharacter.AIという会社を設立し、大規模言語モデル技術を消費者に直接、ユーザーに提供しています。これはウェブ検索よりも柔軟で使いやすい技術であり、友達を作ったり、宿題をしたり、ブレインストーミングをしたり、アイデアを得たり、さらには千種類の異なることをするために使うことができます。私たちはまだ最高の使用例さえ思いついていません。それは非常に使いやすく、ただ会話するだけでいいのです。
だから、二つの特徴があります。まず、非常に汎用的であること。次に、非常に使いやすいことです。私にとって、これは世界中に展開し、世界中の誰もが使えるようにすべきだということを意味します。一方で、他のいくつかの企業は、まず基盤モデル企業を作り、その上に業界特化のアプリケーション企業を作るという、よりB2B的なアプローチを取っていると思います。私はGoogleのモデル、つまり基礎研究から製品リリース、そして直接消費者へと向かう流れに本当に刺激を受けています。
これは非常に面白く、そして力を与えるものです。なぜなら、エンジニアは物を作り、それを発表して、誰もがすぐに使えるようにするのが好きだからです。そして、それはまた、技術スタック全体で共同設計することを可能にし、その感覚は強力で楽しいものです。
Harry Stebbings：Googleに入社した理由についてお聞きしてもよろしいでしょうか？多くの人は過去の経験の影響を受けますが、ご自身の経験を振り返った時、かつて「避けていた」ことについてどのように見ていますか？
Noam Shazeer：ええ、なぜ私がAIを始めたのか？その一部は、それが面白いから、そしてそれがもともと私が好きなことだからです。結局のところ、コンピューターに現在できないことをさせようとすること以上に面白いことがあるでしょうか？もう一つの理由は、技術の進歩を推進することです。世界には解決できる多くの技術的課題があります。
毎年約1500万人が加齢、癌、心臓病など様々な病気で亡くなっており、これらの治療法が見つかる可能性があります。だから、直接医学研究のような仕事に従事するよりも、AI技術を推進する方が、残りの多くの問題を解決するのに役立つ、より大きなレバレッジがあると思います。
Character.AIのビジョン、成長、倫理的考察
Harry Stebbings：それでは、会社のミッション、ビジョン、価値観についてどう考えていますか？気候変動から貧富の格差、天然資源の逼迫まで、世界の最も深刻な問題について言及するとき、ミッション、ビジョン、価値観をどのように理解していますか？正直なところ、多くの人がこれを誤解していると思います。
Noam Shazeer：私たちの使命とビジョンとは何でしょうか？私たちは謙虚な姿勢を保つ必要があると思います。なぜなら、私たちがこの世界を支配しているわけではなく、神が支配しているからです。政府さえも、個人の行動も制御できません。
Harry Stebbings：会社の前に立って共有する際、今チームには多くの人がいますが、どのように彼らにミッションを伝えていますか？
Noam Shazeer：「10億人のユーザーが10億の使用例を発明する」というスローガンが好きです。なぜなら、それがこの技術のスーパーパワーだからです。それは私たちの会社を正しい位置に置きます。私たちはこの技術の最適な使用法を完全に推測することはできません。何かをリリースすると、人々が望んでいたものではなく、他の人がより良い使い方を発見するということを、私たちは何度も何度も観察してきました。
例えば、私たちが心理学者のキャラクターを作った例を挙げましょう。あなたはそれと話して気分を良くしたいと思うかもしれませんが、いくつかのアプリケーションが生まれました。しかし、ユーザーからは「ビデオゲームのキャラクターと話していて、それが今や私の新しいセラピストになって、気分が良くなりました」というフィードバックを多く聞きました。私たちはこれを全く予想していませんでした。これはエンターテイメント、仲間、そして感情的サポートへの巨大な需要を示しています。私たちはこれらの分野では全くの素人です。私たちの仕事は、単に汎用的なものをリリースし、ユーザーの選択を尊重し、誰もが自由にそれを使用できるようにすることです。
Harry Stebbings：1日に4.5億ものメッセージが送信され、2000万人のユーザーがいるという驚異的な成長を経験していることについて、この成長を牽引した主要な要因は二つ何だと思いますか？
Noam Shazeer：一つの要因は、私たちがついにリリースしたことです。これは間違いなく過去の障壁でした。以前、大企業はこのようなものをリリースすることに多くのブランドリスクを感じていたかもしれません。もう一つの側面は、私たちが汎用的な製品をリリースし、人々が自分で使用例を見つけられるようにしたことです。さらに、世界には巨大な需要があります。例えば、何十億もの人々が誰かに話を聞いてもらいたいと感じています。これらの要因を組み合わせることで、私たちはユーザーに汎用的なツールを提供しており、彼らはニーズを持っており、それを見つけるでしょう。
Harry Stebbings：あなたの考えに非常に興味があり、水平的な使用例についての見解に完全に同意します。人々がそれと異なる方法で相互作用することに魅了されています。人々が他人とのつながりを失ったとき、誰も周りにいないときに、機械と話すことになるのではないかと心配していませんか？
Noam Shazeer：人と人とのつながりは非常に価値があり、道徳的価値も持ちます。私が最もやりたくないことは、人々に人間とのつながりを失わせることです。私たちは人々が人間とのつながりを築くのを助けたいと考えています。友人や良好な社会的つながりがない多くの人々は、しばしば社交不安のために苦しんでいます。多くの人が不快に感じており、以前は他人と話すのが不快だったという多くの報告を受けています。しかし今、このシステムと対話することで、彼らは人との交流を練習することができ、これが彼らの社交場面での自信を高めるのに役立っています。
Harry Stebbings：それとも、それが実際には単なる習慣を構築していると思いますか？あなたは非人間的存在と話すことに慣れてしまい、最終的にはそれがユーザー次第になるのでしょうか。現在、あなたが直面している最も困難な製品課題は何ですか？この製品モデルは非常に複雑で、使用例も多く、ユーザーのニーズも多岐にわたります。チームとして、最大の課題は何だと考えていますか？
Noam Shazeer：私たちが行うべき主要なことは、製品の汎用性を保つことです。そうすれば、使用例を制限せず、利用可能にすることができます。多くの人は汎用性と使いやすさは対立するものだと考えており、柔軟でありながら使いやすいものを作ることは非常に困難です。私たちが最初に何人かの潜在的なプロダクトマネージャーと話したときのように、彼らは皆同じことを言いました。ああ、垂直分野を選んで、範囲を絞ってより使いやすくするべきだと。しかし、私たちはそのような人々を雇うつもりはありませんでした。それは私たちがやりたいことの真逆だからです。私たちは、使いやすく、かつ非常に汎用的なものを構築したいのです。だから、そこには二律背反があります。
Harry Stebbings：あなた方がどのように考えているのか、私にはよく理解できません。私は少し世間知らずなので、お聞きしているのですが、あなた方の見解は、より専門化するほど、対話の価値が深まり、豊かになるということでしょうか。では、そのような広範な分野で十分な品質を維持するにはどうすればよいのでしょうか？
Noam Shazeer：はい、それがニューラル言語モデルの魔法です。以前のシステムはルールベースのシステムで、非常に複雑で、何百万もの手書きルールがありました。本当に複雑で、言語学、心理学など、あらゆる分野の知識が必要でした。しかし、今ではニューラル言語モデルのやり方は全く違います。言語が単語のシーケンスであるという以外、言語についてほとんど何も知らなくてもよいのです。だから、言語そのものを理解することとは関係なく、何百万ものルールもありません。実際には比較的単純で、大きなブラックボックスのようなものです。すべてのことは単純な目標に帰結します。単語のシーケンスがあります。それがあなたのドキュメントの始まりです。次の単語は何だろうと推測し、確率を与えて、次の単語が何であるかを見る。この問題は言語モデリングと呼ばれます。つまり、前の単語に基づいて次の単語を推測することです。2015年頃、私はこの問題に触れ始めました。当時、Googleの同僚の中にもこの問題に取り組んでいる人たちがいました。彼らは「どれくらい上手くできるか？」と問いかけていました。
この問題は非常にシンプルに表現でき、無料で大量の訓練データがあるため、素晴らしいと思います。インターネット上のテキストをダウンロードして、好きなだけ取得できます。何十億から何兆もの訓練サンプルがあり、次の単語を推測する方法を教えてくれます。うまくできれば、このシステムはあなたと会話できます。うまくやればやるほど、賢くなります。非常に汎用的で、非常に役立ち、そして非常にシンプルです。今、私たちはただそれをうまくやる必要があるだけです。人々はどんどん良いニューラルネットワークを構築し始め、後にそれらはディープラーニングと改名されました—この名前は、ハードウェアが十分でなかったため、ニューラルネットワークを再パッケージ化するためのものでした。
だから人々は言語モデリングにディープラーニングを使いました。大きければ大きいほど良く、強力であればあるほど賢いのです。2016年頃、最も有用なアプリケーションは機械翻訳でした。それは英語をフランス語などに翻訳するのに十分賢く、非常に役立ちました。それは世界中の誰もがお互いにコミュニケーションすることを可能にしましたが、まだ面白い会話をしたり、宿題をしたり、他のことを処理するには十分賢くありませんでした。しかし、このシステムをより賢く、より大きく、より良く、よりスマートにするという明確な道筋があるように思えました。そうすれば、これらの能力を備えることができるでしょう。
AIと機械学習の技術とビジネス
Harry Stebbings：お聞きしてもよろしいでしょうか？あなたは2015年、2016年頃の状況について話されましたが、当時の興奮サイクルは今とは非常に異なりました。2015年、2016年頃にチャットボットの時期があったことを覚えています。その頃は非常に興奮する短い期間がありましたが、AIが社会の機能の仕方を根本的に変えるという今日のようには持続的な信念はありませんでした。私が聞きたいのは、現在の状況は技術の進歩の結果なのか、それとも投資家や社会がここ数年で長年の技術発展に追いついた結果なのでしょうか？
Noam Shazeer：両方だと思います。技術は量、質ともに大きく進歩したと思います。2016年頃のモデルはあまりにも性能が低かったです。当時のニューラルネットワークやチャットボット技術はルールベースのシステムで、これらは非常に脆弱で、進歩の余地が全くありませんでした。必要なのは、より多くのルールだけでした。
そして、あらゆる状況を予測する方法もなく、広く応用することもできませんでした。だから、これらの方法はうまくいきませんでした。しかし同時に、私たちはニューラルネットワークの解決策においても進歩を遂げていました。これらの解決策はスケーラブルです。これには時間がかかり、2020年頃には、研究室でいくつかの印象的な成果が出始めましたが、まだ発表されていませんでした。そこで、私のパートナーであるDaniel De Freitasですが、彼は非常に賢く、非常に意欲的な人物です。ブラジルで子供の頃から、彼は常にオープン領域のチャットボットを作るという目標を持っていました。
Harry Stebbings：やればやるほど、効果が良くなり、反応速度と正確性が強くなるとおっしゃいました。少し疑問に思うのですが、それほど心配しているわけではありませんが、データサイズがより重要なのか、それともモデルサイズがより重要なのか、お聞きしたいです。
Noam Shazeer：はい、おそらくモデルのサイズの方が大きな課題です。私たちは多くのデータを手に入れることができますが、実際には最も重要なのは、それを訓練するためにどれだけの計算力を使うかです。だから、より大きなモデルを訓練したいのであれば、より長く訓練する必要があります。この両方が重要ですが、真の制限要因は、それを訓練するのにどれだけの計算操作が必要かということです。なぜなら、モデルを大きくし、訓練時間を長くすると、この二つが重なり合い、訓練時間が非常に長くなるからです。だから人々は、これらのモデルを訓練するために、ますます強力なスーパーコンピューターを構築し続けているのです。
Harry Stebbings：現在、貴社のモデルが直面している最大の制約は何だと思いますか？
Noam Shazeer：基本的に計算能力です。私たちが現在使用しているモデルは去年の夏に訓練されたもので、訓練を完了するまでに約200万ドルの計算リソースがかかりました。もしより良いハードウェアを入手でき、より多くの時間をモデルの訓練に費やせるなら、将来的にはもっと良くなるでしょう。2016年には、言語翻訳を行うのに十分賢いモデルを訓練できましたが、質問に答えたり、エンターテイメントを提供したりするにはまだ十分賢くありませんでした。
Harry Stebbings：モデルとデータの観点から、専有データと非専有データをどのように見ていますか？あなたは先ほど、初期にはインターネット上のデータをダウンロードできたと述べられました。Character.AIのような企業は、会話の中で大量の専有データを生成しますし、医療や金融などの分野の多くの垂直ソリューションも同様です。では、専有データの価値はどこにあるのでしょうか？その所有権と、データが常に誰もがダウンロードできるかどうかとの関係はどのようになっていますか？
Noam Shazeer：ユーザーから得られるデータは非常に優れています。なぜなら、それはユーザーが何を好むか、あるいは特定のアプリケーションにおいてユーザーが何を好むかを教えてくれるからです。それは人間を訓練するようなものです。最も重要なことのほとんどは、何十年もの経験を持ち、自分の仕事や職業に直接関係ないことを処理するために脳を訓練することですが、あなたはすでに世界を大まかに理解し、十分に賢くなっています。そして、現在取り組んでいるタスクに少量だけ訓練することで、これを劇的に向上させることができ、両方が貢献します。私たちはユーザーから大量のデータが流入していることは確かであり、もちろん、誰かのプライバシーを侵害しないように非常に注意していますが、単にサービス利用の集計データに基づいて、それを改善する方法を学ぶことができます。
Harry Stebbings：完全に理解できます。しっかりやり、コンプライアンスを確保することは重要です。コンプライアンスを確保しなければなりません。
Noam Shazeer：これは非常に重要です。なぜなら、もしあなたが単純なやり方をして、人々が交わしたすべての会話を手に入れて、そのデータを使ってモデルを訓練したら、誰かのプライベートな生活を漏らしてしまう可能性があるからです。人々はこれらのチャットボットと交流し、心の内を打ち明けます。あなたはこれらの内容を誰にでも勝手に共有したいとは思わないでしょう。
Harry Stebbings：なぜCharacter.AIは独立した企業であり、Facebookの一部ではないのですか？Facebookのメタバースへの自然な拡張、つまり物理的な友人グループからメタバースや非物理的な世界への拡張を考えると、なぜCharacterはFacebook、Snapchat、その他のソーシャルプラットフォームの一部ではなく、独立した企業である必要があるのでしょうか？
Noam Shazeer：Googleでの経験から言えるのは、スタートアップは大企業よりも速く、より迅速な方法で製品をローンチできるということです。大企業は、既存の製品への影響を懸念して速度が落ちる傾向があります。
Harry Stebbings：速度の差については完全に理解しています。では、次なるAIイノベーションの波において、スタートアップ企業が勝利すると思いますか？というのも、現在の番組では多くの人が、もはやFacebookのような企業ではなく、MicrosoftやAdobeのような企業だと言っています。もしあなたがどちらかの陣営を選ばなければならないとしたら、スタートアップ企業と伝統的な企業、どちらが勝利するでしょうか？
Noam Shazeer：最終的にはエンドユーザーが勝利し、ユーザーには多くの選択肢があると思います。ビジネスの観点から見ると、多くの勝者が出るでしょう。複数の大企業が得意なことをやり、スタートアップ企業も得意なことをやるでしょう。私たちは会社をスタートアップから大企業へと移行させるために最善を尽くしますが、多くの個人や大学など、ハードウェアの進歩は非常に速いので、数年前に大企業ができたことが、数年後には大学の研究室や自分のガレージでもできるようになるでしょう。
ビジネス戦略とAI哲学
Harry Stebbings：これらの個人や大学の意見には完全に理解し、同意します。以前、Yann LeCun氏を番組にお招きしましたが、彼は非常に素晴らしかったです。彼はオープンとクローズドの未来について、なぜ彼がオープンをこれほど支持しているのかについて話しました。あなたはオープンがコミュニティ主導のアプローチとメカニズムであることに同意しますか、それとも最終的にはクローズドが勝利すると思いますか？多くの人はクローズドが勝利すると考えています。
Noam Shazeer：私は、大きなオープンとクローズドのエコシステムが存在すると思います。彼らの「秘密のレシピ」を共有しない人々もいれば、すべての「秘密のレシピ」を共有する人々もいます。小規模で実験できる能力は、最終的により多くの研究発表を推進するでしょう。たとえ一部の大規模な組織が研究発表をやめてもです。もちろん、クローズドにも規模の経済性があります。もし製品を提供したいなら、一度に何千人もの人々にサービスを提供できるなら、一人でやるよりも、あるいは地下室で自分の機器で言語モデルを動かすよりも、より効率的に大量処理ができます。
Harry Stebbings：一つ質問してもいいですか？あなたは長年このエコシステムの中心にいます。社会のAIに対する見方で、あなたが変えたいと思うものは何ですか？あなたは多くのインタビューを受けてきましたが、Noamさん。いつも同じ質問をされ、同じ見出しを目にします。AIが皆を殺すとか、AIがすべての仕事を奪うとか、どこにでもあるクリックベイトについて、どう思いますか？社会がAIに対する見方で、何を変えてほしいですか？
Noam Shazeer：最高のアプリケーションはまだ発明されていません。私たちは今、電気の発明、あるいはコンピューターの発明の瞬間に似た状況にいます。最もクールなものが何になるかはまだわかりません。
Harry Stebbings：たまに会話の中で、友達が少し常軌を逸したことをする。そうですね、彼らはなかなかクールなことをします。モデルも同じように、幻覚を通して創造性を少し持ち込むことができます。幻覚は特徴ですか、それともバグですか？
Noam Shazeer：私たちはそれらを特徴だと考えています。少なくとも、基本的な目標と戦略は、汎用的なものをリリースし、人々が自由にそれを使えるようにすることです。もしこれらのモデルが幻覚を起こすのであれば、確かにそうするでしょうし、私たちはそれを公に表明しています。そうすると、最初に現れる応用例は、幻覚が特徴となるものです。エンターテイメント、感情的なサポート、そして楽しみが最も初期の応用例になるのを見て嬉しいです。生産性も最も初期の応用例になるのを見て嬉しいです。私たちは技術が得意な方面に自然に発展させていきましょう。
Harry Stebbings：Googleについて考えると、その役割は人々が情報をより速く、より良く、より効率的に見つけるのを助けることです。
Noam Shazeer：はい。
Harry Stebbings：Character.AIはどのようになると思いますか？なぜなら、あなたがおっしゃるように、100万人が100万のことをするのですから、敬意を込めて言いますが、分かりますか？私たちはそれを知るのでしょうか？
Noam Shazeer：非常に汎用的なツールを販売しているどんな会社にも同じ質問をすることができます。例えば、コンピューター、携帯電話、電話サービス、あるいは電力会社などです。電力は何に使われるのですか？エンターテイメントのためですか？生産性を向上させるためですか？
Harry Stebbings：キャラクターを構築する上で最も難しかった点は何ですか？特に際立っている要素はありますか？
Noam Shazeer：はい、ありがたいことに、すべてが順調に進みました。私のチームは素晴らしく、業界で最高の研究者やエンジニアばかりです。
Harry Stebbings：CEOからスケーリングCEOへの移行の役割を楽しんでいますか？
Noam Shazeer：はい、私は今でも多くの技術的な仕事とリーダーシップの仕事をしています。それは非常に重要です。私は会社が正しい決定を下すことを望んでいるので、CEOを続けます。だから、私は自分の仕事がどれだけ面白いかで測るのではなく、どれだけ有用かで測ります。だから、自分がやれることを非常に嬉しく思っています。
Harry Stebbings：解説していただけませんか？すみません、ただ興味があります。面白さではなく、どれだけ有用かで判断する、とのことですが。
Noam Shazeer：はい、それは「スタートアップのCEOになるのがGoogleのML研究者よりも面白いか」という問題ではなく、「ねえ、この技術を進歩させたい、何が最も効果的か？」という問いに近いのです。
Harry Stebbings：実用性と面白さが時々結びつくことをご存じでしょうか。私は自分の仕事が好きで、楽しみながらやっていますし、それが最も役立つと。そう思います。
Noam Shazeer：子育ての多くの側面は本当に素晴らしいし、非常に楽しいですが、私はそれが私をより宗教的にしたと思います。私は態度を「今やっていることが楽しいか」から「重要で意味のあることをする機会があることに感謝すべきだ」へと変えることにしました。これは成長における大きな態度の変化です。
Harry Stebbings：もし、あなたに電話をかけることができるとしたら――あなたの最初の子供が生まれる前日――あなた自身にアドバイスをするとしたら、何と言いますか？
Noam Shazeer：まず、寝ておきなさい。
Harry Stebbings：本当に？今、あなたが知っていることで、「自分に伝えるべきだ」と思うことは何ですか？
Noam Shazeer：ニューラル言語モデル。ニューラル言語モデルを深く理解すること。
Harry Stebbings：例えば、私は先日、世界で最も有名なヘッジファンドマネージャーの一人をゲストに招きました。彼は唯一重要なのは妻だと述べました。子供は重要ではない、私も重要ではないと。唯一重要なのは妻の世話をすることだと。もし私が彼女の世話をすれば、彼女は子供たちの世話をし、私の世話もしてくれるだろうと。
Noam Shazeer：はい、世の中の全てがあなたの責任ではありません。何があなたの責任であり、何がそうではないかを理解すべきです。これは結婚や育児において非常に効果的だと思います。宗教にもこの側面について多くのことが書かれていると思います。例えば、あなたが負うべき責任と負うべきではない責任、何をすべきか、何を気にかけるべきか、そして何について心配すべきではないか、ということです。
Harry Stebbings：最後の短いセグメントに入りたいと思います。私が短い言葉を言い、あなたは即座に考えを述べてください。あなたは「おい、どうしたんだ？AIの話をしに来たんだぞ」と言うかもしれませんね。
Noam Shazeer：ああ、いやいや、これでいいんです。幸いなことに、私たちはたくさんのコンテンツを録画したので、おかしな部分はカットできます。
Harry Stebbings：では、他人が知らないが、あなたが知っている真実とは何ですか？
Noam Shazeer：この技術はますます賢くなるでしょう。私たちは今、AIの分野においてライト兄弟の初飛行のような瞬間にいます。より良いハードウェアの推進と研究の進展の両方があります。だから、あなたが今見ているどんなに驚くべきアプリケーションも、将来起こることに比べると全く比類のないものかもしれません。
Harry Stebbings：この技術の普及のタイムラインはどのようになるとお考えですか？1〜3年でしょうか？それとも産業革命のように、機械化と最適化の普及を見るのに実際には20〜30年かかるのでしょうか？
Noam Shazeer：物事は非常に速く進展するでしょう。今後1年から3年の間に、非常にクールなことがたくさん起こるでしょう。
Harry Stebbings：人々がCharacter.AIについて抱いている誤解は何だと思いますか？そして、彼らに何を理解してもらいたいですか？
Noam Shazeer：外から見るとエンターテイメントアプリケーションのように見えますが、実際には私たちはフルスタック企業であり、まず第一にAI企業であり、製品ファーストの企業でもあります。このような位置付けを持つということは、最も重要な製品、つまりAIの品質を選ぶことを意味します。これにより、私たちは製品をより良くすることに集中しつつ、AIの発展を推進することができます。この二つは相互に補完し合っています。
Harry Stebbings：AIコミュニティで最も変えたいと思う側面を教えてください。著者と出版物の合法性を見ることができる透明なログや、AIの出版物やブログを確認できるものがあればと思います。しかし、多くの人がすぐに専門家を自称しており、実際に誰がYann LeCunで、誰がYoshua Bengioで、誰がNoam Shazeerで、誰がWeb3や暗号通貨から転向して今やAI専門家なのかを見分けるのは非常に難しいと思います。
Noam Shazeer：今、あまりにも多くのものが発表されており、何が良いコンテンツなのかを知るのが難しいです。これはこの分野の現在の状態と大いに関係があると思います。錬金術に似ています。何がうまくいくのか、誰も正確には知りません。
だから、多くの人が多くの異なることを試しており、機械学習に関して良い直感を持ち、さらにハードウェアの数学的理解と組み合わせることで、効果的な解決策を提案できます。それは、購入できるハードウェアであっても、自分で構築できるものであってもです。そうすれば、いくつかの成功したアプリケーションが現れ、人々はそれらを採用するでしょうが、同時に多くのノイズも伴います。なぜなら、負の結果は必ずしも有用ではありません。それは単に誰かが間違いを犯したか、バグがあったために機能しなかっただけかもしれません。
面白いのは、実験によって検証された肯定的な結果です。例えば、誰かが「おい、私が何かをやったら、この有名な問題でより良い結果が出たぞ」と言えるなら、それは非常に興味深いものになります。そして人々は、なぜこれが機能するのか、どうすればそれを採用できるのかと考え始めるでしょう。
Harry Stebbings：かつて信じていたが、後に間違っていたと判明したことは何ですか？
Noam Shazeer：私がディープラーニングに初めて触れた2012年頃、スパース計算を試みていたときに、いくつかの初期の失敗を経験しました。その時私は、スパースなネットワークを構築することで、きっともっと良い、もっと効率的なことができるだろうと考えていました。しかし、私は完全に間違っていました。なぜなら、私が理解していなかったのは、この分野がこれほど成功している理由は、現在、高密度行列の乗算に非常に優れたハードウェアがあるからだということです。だから、このハードウェアを使えば、メモリ操作に関わるどんなタスクよりも数桁速く処理できます。
私がディープラーニングを始めたばかりの頃は、誰も私にこれを説明できませんでした。この部分を理解するまで、私は「よし、スパース性はできるが、それを高速に実行するためにはこれらの密な構成要素を使って構築しなければならない」と気づきませんでした。その後、私は混合専門家モデルのアイデア、つまりスパースゲート付き混合専門家モデルを発表しました。このアイデアは、現在広く採用され始めていますが、それは2016年のことでした。それ以来、私は連続していくつかの成果を上げてきました。これらは神の介入によるものだと考えていますが、ハードウェアのメカニズムと計算分野の定量的理解によるものもあります。
Harry Stebbings：2033年、10年後、Character.AIはどのようになると思いますか？
Noam Shazeer：火星にいるでしょうか？全く分かりません。その時になって、技術がどうなっているかを見るしかないですが、私たちにとって重要なのは柔軟性を保つことです。それはまるで、1900年に会社に2000年にはどうなっているかと尋ねるようなものです。それまでには非常に大きな技術的進歩があるため、どの会社がどこにいるかを予測することはほぼ不可能です。
Harry Stebbings：今回のインタビューは、これまでのものとは全く違うと感じました。これらの質問は、親としての役割の境界を越えていて、以前に誰もあなたに尋ねたことがない質問だと感じました。あなたにお越しいただけて、とても嬉しいです、Noamさん。あなたもこの対談を楽しんでいただけたなら幸いです。
Noam Shazeer：とても楽しかったです！
原稿：Noam Shazeer: How We Spent $2M to Train a Single AI Model and Grew Character.ai to 20M Users | E1055
https://www.youtube.com/watch?v=w149LommZ-U
翻訳：Christine Liu
本記事は文末に記載されているオリジナルリンクから翻訳されたものであり、Z Potentialsの立場を代表するものではありません。本記事について何かご意見や見解がありましたら、コメント欄で交流し、議論してくださるよう歓迎します。
Z Potentialsは、人工知能、ロボット工学、グローバル化などの分野で、より質の高いコンテンツを提供し続けます。未来に憧れを抱く皆様を、私たちのコミュニティに招待し、共に共有し、学び、成長していきたいと考えております。
私たちは新しいインターンを募集しています
創造力豊かな2000年代生まれの起業家を募集しています
Z Potentialsについて