コンパイル | 核子可楽、Tina
最近、Googleの伝説的なエンジニア、Jeff Dean氏があるインタビューで大胆な予測をしました。1年以内に、24時間年中無休で稼働し、「ジュニアエンジニア」の能力を持つAIシステムが登場するだろう、と。
Jeff Dean氏は現代コンピューティング分野の伝説的人物であり、Googleにおける大規模分散システムや人工知能に関する多くのブレークスルーを主導してきました。彼はGoogle Brainプロジェクトの共同創設者であるだけでなく、MapReduce、Bigtable、Spanner、TensorFlowといった主要システムの誕生を立て続けに推進しました。2018年からはGoogle AIの責任者を務め、2023年にはDeepMindとGoogle Brainの合併後、Googleのチーフサイエンティストに就任しました。BERT論文への参加、TPU開発の主導、Googleの基盤AIアーキテクチャの進化推進に至るまで、Dean氏はGoogleのほぼすべての重要なAI発展段階を目撃し、自ら関与してきました。
技術界で最も影響力のある人物の一人として、Jeff Dean氏のこの発言は発表されるやいなや、業界内で急速に議論を巻き起こしました。これまでSam Altman氏を含む多くの業界関係者も同様の見解を表明していましたが、Jeff Dean氏の発言の重みは明らかに異なります。あるネットユーザーが言ったように、「常に特定の概念を『売り込む』Sam Altman氏に比べ、Jeff Dean氏は地に足の着いたコンピューター科学者だ。彼が言う言葉はどれもより厳密で深みがあり、真剣に耳を傾け、考える価値がある」のです。
この変革がプログラマーの雇用市場に実際に与える影響はまだ現れていませんが、様々な兆候は、今後数年内にソフトウェア開発という職業が深い再編成を経験する可能性があることを示しています。AIエンジニアは単に「コードを書ける」だけでなく、人間エンジニアには匹敵しない継続性とスケーラビリティの可能性を備えており、これはまだ始まりにすぎないのかもしれません。
皆様がJeff Dean氏の判断と見解をよりよく理解できるよう、今回のインタビュー内容を翻訳しました。以下はその原文です（読みやすくするために一部質問の順序を調整しました）：
AIの進化と業界構造
Bill Coughran：Alphabetのチーフサイエンティストとして、Jeffさんとの会話はこの話題から始めましょう。ここにいる多くの友人は明らかにAIに興味を持ち、その発展を追い続けています。Googleは、特にTransformerアーキテクチャなど、業界が依存する多くの基盤技術に貢献しています。現在、Google社内やAI業界全体の発展方向についてどうお考えですか？
Jeff Dean： AI分野は長い間熟成されてきたと思いますが、過去3、4年でようやく一般の目に触れるようになりました。実際には、2012年、2013年頃から、当時としては非常に大規模に見えたこれらのニューラルネットワークを使って、様々な興味深い問題を解決する人々がいました。同じアルゴリズムが画像、音声、言語のタスクにも適用できました。これは非常に素晴らしい成果であり、機械学習が伝統的な手作業による設計方法に徐々に取って代わり、これらの問題を解決する主要な手段となりました。
そして2012年にはすでに、どのようにして非常に大規模なニューラルネットワークを拡張し、訓練するかという問題に注目していました。当時のGoogleのデータセンターにはそのハードウェアしかなかったため、私たちは当時の他のモデルより60倍大きいニューラルネットワークを、1.6万個のCPUコアを使って訓練しました。非常に良い結果が得られました。これにより、この手法を拡張することが確かに有効であることを確信しました。その後、ますます多くの証拠が現れ、同時にハードウェアの改善も拡張能力の向上を助け、より大きなモデルを訓練し、より大きなデータセットを処理できるようになりました。
かつて「モデルが大きいほど、データが多いほど、結果が良い」というスローガンがありました。過去12年から15年間、この言葉は基本的に成り立ってきました。将来の発展方向については、現在のモデルは非常に興味深いタスクを達成できると思います。もちろん、すべての問題を解決できるわけではありませんが、モデル自体が常に進歩しているため、毎年より多くの問題を解決できるようになっています。同じ計算コストでより大きなモデルを訓練し、より強力な能力を獲得できるより良いアルゴリズム改善方法があります。さらに、ハードウェアにおいてもブレークスルーがあり、単位ハードウェアあたりの計算能力が絶えず向上しています。また、モデルをより良くし、期待通りに機能させるための強化学習や後処理技術もあります。これらすべては非常にエキサイティングです。私は、入力形式が音声、ビデオ、画像、テキスト、コードであり、出力もこれらの形式をカバーできるマルチモーダルも重要なトレンドだと考えています。要するに、AIはますます有用になっています。
Bill Coughran：現在、業界全体が「エージェント」に非常に魅了されていますね。これらのエージェントは本当に有用だと思いますか？Googleは少し前にエージェントフレームワークを発表しました。Googleに対してではありませんが、私はエージェントに関する現在の誇大広告が少し机上の空論のように感じています。すみません、私は少し率直に話す傾向があります...
Jeff Dean： 大丈夫です。エージェントの分野には確かに大きな潜在力があると思います。なぜなら、適切な訓練プロセスを通じて、エージェントは最終的に、今日人間が解決する必要のある多くのタスクを仮想コンピューター環境で完了できるようになるからです。もちろん、現在彼らは一部のタスクしか完了できませんし、多くのタスクをこなすことはできません。
しかし、その能力を向上させる道筋は比較的明確です。強化学習をさらに行い、エージェントに経験から学ばせることができます。実際、多くの初期製品はほとんどのタスクを完了できませんでしたが、それでもユーザーにとって非常に有用でした。物理ロボットエージェントの分野でも同様の進展が起こると思います。
今日、私たちは転換点に近づいているかもしれません。この会議室のような散らかった環境にロボットはまだうまく適応できませんが、今後数年以内に、彼らがこのような部屋で何十種類もの実際の作業を完了できるようになる明確な道筋が見えています。最初にこれらのタスクを完了できるロボット製品は間違いなく高価でしょう。しかしその後、経験学習を通じて、彼らのコストは最適化され、元の価格の10分の1になり、同時に何千種類ものタスクを完了できるようになるでしょう。これはコスト最適化と技術能力のさらなる向上を推進します。したがって、エージェントの発展は全体的に非常にエキサイティングです。
Bill Coughran：その通りですね、ただ現時点では多くを要求することはできません。もう一つよく話題になる問題は、大規模モデルの発展の現状です。明らかに、GoogleはGemini 2.5 ProとDeep Researchプロジェクトを保有しており、OpenAIや他の企業も参加しています。オープンソースとクローズドソースの大規模言語モデルの数と発展方向については、業界内での議論が絶えません。これについてどうお考えですか？Googleはこの分野で確かに強い地位を築いており、引き続き主導的な地位を占めたいと考えていますが、全体の構造の変化をどう見ていますか？
Jeff Dean： 最先端のモデルを構築するには多大な投資が必要だと考えます。したがって、市場に出回るこれらの種類のモデルは数十、数百になることはなく、最終的に残るのはほんの一握りでしょう。一度これらの強力なモデルを手に入れれば、知識蒸留のような技術を利用して、より軽量なモデルを生成し、より多くのシナリオに適応させることができます。
私はかつてこの技術の共同著者でしたが、2014年のNeurIPSで私たちの論文は却下されました。それは影響を与える可能性が低いと考えられたからです。
DeepSeekがこの技術から恩恵を受けている可能性があると聞きました。要するに、これは非常に実用的な技術です。より強力なモデルができたとき、それをより小型のモデルに圧縮して、軽便で高速にし、必要な様々な特性を持たせることができます。したがって、この分野には多くの異なる参加者がいると思います。なぜなら、様々なサイズと用途のモデルが存続する空間があるからです。しかし同時に、少数の汎用かつ強力なモデルも優れたパフォーマンスを発揮すると信じています。
Bill Coughran：短い質問です。「アンビエントプログラミング」は使いますか？
Jeff Dean： 実は少し試したことがありますが、驚くほど効果的でした。
私たちは仕事で多くのデモチャットルームを持っており、Geminiプロジェクト全体のコミュニケーションもほぼチャットルームで行われています。私は約200のチャットルームに参加しており、毎朝起きて歯磨きをする際に、ロンドンの同僚たちがすでに忙しくしているため、約9件の通知を受け取ります。
私たちは非常にクールなデモを持っています。教育的なYouTubeビデオをアップロードし、「このビデオに基づいて、グラフィックとインタラクティブ要素を含む教育ゲームを作成してください」というプロンプトを与えます。常に成功するわけではありませんが、約30%の確率で、微分方程式、火星探査への旅、または細胞関連のトピックに関するゲームなど、興味深いコンテンツを実際に生成できます。これは教育にとって巨大なシグナルです。
私たちが現在持っているツール、そして今後数年で持つツールは、実際に世界を肯定的な方法で変える機会を持っています。これが私たちが努力すべき方向であることを覚えておくべきです。
視聴者：Chromeの普及率が非常に高いことを考慮すると、将来の検索について非常に興味があります。Chromeはすでに支払い情報やウェブ署名情報などを把握しています。GeminiをChromeに直接統合し、ChromeアプリケーションをGeminiアプリケーションに変換し、もはや独立したアプリケーションとしてではなく扱うことを考えたことはありますか？私はGoogleの正規の従業員なので、真剣に考えて答えてください。
Jeff Dean： はい、私はコアのGeminiモデルまたは他のモデルから、多くの興味深い下流アプリケーションが派生すると考えています。その一つは、ブラウザやデスクトップコンピューターでの操作を観察することで、あなたがタスクを完了するのを助けることです。例えば、タブのOCRを実行したり、元のタブのコンテンツにアクセスしたりすることです。
これは非常に有用に思われます。私たちはこの分野でいくつかの初期成果を上げており、AIアシスタントMarinerなどのプロジェクトのビデオ形式の公開デモもリリースしています。具体的な結果はまだわかりません。
視聴者：以前、基盤モデルの参加者はほんの一握りしか残らない可能性が高いとおっしゃいましたね。これは主にインフラストラクチャコストと、最先端技術を維持するために必要な投資規模が大きすぎるためです。この最先端競争が展開されるにつれて、事態は最終的にどこへ向かうと思いますか？単に最もお金をかけ、最大のクラスターを構築した者が勝つのでしょうか？それとも、統一されたメモリ最適化と既存のリソースをより効果的に利用することが勝利の鍵となるのでしょうか？あるいは、最終的にユーザー体験にかかっているのでしょうか？この軍拡競争はどこへ向かうのでしょうか？最初にスカイネットのレベルに到達した者が勝つのでしょうか？
Jeff Dean： 勝者を決定するのは、優れたアルゴリズム作業と、優れたシステムハードウェアおよびインフラストラクチャの成果の両方だと思います。どちらがもう一方より重要であると単純に考えることはできません。なぜなら、私たちのGeminiモデルの世代間の進化過程で、アルゴリズムの改善の重要性が、ハードウェアの改善やより多くの計算リソースへの投資の重要性に匹敵するか、あるいはそれ以上に高いことを見てきたからです。
しかし、製品の観点から見ると、この分野はまだ初期段階にあります。数十億人が毎日使用するキラー製品はまだ見つかっていないと思います。それは教育分野の何らかのアプリケーションかもしれませんし、検索エンジンのような情報検索ツールかもしれませんが、大規模なマルチモーダルモデルの利点を十分に活用するものです。私は、人々がそれぞれの作業環境でタスクを完了するのを助けることが最も重要だと考えています。では、これらのアイデアはどのように具体的な製品形態に変換されるのでしょうか？例えば、50個の仮想エージェントからなるチームをどのように管理すべきでしょうか？彼らはほとんどの場合、タスクを正しく実行しますが、時折私の意見を聞く必要があります。私は彼らに一定の指示を与える必要があります。これは、50人の仮想インターンをどのように管理すべきかを考えることに相当します。これは複雑な問題になるでしょう。
視聴者：あなたは世界で最もこの質問に答えるのに適した人物だと思います：24時間年中無休で働き、ジュニアエンジニアと同等のレベルを持つAIが登場するまで、あとどれくらいだと思いますか？
Jeff Dean： 皆さんが想像しているよりも近いと思います。
Bill Coughran：具体的には？6週間ですか、それとも6年ですか？
Jeff Dean： おそらく、次の1年くらいで可能だと主張します。（I will claim that's probably possible in the next yearish）。
視聴者：先ほどの「1年以内にジュニアエンジニアレベルのAIを持つ」という話題に戻ります。この目標を達成するために、どのようなブレークスルーが必要だと思いますか？明らかにコード生成能力はさらに向上するでしょうが、それ以外に何が必要だと思いますか？それはツール使用能力ですか？それともエージェントの計画能力ですか？
Jeff Dean： そのような仮想エンジニアが必要とする能力は、IDEでコードを書くだけにとどまらないと思います。テストの実行方法、パフォーマンス問題のデバッグ方法なども知っている必要があります。人間エンジニアがどのようにこれを行っているか知っています。彼らはタスクを完了するために様々なツールを使うことを学び、より経験豊富なエンジニアから知恵を得たり、大量のドキュメントを読んだりする必要があります。仮想ジュニアエンジニアが最も得意とするのは、ドキュメントを読むことと、仮想環境で継続的に試行錯誤することだと思います。これが彼らの能力を向上させる一つの方法のように思えます。どの程度まで達成できるかは分かりませんが、これは非常に有望な道だと信じています。
AIにおけるハードウェアの重要な役割
Bill Coughran：なるほど。もう一つの注目すべきトレンドはハードウェアの発展です。私見では、各大手企業が自社製ハードウェアを開発しています。Googleは非常に早くTPU計画を公表し、Amazonも独自のソリューションを持っています。MetaとOpenAIも自社製チップを開発しているという噂があります。しかし現在、業界ではまだNvidiaの声しか聞こえてこないようですが、Googleのオフィスでは certainly そうではありませんね。この問題についてどうお考えですか？これらのタスクにとって、専用ハードウェアはどのくらい重要ですか？
Jeff Dean： 明らかに、機械学習のような計算に特化したハードウェアは非常に重要です。私はそれを「低精度線形代数アクセラレータ」と呼びたいです。各世代のハードウェアはより強力になり、超高速ネットワークを介して大規模に接続される必要があります。これにより、モデルの計算要求をできるだけ多くの計算デバイスに分散させることができます。これは非常に重要です。私は2013年にTPUプロジェクトの立ち上げを支援したことを覚えています。それは、当時大量の推論計算リソースが明らかに必要だったからです。それが第1世代でした。第2世代のTPU（TPUv2）は推論と訓練の両方に対応しました。なぜなら、私たちはその需要を見ていたからです。現在使用しているバージョンは番号付けされていません。それはあまりにも面倒だからです。現在、Ironwoodを導入しており、前世代のTrilliumの後継となる予定です。
Bill Coughran：その名前はIntelのチップに似ていますね、彼らはあまりうまくいかなかったようですが…すみません、少し話がそれましたが、何か他のことについて話しましょう。私は多くの物理学者の友人がいますが、彼らはGeoffrey Hinton氏とその同僚が物理学のノーベル賞を受賞したことに少し驚いています。これについてどうお考えですか？私が知っている物理学者の中には、非物理学者がノーベル賞を受賞したことに少し不満を感じている人もいます。AIが最終的に様々な分野でどの程度まで進むと思いますか？
Jeff Dean： 非常に遠くまで行くと思います。今年、私の同僚であるDemis氏とJohn Jumper氏もノーベル賞を受賞しました。これは、AIが多くの科学分野に影響を与えていることを示していると思います。根本的に言えば、興味深いデータから学習できるかどうかは、多くの科学分野における重要な課題であり、それは物事間の関係を発見し、それらを理解することです。もしAIがこれを支援できるなら、それは素晴らしいことです。結局のところ、多くの科学分野では、気象予報、流体動力学、量子化学シミュレーションなど、非常に高価な計算シミュレーションシナリオに遭遇することがよくあります。
現在の方法は、これらのシミュレーションシナリオを訓練データとして使用し、シミュレーターの機能を近似するニューラルネットワークを訓練することですが、速度を30万倍に向上させることができます。これは私たちが科学研究を行う方法を完全に変えました。突然、私は食事をする間に数千万個の分子をスクリーニングできます。以前は、恐ろしい計算リソースを1年間かけてこれを完了しなければなりませんでした。これは根本的に私たちの科学研究プロセスを変え、科学的発見の速度を加速させるでしょう。
Bill Coughran：Geoffrey Hinton氏の状況について、少しフォローアップしたいと思います。彼は推論と学習におけるデジタル計算とアナログ計算の違いの研究のためにGoogleを辞めました。将来の推論ハードウェアはアナログ方向に進むと思いますか？
Jeff Dean： 確かに可能性があります。アナログ計算は電力効率の面で利点があります。また、推論におけるデジタル計算にもまだ多くの専門化の余地があると考えています。一般的に言って、デジタルシステムの方が操作が容易です。しかし、全体的な方向性は：推論ハードウェアの効率を今日のレベルよりさらに1万倍、2万倍、あるいは5万倍にするにはどうすればよいか、ということです。私たちが決意すれば、それは十分に可能です。実際、私自身もこのことについて時間をかけて研究しています。
視聴者：こんにちは、開発者体験とハードウェアの関係についてお伺いしたいです。TPUハードウェアは非常に優れていると思いますが、コミュニティではCUDAなどの技術の方がTPUより使いやすいという見解があります。これについてどうお考えですか？これはあなたがずっと考えている問題ですか？怒りのメールをたくさん受け取ったことはありますか？
Jeff Dean： 考えたことはあります。Cloud TPUのお客様と直接やり取りすることはめったにありませんが、体験には改善の余地がまだたくさんあることは間違いありません。
私たちは2018年にPathwaysというシステムの研究開発を始めました。その設計目標は、様々な計算デバイスを使用できるようにし、優れた抽象化層を提供することです。このシステムでは、仮想デバイスから物理デバイスへのマッピングは下層のランタイムシステムによって管理されます。PyTorchとJaxをサポートしています。
社内では主にJaxを使用していますが、単一のJax Pythonプロセスを記述し、それが数万のデバイスに対応しているかのように見せています。ML研究者のようにコードを書き、実行できます。4つ、8つ、16個、または64個のデバイスでプロトタイプ開発を行い、定数を1つ変更するだけで、数千または数万のチップをサポートするPathwaysバックエンドに切り替えて実行を続けることができます。開発者体験は非常に理想的です。
私が言いたいのは、以前はCloudのお客様にこの機能を開放していませんでしたが、Cloud NextでPathwaysをCloudのお客様に開放することを発表しました。これにより、誰もが単一のPythonプロセスで数千のデバイスを制御するという素晴らしい体験を享受できるようになります。64個のプロセッサ上の256個のチップを直接管理するよりもはるかに優れていることに同意します。
視聴者：Gemini APIを使うのがとても好きです。Google Cloud認証設定の代わりに単一のAPIキーを直接使えるようになれば、さらに良いでしょう。Google CloudとGeminiスタックをGeminiプロジェクトと統合する予定はありますか？現在、後者はテスト版のようなものです。
Jeff Dean： その点については、いくつかの簡素化策が検討されていると思います。これは既知の問題であり、私自身はこのことにあまり時間を費やしていませんが、Loganや他の開発者チームのメンバーがこの摩擦点を認識していることは知っています。ユーザーが私たちのツールを摩擦なく使えるようにしたいと思っています。
検討中で、関連する簡素化策も進められています。私たちはこの問題をみんな認識しています。私自身はこの件にあまり時間を費やしませんが、Googleの他の開発者チームのメンバーがこの問題点を認識しており、ユーザーがよりスムーズに私たちのツールを利用できるようになることを望んでいることは知っています。
視聴者：現在、計算分野は興味深い時期にあります。ムーアの法則もデンナードスケーリングも有効ではなくなりましたが、AIのスケーリングは狂ったように成長を続けています。あなたはこれらスーパーコンピューターとインフラストラクチャの開発を推進するユニークな立場にいます。さらに重要なことに、あなたはワークロードをこれらのシステムにマッピングする方法を理解するというユニークなスキルを持っています。では、計算の未来はどのようになると思いますか？理論的な観点から見て、計算インフラストラクチャはどの方向に発展するのでしょうか？
Jeff Dean： 過去5〜10年の間に、私たちがコンピューターで実行したい計算の種類が大きく変化したことは明らかだと思います。最初は小さな波紋に過ぎませんでしたが、今では荒波となっています。非常に高性能で電力消費が非常に低い超大規模ニューラルネットワークを実行したいと考えており、訓練も同様の方法で行いたいと考えています。
訓練と推論は全く異なるワークロードです。したがって、両者を区別することには意味があると思います。これらの2つのタスクに対して異なるソリューション、または少なくともわずかに異なるソリューションを採用する必要があるかもしれません。すべての計算プラットフォームは、その主要な役割が非常に強力なモデルを実行することであるというこの新しい現実適応すると私は考えます。これらのアプリケーションの一部は、例えば皆さんの携帯電話のような低電力環境で実行されます。
私たちは皆、自分の携帯電話が非常に大きなパラメータを持つモデルを極めて速く実行できるようになることを望んでいます。そうすれば、携帯電話と会話するときに、迅速に応答し、様々なタスクを完了するのを助けることができます。また、ロボットや自動運転車でもこれらのモデルを実行します。現時点である程度実現していますが、より良いハードウェアはこれらのシステムの構築をより容易にし、実際の世界の具現化されたエージェントをより強力にするでしょう。同時に、データセンターでもこれらのモデルを超大規模で実行したいと考えています。さらに、一部の問題については、大量の推論計算リソースを使用する必要がありますが、他の問題については必要ありません。
要するに、私たちはバランスを見つける必要があります。一部の問題については、通常の問題の何万倍もの計算リソースを投入すべきです。そうすることで、モデルはより強力になり、より正確な答えを出したり、少量の計算だけでは完了できないタスクを完了させたりすることができます。しかし同時に、すべての問題にこれほど多くのリソースを投入すべきではありません。したがって、限られたリソースの下でシステムがうまく機能するにはどうすればよいのでしょうか？これはハードウェア、システムソフトウェア、モデル、およびアルゴリズムのテクニック（知識蒸留など）の共同作用の結果であるべきだと私は考えます。これらすべてが、限られた計算リソースで強力なモデルを実現するのに役立ちます。
Bill Coughran：私が気づいたことの一つは、伝統的なコンピューターサイエンスがアルゴリズムと計算複雑性を研究する際に、操作数を基準にしていたことです。ハードウェアとシステム設計の詳細への再重視が進むにつれて、新しい傾向を見つけました。つまり、ネットワーク帯域幅、メモリ帯域幅などの要素を再検討する必要があるということです。したがって、現実の計算パターンが完全に異なっているため、伝統的なアルゴリズム分析は完全に書き直す必要があると思います。
Jeff Dean： 私の大学院時代のルームメイトはキャッシュ認識アルゴリズムに関する論文を書きました。それは、大O記法がある操作が他の操作より100倍遅い可能性があるという事実を考慮していなかったからです。その通りです。現代の機械学習計算では、データ移動の非常に小さな量的な違いに非常に注目しています。例えば、SRAMからアキュムレータへの移動のコストは非常に小さなピコジュールかもしれませんが、それはすでに実際の演算のコストよりもはるかに高いです。したがって、今日「ピコジュール」という概念を理解することは非常に重要です。
視聴者：事前学習のスケーリングと現在の強化学習のスケーリングについて話されましたね。これらのモデルの将来の軌道についてどうお考えですか？すべての計算リソースを占める単一のモデルを使い続けるのでしょうか、それとも大規模モデルから蒸留された複数の小さなモデルが協調して動作するのでしょうか？将来のAIモデルの構造についてどうお考えですか？
Jeff Dean： 私は常にスパースモデル、つまりモデルの異なる部分に異なる専門知識を持つ構造に楽観的です。これは生物の脳の大まかな理解からヒントを得ています。人間脳のこの構造こそが、20ワットの消費電力でも多くのことを達成できるようにしているのです。後退時にゴミ収集車にぶつかることを心配しているとき、頭の中のシェイクスピア詩モジュールは活動していません。
私たちは混合エキスパート（mixture-of-experts）モデルに関する初期の研究をいくつか行いました。そこでは2〜48のエキスパートを使用し、このモデルが著しい効率向上をもたらすことを見つけました。例えば、同じ訓練FLOPsで、モデルの品質が10倍から100倍向上しました。これは非常に重要です。
しかし、私はこの分野を十分に探索していないと考えています。それは、現在使用されているスパース性のパターンが規則的すぎるからです。理想的には、モデル内に計算コストが他のパスの数百倍、あるいは千倍になるような特定のパスが存在することを望んでいます。同時に、モデルの一部は計算量が非常に小さい一方、他の部分は非常に大きいことを望んでいます。おそらく構造も異なるべきでしょう。
また、モデルが動的に拡張し、新しいパラメータや新しい空間断片を追加できることを望んでいます。おそらく、蒸留プロセスを通じて一部を圧縮し、元のサイズの4分の1に縮小することもできるでしょう。そして、バックグラウンドでガベージコレクションメカニズムのように、この部分のメモリを解放し、より有用な場所に割り当て直すことができます。私にとって、今日私たちが持っている固定モデルよりも、このようなより有機的で連続的な学習システムの方がより大きな潜在力を持っています。唯一の課題は、現在の方法が非常に効果的であるため、この新しいパターンを実現するために既存の方法を完全に変更するのが難しいことです。しかし、このパターンは私たちの現在の剛性モデル構造よりも大きな利点を持っていると私は固く信じています。
イベント推薦
AICon 2025が強力に来襲！5月上海、6月北京の二都市連動で、AI技術の最前線と産業への導入を網羅します。本大会は技術と応用の深い融合に焦点を当て、AI Agent、マルチモーダル、シーン応用、大規模モデルアーキテクチャ革新、インテリジェントデータインフラ、AI製品設計、海外進出戦略などのトピックを集めます。今すぐQRコードをスキャンしてチケットを購入し、AI応用の境界を一緒に探索しましょう！