AIを使うと、経験豊富な開発者はかえって遅くなるのでしょうか？
実際のオープンソースプロジェクトに基づいたある実験で、研究者たちはAIツールの使用が開発効率を向上させないだけでなく、タスク時間を19%増加させることさえ発見しました。
これはまさに人々の予測とは全く逆の結果です。
ネットユーザーも、AIの補助なしではコードを書くのは本当に苦痛だ、とコメントしています。
次に、多くの人々の直感に反するこの結果がどのように導き出されたのかを見てみましょう。
16人の経験豊富な開発者がAI使用効率を実測
AIツールが開発者の生産性に与える影響を直接評価するため、研究者たちは16人の経験豊富な開発者に246のタスクを完了させました。これらのタスクは、有名なオープンソースコードリポジトリ（平均23,000スター、1,100,000行のコード）からのものです。
各タスクには、AIツールの使用を許可するかどうかがランダムに割り当てられました。AIツールを使用する必要がある場合、主にCursor ProとClaude 3.5/3.7 Sonnetが使用されました。
その後、研究チームは、開発者が異なる条件下でタスクを完了するのにかかった時間を記録し、彼らが作業中の画面録画を収集しました。
この実験では、各開発者が自身のコードリポジトリからの実際のタスクリストを提供し、それが本研究の作業内容として使用されました。
これらのタスクは通常、バグ報告、機能リクエスト、または開発調整のための作業項目であり、内容は短い問題記述から詳細な分析まで様々で、所要時間も数分から数時間まで幅がありました。
タスクリストの収集後、開発者はAI補助の有無にかかわらず、各タスクを完了するのに必要な時間を予測しました。
その後、これらのタスクはコイン投げをシミュレートする方法で、AIの使用を許可する条件と許可しない条件の2つにランダムに割り当てられました。
開発者は割り当てられたタスクを自分の好きな順序で処理でき、柔軟な作業スケジュールが可能で、時には複数のタスクを同時に処理することも許可されました。
タスクが満足に完了したと判断すると、彼らは対応するコードリポジトリにリクエストを提出しました。このリクエストは通常、他の開発者によってレビューされます。
AIツールを使用すると、使用しない場合より19%遅くなることが判明
開発者はAIの使用が許可された条件下で136のタスクを、AIの使用が許可されていない条件下で110のタスクを完了しました。
興味深いことに、開発者たちは自身の効率が24%向上すると予測していましたが、結果は正反対でした。
研究の結果、開発者がAIツールを使用した場合、タスク完了にかかる平均時間は19%増加したことが判明しました。
それだけでなく、完了時間のほぼすべての分位点において、AIの使用が許可されたタスクの方が時間がかかっていました。
下図は、有効な画面録画において、開発者が問題の種類ごとに費やした時間の割合を示しています。
AIの使用が許可されている場合、開発者は能動的なコーディングや情報の読み込み/検索に費やす時間が少ないことがわかります。代わりに、AIの出力のレビュー、AIシステムへのプロンプト入力、AIの生成を待つことに時間を費やしています。
この衝撃的な結果を受けて、研究者たちは開発者がAIの使用を許可された際に、より多くの時間を費やす原因となりうる20の関連要因をさらに探究し、これらの要因を4つのカテゴリに分類しました。
直接的な生産性損失：AIツール使用中に、そのメカニズム自体が開発効率を低下させること。
実験バイアス要因：実験の設計や実施における交絡変数で、バイアスを導入したり、結果の外的妥当性に影響を与えたりする可能性のあるもの。
開発者のパフォーマンスを向上させる要因：タスク、コードリポジトリ、または実験環境における特性で、開発者にAIと比較して優位性をもたらすもの。
AIのパフォーマンスを制限する要因：タスク、コードリポジトリ、またはAIツール/環境における特性で、人間の開発者と比較したAIの有効性を弱めるもの。
20の要因を分析した後、彼らは5つの要因が実際に効率低下を引き起こしたという定性的および定量的な証拠があることを発見しました。9つの要因については影響が不明確または混在しており、残りの6つの要因については効率低下を引き起こしていないという証拠がありました。
追記
一方で、『ウォール・ストリート・ジャーナル』も、AIを使って時間を節約しても、その代わりにより多くの仕事が生まれると報じています。
これは「社畜」にとってはまさに最悪のニュースであり、笑い事ではありません。
より多くのビジネスパーソンが日常業務にAIアシスタントを使い始めるにつれて、平均して1日あたり約1時間の労働時間を節約できると報告されています（ビジネスソフトウェアメーカーSAPの調査による）。
しかし、企業は従業員に楽な仕事の割り当てを与えておらず、むしろ経営陣は節約された時間を使ってより多くの成果を生み出すことを期待しています。
アマゾンでは、CEOのアンディ・ジャシーが公に従業員に促しました。
「AIを活用して、より迅速かつ広範囲に顧客のためにイノベーションを起こし、より少ないチームでより多くの仕事を成し遂げる方法を考えなさい。」
参考文献：