使用AI，有經驗的開發者反而被拖慢了？
在一項基於真實開源專案的實驗中，研究者發現使用AI工具不僅沒有提升開發效率，反而讓任務時間增加了19%。
這簡直與人們預測的結果完全相反。
網友也表示，沒有AI輔助撰寫程式碼，真是痛苦萬分。
接下來我們來看看，這個與大多數人直覺相悖的結果是如何得出的。
16位經驗開發者實測AI使用效率
為了直接評估AI工具對開發者生產效率的影響，研究者讓16位經驗豐富的開發人員完成246項任務，這些任務都是在知名開源程式碼儲存庫中（平均23000星，1100000行程式碼）。
每項任務被隨機分配是否允許使用AI工具。若需要使用AI工具，主要是使用Cursor Pro搭配Claude 3.5/3.7 Sonnet。
隨後，研究團隊記錄開發者在不同條件下完成任務所花費的時間，並收集他們工作時的螢幕錄影。
在這個實驗中，每位開發者都會提供一份自己程式碼儲存庫中的真實任務清單，作為本次研究的工作內容。
這些任務通常是錯誤報告、功能請求或用於協調開發的工作項目，內容從簡短的問題描述到詳細的分析不等，所需時間也從幾分鐘到數小時不等。
收集完任務清單後，開發者會預測在有AI輔助和沒有AI輔助的情況下，完成每個任務所需的時間。
隨後，這些任務透過模擬拋硬幣的方式，隨機分配到允許或不允許使用AI的兩種條件中。
開發者可按照自己的喜好順序處理分配到的任務，允許靈活安排工作，甚至有時會同時處理多個任務。
當他們認為某個任務已完成並滿意後，會向相應的程式碼儲存庫提交一個請求，該請求通常會由其他開發者進行審查。
使用AI工具竟然比不使用慢19%
開發者在允許使用AI的條件下完成了136個任務，在不允許使用AI的條件下完成了110個任務。
有趣的是，開發人員預測自己的效率會提升24%，但結果卻正好相反。
研究發現，當開發者使用AI工具時，完成任務的平均時間增加了19%。
不僅如此，幾乎所有完成時間的分位數中，允許使用AI的任務耗時都更長。
下圖顯示了在有效螢幕錄影中，開發人員為每種類型的問題所花費的時間比。
可以看出，當允許使用AI時，開發人員會花費較少的時間主動編碼和閱讀/搜尋資訊。相反地，他們花時間審查AI輸出，提示AI系統並等待AI生成。
鑑於這一令人震驚的結果，研究人員進一步探究了可能導致開發者在允許使用AI時花費更多時間的20個相關因素，他們將這些因素分為四類：
直接生產力損失：指使用AI工具過程中，因其本身機制導致開發效率下降。
實驗偏差因素：指實驗設計或執行中的混雜變數，可能引入偏差或影響結果的外部有效性。
提升開發者表現的因素：指任務、程式碼儲存庫或實驗環境中的特性，使開發者相較AI更具優勢。
限制AI表現的因素：指任務、程式碼儲存庫或AI工具/環境中的特性，削弱了AI相對於人類開發者的有效性。
他們在對20個因素進行分析後，發現其中5個因素有定性及定量的證據表明它們確實導致了效率減慢，9個因素的影響證據不明確或存在混合情況，另有6個因素則有證據表明它們並未造成效率下降。
補充資訊
與此同時，《華爾街日報》也報導，就算使用AI節省了時間，換來的卻是更多工作。
對於這些苦命的上班族來說簡直是天大的噩耗，實在是讓人笑不出來。
隨著越來越多職場人士開始使用AI助理完成日常任務，平均每天可節省大約一小時工作時間（據商業軟體製造商SAP調查）。
但企業並沒有給員工更輕鬆的工作安排，相反地，管理階層往往期待他們用節省的時間創造更多產出。
在亞馬遜，執行長Andy Jassy公開敦促員工：
「想辦法如何利用人工智慧更快速、更廣泛地為客戶進行創新，並以更精簡的團隊完成更多工作。」
參考連結：