Programiści korzystający z Copilot wypadają statystycznie lepiej w najnowszym badaniu GitHub

W niedawnym badaniu przeprowadzonym przez GitHub, GitHub Copilot został przetestowany w celu ustalenia, czy asystent kodowania AI pomaga programistom pisać kod, który jest obiektywnie lepszy lub gorszy niż kod napisany bez AI. W tym celu GitHub współpracował z 202 programistami Pythona, 104 kodującymi z Copilotem i 98 bez niego. Programiści mieli za zadanie stworzyć serwer internetowy z recenzjami restauracji i ocenić funkcjonalność za pomocą 10 testów jednostkowych.

W przypadku każdego z ukończonych zgłoszeń co najmniej dziesięciu programistów przechodziło linijka po linijce przez kod, nie wiedząc, czy został on napisany z pomocą sztucznej inteligencji, czy bez niej. We wszystkich 1293 recenzjach oceniono czytelność, niezawodność, łatwość utrzymania i zwięzłość próbek kodu. Dodatkowo, recenzenci oceniali, czy kod powinien zostać ostatecznie zatwierdzony.

Wyniki badania dobrze wróżą wykorzystaniu sztucznej inteligencji w kodowaniu, a GitHub podkreśla cztery kluczowe wnioski.

1. Copilot pomógł programistom przejść wszystkie dziesięć testów jednostkowych o 56 procent częściej niż programiści bez sztucznej inteligencji, co doprowadziło do zwiększenia funkcjonalności.
2. Kod wspomagany przez Copilota jest bardziej czytelny i pomaga programistom napisać średnio o 13,6 procent więcej wierszy bez napotykania problemów z czytelnością.
3. Czytelność, niezawodność, łatwość konserwacji i zwięzłość poprawiły się średnio o 3,29 procent, przy czym zwięzłość otrzymała najbardziej znaczący wzrost o 4,16 procent.
4. Kod wspomagany przez copilota był zatwierdzany o 5 procent częściej niż kod bez sztucznej inteligencji. Oznacza to, że potrzeba mniej czasu, zanim kod będzie gotowy do produkcji.

Aby uzyskać bardziej szczegółowe informacje na temat metodologii i wyników badania, prosimy odwiedzić oficjalny wpis na blogu GitHub, do którego link znajduje się poniżej.