Studie zeigt deutliche Produktivitätssteigerung durch GitHub Copilot
Eine kürzlich veröffentlichte Studie von Forschern der Microsoft Corporation, des Massachusetts Institute of Technology (MIT), der Princeton University und der Wharton School der University of Pennsylvania zeigt, dass die Verwendung von GitHub Copilot zu einer signifikanten Steigerung der Produktivität von Softwareentwicklern führt. Die Untersuchung umfasste über 4.000 Entwickler und ergab eine durchschnittliche Produktivitätssteigerung von 26 % bei den Teilnehmern, die Copilot verwendeten.
Details der Studie: Mehrere Experimente zur Evaluierung
Die Forscher führten drei randomisierte kontrollierte Studien durch, um die Auswirkungen von Copilot auf die Effizienz von Entwicklern zu messen. Die Experimente wurden bei Microsoft, Accenture und einem anonymen Fortune-100-Elektronikhersteller durchgeführt. Insgesamt nahmen 4.867 Entwickler an der Untersuchung teil, wobei wöchentlich die Anzahl der Pull-Requests, Commits und Code-Bauten der Entwickler gemessen wurden. Die Ergebnisse zeigten, dass Entwickler, die Copilot verwendeten, eine durchschnittliche Steigerung von 26,08 % bei abgeschlossenen Pull-Requests pro Woche erzielten.
Produktivitätssteigerung variiert je nach Erfahrung
Interessanterweise variierte die Produktivitätssteigerung je nach Erfahrungsgrad der Entwickler. Junior-Entwickler und Entwickler mit weniger Berufserfahrung profitierten am meisten von Copilot. Sie zeigten eine höhere Bereitschaft, den von Copilot generierten Code anzunehmen, und verwendeten das Tool über einen längeren Zeitraum. Im Gegensatz dazu verzeichneten erfahrenere Entwickler geringere Produktivitätsgewinne. Für sie erwies sich Copilot eher als Unterstützung bei Routineaufgaben, während sie sich auf komplexere Probleme konzentrierten.
Generative KI in realen Arbeitsumgebungen
Die Autoren der Studie heben hervor, dass ihre Forschung eines der ersten Experimente ist, das den Einsatz generativer KI in einem Feldsetting untersucht, also in einer realen Arbeitsumgebung. Bisher wurden viele Studien zu generativer KI unter kontrollierten Laborbedingungen durchgeführt. Das Forschungsteam unterstrich, dass es bislang an experimentellen Studien fehle, die den Effekt solcher Technologien in der Praxis analysieren. Diese Studie trägt daher erheblich zum Verständnis der Auswirkungen von generativer KI auf die Arbeitswelt bei.
Die Experimente wurden in den Jahren 2022 und 2023 durchgeführt und verwendeten eine Version von Copilot, die auf dem GPT-3.5-Modell basiert. Bei Microsoft und Accenture wurden die Entwickler nach dem Zufallsprinzip ausgewählt, um Copilot zu nutzen. Im anonymen Unternehmen hingegen erhielten schließlich alle Entwickler Zugang zu dem Tool, wobei ihre Starttermine zufällig festgelegt wurden. Neben der Produktivität wurde auch die Akzeptanz und Nutzung von Copilot durch die Entwickler überwacht.
Erkenntnisse zu Nutzung und Akzeptanz
Die Ergebnisse zeigten, dass Junior-Entwickler nicht nur produktiver waren, sondern Copilot auch eher langfristig nutzten. Diese Entwickler akzeptierten den von der KI generierten Code häufiger und nutzten Copilot über einen Zeitraum von mehr als einem Monat. Sie zogen den größten Nutzen aus den Vorschlägen des Tools. Entwicklern mit mehr Erfahrung fiel es schwerer, Copilot vollständig zu integrieren, da sie den generierten Code häufiger überprüften und anpassten. Das Forschungsteam betonte, dass erfahrenere Entwickler oft auf subtile Fehler im Code stießen, die weniger erfahrene Entwickler möglicherweise übersehen hätten.
Wissenschaftliche und praktische Relevanz der Studie
Ethan Mollick, Professor an der Wharton School, kommentierte die Studie und betonte, dass die randomisierten kontrollierten Studien signifikante Leistungssteigerungen in realen Unternehmen für eine Vielzahl von Aufgaben zeigten. Diese reichen von der Softwareentwicklung über das Management bis hin zum Unternehmertum und Schreiben – und das alles durch den Einsatz von KI. Die Ergebnisse der Studie deuten darauf hin, dass generative KI in der Lage ist, in verschiedenen Branchen die Produktivität erheblich zu steigern.
Reaktionen der Entwickler-Community
In Online-Foren wie Hacker News gab es rege Diskussionen über die Ergebnisse der Studie. Einige Entwickler berichteten, dass ihre eigenen Erfahrungen mit GitHub Copilot den Studienergebnissen entsprächen. Ein erfahrener Entwickler bemerkte, dass Copilot für ihn nützlich sei, um Routineaufgaben zu erledigen und mehr Kapazitäten für tiefere Problemlösungen zu schaffen. Allerdings stellte er fest, dass das Tool häufig subtile Fehler machte, die er als erfahrener Entwickler bemerkte und korrigierte, während Junior-Entwickler diese möglicherweise nicht erkennen würden.
Offene Fragen zu generativer KI und Produktivität
Die Auswirkungen generativer KI auf die Produktivität von Mitarbeitern sind ein weiterhin heiß diskutiertes Thema. Frühere Studien und Umfragen haben unterschiedliche Ergebnisse geliefert. Zum Beispiel ergab eine Umfrage des Upwork Research Institute, dass die Mehrheit der Befragten tatsächlich angab, dass GenAI ihre Produktivität verringert habe. Gleichzeitig berichtete eBay von einer eigenen Untersuchung, die eine positive Auswirkung von GitHub Copilot auf die Produktivität der Entwickler zeigte. Ähnliche Diskussionen gab es auch in Verbindung mit anderen technologischen Innovationen, wie zum Beispiel über die Einführung von Microsofts neuer ARM-basierter Copilot-PC-Technologie.
Fazit: Generative KI als Produktivitätsmotor
Zusammenfassend lässt sich sagen, dass GitHub Copilot in den durchgeführten Studien eine deutliche Produktivitätssteigerung bei Softwareentwicklern bewirkt hat, insbesondere bei Junior-Entwicklern und Entwicklern mit geringerer Erfahrung. Die randomisierten kontrollierten Studien bieten wertvolle Einblicke in den Einsatz von generativer KI in realen Arbeitsumgebungen und zeigen, dass KI-Tools wie Copilot erhebliche Potenziale zur Effizienzsteigerung haben. Gleichzeitig unterstreichen die Ergebnisse, dass erfahrenere Entwickler die generierten Inhalte kritisch prüfen müssen, um Fehler zu vermeiden. Die Studie liefert wichtige Impulse für weitere Forschungen zur Frage, wie generative KI die Arbeitswelt langfristig verändern kann.
