Entwicklungssystem Devin im Test

Im März 2024 kam Devin auf den Markt, ein als vollautonomer Softwareentwickler angepriesenes Tool. Geplant war, dass Devin durch Interaktion über Slack und das Einrichten einer eigenen Rechenumgebung operiert. Anfangs waren die Demonstrationen vielversprechend; Devin bewältigte Aufgaben, die sonst Programmierern vorbehalten waren, und löste unter anderem mehr als 13 Prozent realer GitHub-Probleme.

Trotz dieser vielversprechenden Anfänge war das Team von Answer.AI, das Devin erprobte, nicht ganz überzeugt. Eingängig und beeindruckend in der Theorie offenbarte Devin in der Praxis grosse Schwierigkeiten. Bei der Durchführung von über 20 Aufgaben erzielte Devin lediglich drei Erfolge, während die Mehrheit der Tests in Misserfolgen endete. Die anfänglichen Triumphe wie das Übertragen von Daten aus einer Notion-Datenbank in Google Sheets schienen vielversprechend, wurden jedoch schnell von ernüchternden Erfahrungen überschattet.

Das Team musste feststellen, dass Devin bei komplexeren Aufgaben oft in technische Sackgassen geriet und eher dazu neigte, übermässig komplizierte Lösungen zu entwickeln. So scheiterte die KI unter anderem daran, mehrere Anwendungen gleichzeitig zu deployen, was von ihr nicht richtig erkannt wurde, und dazu führte, dass viel Zeit für die Fehlersuche verloren ging.

Die Analyse der Ergebnisse ergab, dass Devin insbesondere bei Aufgaben, die ein tiefes Verständnis bestehender Codemuster erforderten, versagte. Bei der Migration eines Python-Projekts in die nbdev-Umgebung war Devin nicht in der Lage, die grundlegenden Anforderungen zu erfüllen, trotz Zugang zu umfassender Dokumentation. Ein weiteres Beispiel war die Verwendung von Devin für eine Sicherheitsüberprüfung, bei der sie zahlreiche Fehlalarme ausgab und echte Probleme ignorierte.

Die überwiegende Zahl der eingesetzten Funktionen war zum Teil so einfach definiert, dass menschliche Entwickler diese schneller und effizienter bearbeiten konnten. Das Team kam zu dem Schluss, dass, obwohl Devin in bestimmten Bereichen potenziell von Nutzen sein könnte, die Auseinandersetzung mit den echten Herausforderungen der Softwareentwicklung bei weitem nicht ausreichend war.

Im Ganzen zeigen die Erfahrungen mit Devin, dass der Hype um KI-Entwicklungstools oft von der tatsächlichen Nützlichkeit abweicht. Statt auf Devins autonomes Arbeiten zu setzen, plant das Team von Answer.AI, in Zukunft Tools zu verwenden, die eine menschliche Steuerung bei der Softwareentwicklung ermöglichen und gleichzeitig auf AI-Assistenz zurückgreifen.

Blogpost über die Erfahrungen mit Devin