Misailovic Co

29.08.2023 09:00:00 Uhr Michael O'Boyle

Sasa Misailovic, CS-Professor aus Illinois, möchte die Verarbeitung natürlicher Sprache auf die professionelle Softwareentwicklung anwenden und es Entwicklern ermöglichen, Fälle zu erkennen, in denen Software unerwartetes oder unerwünschtes Verhalten zeigen könnte.

Geschrieben von Michael O'Boyle

Die Verarbeitung natürlicher Sprache ist der Bereich der Informatik, der dem jüngsten Boom der Chatbot-Technologie zugrunde liegt und es ermöglicht, menschliche Sprache durch Computer zu verarbeiten und Rechenergebnisse in für Menschen verständliche Formen zu bringen. Während seine potenziellen Einsatzmöglichkeiten in fast allen Bereichen der Gesellschaft häufig diskutiert werden, möchte der Informatikprofessor Sasa Misailovic aus Illinois es auf die professionelle Softwareentwicklung anwenden.

Sein besonderes Interesse gilt der Entwicklung von Testcode, der es Entwicklern ermöglicht, Fälle zu lokalisieren, in denen Software unerwartetes oder unerwünschtes Verhalten zeigen könnte. Mit seinen Mitarbeitern an der University of Texas in Austin entwickelt Misailovic Modelle in natürlicher Sprache, die Anweisungen von Entwicklern verarbeiten und gebrauchsfertigen Testcode zurückgeben können. Sie nennen ihren Ansatz „NLP4Test“.

„Wir wollen die Praxis der Softwareentwicklung und des Softwaretests verbessern“, sagte Misailovic. „Wir suchen danach, wie die Verarbeitung natürlicher Sprache zeitaufwändige manuelle Softwaretests ersetzen und Entwicklern die Möglichkeit geben kann, sich auf andere Aufgaben zu konzentrieren.“

Der Preis in Höhe von 1,2 Millionen US-Dollar wird über das Software and Hardware Foundations-Programm der National Science Foundation bereitgestellt und über vier Jahre verteilt. Misailovic ist Co-Ermittler.

Softwareentwickler bewerten ihre Arbeit, indem sie sich vorstellen, wie sich ihr Code möglicherweise schlecht verhält oder falsche Antworten zurückgibt, und Testfälle schreiben, die diese Bedingungen schaffen, was Zeit von der eigentlichen Entwicklung wegnimmt. Entwickler stellen möglicherweise auch fest, dass ihre Testfälle fehlschlagen, obwohl der Code wie vorgesehen funktioniert. Diese sogenannten „flaky“ Tests können Entwickler auf wilde Verfolgungsjagden versetzen, die noch mehr Zeit in Anspruch nehmen und Zweifel an der gültigen Arbeit aufkommen lassen.

Die Forscher untersuchen den Einsatz natürlicher Sprachverarbeitung, mit der Eingabeaufforderungen oder Kommentare in menschlicher Sprache in Testcode umgewandelt werden können. Misailovic ist daran interessiert, Modelle zur Generierung von Tests zu entwickeln, die Fehler in Software für maschinelles Lernen aufdecken und Testcode modifizieren, um „Flakiness“ zu vermeiden. Er wird auf der Arbeit aufbauen, die er mit dem ehemaligen Doktoranden Saikat Dutta begonnen hat, der nächstes Jahr als Assistenzprofessor für Informatik an der Cornell University beginnen wird.

„Zum Beispiel können die bei der Programmausführung generierten Daten eine leistungsstarke Ergänzung zur Verarbeitung natürlicher Sprache sein, da Flockigkeit nicht allein anhand des Programmcodes mit Sicherheit vorhergesagt werden kann“, sagte Misailovic. „Wenn zusätzliche Ausführungsdaten in NPL4Test integriert würden, könnten Entwickler Fragen stellen wie „Hier ist ein Code, den ich geschrieben habe, und ein Test, der fehlgeschlagen ist.“ Liegt der Fehler an einem Fehler oder einer Flakigkeit? und „Was ist der beste Weg, um mit der Fehlerbehebung dieses Problems zu beginnen?“

Durch die Untersuchung dieser Probleme werden die Forscher über eine Reihe von Techniken verfügen, die Testcode generieren, um die Zuverlässigkeit von Software für maschinelles Lernen zu verbessern und ein besseres Verständnis für die Beurteilung der Flockenbildung zu vermitteln.

Misailovics Mitarbeiter an der UT Austin, der Informatikprofessor Milos Gligoric und die Linguistikprofessoren Jessy Li und Kyle Mahowald, haben zuvor die Anwendung der Verarbeitung natürlicher Sprache und der Softwareentwicklung untersucht. Sie beziehen nun aktuelle Entwicklungen in der Verarbeitung natürlicher Sprache in alle Phasen des Softwaretests ein.

Diese Geschichte wurde am 29. August 2023 veröffentlicht.