Mit einem von der Natur abgeschauten Rechenverfahren kann Software schneller getestet werden

Automatische Softwaretests sind zwar möglich, werden aber unter anderem deswegen nicht eingesetzt, weil sie die Programmierer zu oft auf eine falsche Fährte führen. Informatiker der Universität des Saarlandes haben ein Softwaresystem entwickelt, das automatisches Testen ohne Fehlalarme ermöglicht.

Mithilfe eines genetischen Algorithmus simuliert es so lange Benutzereingaben, bis das Programm vollständig überprüft ist. Ihre Ergebnisse stellen die Forscher auf der Cebit (F 34,Halle 26) vor. Die Computermesse findet vom 6. bis 10. März in Hannover statt.

Heutige Computergramme bestehen aus Hunderttausenden von Programmzeilen. Eine einzige fehlerhafte Anweisung darin kann bereits das Programm unbrauchbar machen. Solche Programmierfehler zu finden, ist äußerst zeitaufwendig und damit sehr kostenintensiv. Entwickler behelfen sich damit, dass sie ihren Code in überschaubare Stücke, also einzelne Komponenten, aufteilen und diese separat testen. Diese Tests jedoch so gründlich durchzuführen, dass so viele Fehler wie nur möglich erkannt werden, ist sehr mühsam. Solche Testfälle können zwar schon automatisch generiert werden, doch die Programmierer misstrauen diesen, da sie zu viele Fehlalarme produzieren. Informatiker der Universität des Saarlandes bestätigen dies in einer Studie. Solche Tests beschrieben oft für die jeweilige Komponente einen Fall, der bei einer realen Ausführung des Programms nie auftreten würde, so die Forscher.
„Man kann das mit einem IKEA-Regal vergleichen, das aus vielen einzelnen Teilen besteht. Neben Schrauben und Dübeln gehören Bretter und Böden verschiedener Formate dazu. Richtig zusammengesteckt ergeben diese ein Regal. Bestehende Testwerkzeuge würden diese einzelnen Komponenten unabhängig voneinander analysieren“, erklärt Florian Groß, Doktorand am Lehrstuhl für Softwaretechnik. Eine denkbare Falschmeldung wäre dann zum Beispiel: „Drei vertikal gestapelte Regalböden ergeben einen Systemabsturz”, obwohl Regalböden im fertigen Regal nie vertikal gestapelt werden. Ein echter Fehler hingegen wäre die Variante: „Es fehlt eine Schraube. Die Böden im Regal sind schräg. Bücher rutschen herunter.”

Florian Groß untersuchte zusammen mit Professor Andreas Zeller und Gordon Fraser 181 Testfälle, die das frei erhältliche Werkzeug „Randoop“ für fünf in der Programmiersprache Java geschriebene Programme erzeugt hatte. „Sie alle schlugen Fehlalarm. Den herkömmlichen Entwickler kostet es dann weitaus mehr Aufwand und Nerven, solche falschen Fehler zu entlarven“, so Groß. Die Saarbrücker Informatiker setzen daher darauf, die Testfälle nicht für Komponenten, sondern für Systemschnittstellen wie die grafische Benutzeroberfläche zu generieren. Da der Anwender darüber das Programm bedient, muss dieses unter jeder denkbaren Eingabe fehlerfrei funktionieren. „Das bedeutet im Umkehrschluss, dass jede auf diese Art aufgedeckte Fehlfunktion auch auf einen echten Fehler hindeutet“, erklärt Groß und fügt hinzu, dass sich dieser durch eine geringe Anzahl von Bedienschritten beschreiben lasse, was ihn wiederum leicht nachvollziehbar und leicht wiederholbar mache.

Wie das aussehen könnte, zeigt der Prototyp des Systems, den die Forscher aufgrund ihres Ansatzes „Explorative System Testing“, abgekürzt „Exsyst“, getauft haben. Er präsentiert die Bedienoberfläche des zu testenden Programms und lässt wie von Geisterhand Textfragmente eingeben und Bedienelemente anklicken. Darüber zeigen ein grüner Fortschrittsbalken und eine zweistellige Ziffer an, wieviel Prozent des Programmcodes bereits getestet wurden. Ein genetischer Algorithmus macht dies möglich. „Er funktioniert ähnlich wie die biologische Evolution. Eine Menge von Testfällen wird zufällig erzeugt. Daraus werden diejenigen ausgewählt, die als sinnvoll erscheinen. Das System verändert sie geringfügig und kombiniert sie miteinander, um eine neue Generation von Benutzereingaben zu erzeugen“, erläutert der Informatiker. Diese und folgende Generationen müssen dann ebenfalls Auslese und Rekombination über sich ergehen lassen.

Dabei stellen die Forscher über eine spezielle Optimierungsfunktion sicher, dass ein maximaler Anteil des Programmcodes getestet wird. Aufgedeckte Fehlfunktionen werden an den Entwickler weitergegeben. „Wir erreichen damit eine bessere Codeabdeckung als herkömmliche Methoden zur Testfallgenerierung“, sagt Florian Groß. Dieses Ergebnis habe nicht nur die Saarbrücker Forscher, sondern auch weitere Experten auf diesem Gebiet überrascht. „Aber was noch viel wichtiger ist: Wir reduzieren Informationsüberfluss. Der Entwickler kann sich daher auf die Programmier-Probleme beschränken, die wirklich wichtig sind“, so Groß.

In ihrem bald erscheinenden Fachaufsatz „Exploring Realistic Program Behavior“ deuten sie bereits Erweiterungen von Exsyst an, die Entwickler noch besser bei der Fehlersuche unterstützen können. Momentan arbeiten sie daran Exsyst in das frei verfügbare Testwerkzeug „Evosuite“ zu integrieren.
Weitere Fragen beantworten:

Florian Groß
Lehrstuhl für Softwaretechnik
Universität des Saarlandes
E-Mail: fgross@st.cs.uni-saarland.de
Tel.: 0681 302-70143

Gordon Bolduan
Wissenschaftskommunikation
Exzellenzcluster „Multimodal Computing and Interaction“
Tel: 0681 302-70741
Stand-Telefon Cebit: 0511 89597046
E-Mail: bolduan@mmci.uni-saarland.de

Pressefotos: www.uni-saarland.de/pressefotos
Hinweis für Hörfunk-Journalisten
Sie können Telefoninterviews in Studioqualität mit Wissenschaftlern und Studenten der Universität des Saarlandes führen, über Rundfunk-ISDN-Codec. Interviewwünsche bitte an die Pressestelle (0681/302-3610) richten.