Was ist metamorphes Testen?

Entwickler nutzen metamorphes Testen als innovativen Ansatz in der Software-Qualitätssicherung, insbesondere wenn traditionelle Testmethoden an ihre Grenzen stoßen. Entwickler definieren bei klassischen Tests oft einen Satz von Eingabedaten und legen bekannte erwartete Ausgaben fest. Bei KI-Systemen, insbesondere solchen, die nicht-deterministische oder datengetriebene Prozesse nutzen, ist es jedoch schwierig, solche erwarteten Ergebnisse im Voraus zu definieren.

Metamorphes Testen bietet hier eine Alternative. Es konzentriert sich nicht auf die absolute Richtigkeit einzelner Ausgaben. Stattdessen untersucht die Methode sogenannte metamorphe Beziehungen zwischen Eingaben und Ausgaben. Metamorphe Beziehungen zeigen, wie sich die Ausgabe eines Systems ändert, wenn die Eingabe angepasst wird.

Beispiel: Metamorphes Testen in der KI

Ein einfaches Beispiel verdeutlicht die Idee. Betrachten wir ein KI-System zur Bilderkennung, das darauf trainiert wurde, Objekte in Bildern zu identifizieren:

• Ursprüngliche Eingabe: Ein Bild einer Katze wird dem System vorgelegt, und die Ausgabe lautet „Katze“.
• Modifizierte Eingabe: Das gleiche Bild wird horizontal gespiegelt. Die metamorphe Beziehung würde vorschreiben, dass die Ausgabe weiterhin „Katze“ lauten muss, da das Spiegeln die Objektklasse nicht ändert.

Eine falsche Ausgabe deckt Schwachstellen im System auf.

Vorteile des metamorphen Testens

1. Erkennung von Fehlern in Black-Box-Systemen: Viele KI-Modelle sind Black-Box-Systeme, deren interne Logik schwer nachvollziehbar ist. Metamorphes Testen erfordert keine Kenntnisse über den internen Aufbau des Modells.
2. Testen ohne bekannte Ergebnisse: Selbst wenn keine Referenzwerte oder erwarteten Ergebnisse für die ursprüngliche Eingabe existieren, können metamorphe Beziehungen genutzt werden, um das Verhalten des Systems zu validieren.
3. Anwendung bei datengetriebenen Modellen: Metamorphes Testen eignet sich hervorragend für Modelle, die auf probabilistischen oder datengetriebenen Prozessen basieren, wie es bei vielen KI-Anwendungen der Fall ist.

Herausforderungen beim Einsatz

Entwickler stoßen trotz der Vorteile des metamorphen Testens auf Herausforderungen:

• Definition geeigneter metamorpher Beziehungen: Entwickler müssen sinnvolle und relevante metamorphe Beziehungen definieren, um die Wirksamkeit des Ansatzes sicherzustellen. Dies erfordert oft ein tiefes Verständnis des Anwendungsbereichs und der zugrunde liegenden Daten.
• Automatisierung: Die Automatisierung von Testszenarien und die Integration in bestehende Entwicklungsprozesse sind oft komplex und ressourcenintensiv.

Fazit

Metamorphes Testen ist ein vielversprechender Ansatz, um die Qualität und Zuverlässigkeit von KI-Systemen sicherzustellen. Indem es sich auf die Beziehungen zwischen Eingaben und Ausgaben konzentriert, bietet es eine Möglichkeit, auch in Szenarien ohne klare erwartete Ergebnisse Fehler aufzudecken. Dennoch erfordert der Erfolg dieses Ansatzes eine sorgfältige Planung und eine fundierte Kenntnis der Anwendungsdomäne. In einer Zeit, in der KI-Systeme zunehmend in sicherheitskritischen Bereichen eingesetzt werden, kann metamorphes Testen zu einem unverzichtbaren Werkzeug der Software-Qualitätssicherung werden.

Der Beitrag Metamorphes Testen – Qualitätssicherung für KI erschien zuerst auf CEOsBay.

Definition des Bedingungsüberdeckungstests

Der Bedingungsüberdeckungstest, oft auch „Condition Coverage“ genannt, fokussiert sich auf die verschiedenen Bedingungen innerhalb einer Entscheidungsstruktur. Er zielt darauf ab, sicherzustellen, dass jede Bedingung mindestens einmal sowohl wahr als auch falsch getestet wird. Dies ermöglicht eine tiefgehende Analyse und stellt sicher, dass alle Bedingungszweige im Code überprüft werden.

Der Bedingungsüberdeckungstest gehört zu den Whitebox-Testmethoden. Bei Whitebox-Tests, auch als strukturbasierte oder gläserne Kasten-Tests bezeichnet, liegt der Fokus auf der internen Struktur des Codes. Der Tester hat vollen Einblick in den Quellcode und entwirft Testfälle basierend auf der inneren Logik und Struktur der Software.

Der Bedingungsüberdeckungstest speziell konzentriert sich darauf, dass jede einzelne Bedingung im Code sowohl wahr als auch falsch getestet wird. Damit untersucht er die internen Entscheidungsstrukturen und gewährleistet, dass alle möglichen Bedingungspfade abgedeckt sind.

Im Gegensatz dazu stehen Blackbox-Tests, bei denen der Tester keinen Einblick in den internen Code hat. Bei diesen Tests konzentriert man sich auf die Funktion der Software und darauf, ob sie die erwarteten Ergebnisse liefert, basierend auf den gegebenen Eingaben. Hierbei bleibt die innere Arbeitsweise der Software verborgen.

Entstehung des Bedingungsüberdeckungstests

Die wachsende Komplexität von Software-Systemen im Laufe der Zeit erforderte verbesserte Testmethoden. Während der Anweisungsüberdeckungstest sicherstellt, dass jede Anweisung ausgeführt wird, ging man mit dem Bedingungsüberdeckungstest einen Schritt weiter. Hier legt man den Fokus nicht nur auf die Anweisungen, sondern auch darauf, wie sie ausgeführt werden, abhängig von den gegebenen Bedingungen.

Effektives Vorgehen beim Bedingungsüberdeckungstest

1. Identifizierung der Entscheidungen: Zunächst identifiziert man alle Entscheidungsstrukturen im Code, wie z.B. if-, while- oder for-Statements.
2. Aufschlüsselung der Bedingungen: Jede Entscheidung kann mehrere Bedingungen haben. Diese Bedingungen trennt man und testet sie individuell.
3. Erstellung der Testfälle: Für jede identifizierte Bedingung entwickelt man Testfälle, die diese Bedingung sowohl wahr als auch falsch machen.
4. Ausführung und Auswertung: Nachdem die Testfälle entwickelt sind, führt man sie aus und wertet die Ergebnisse aus, um sicherzustellen, dass alle Bedingungen abgedeckt sind.

Beispiele für den Einsatz des Bedingungsüberdeckungstests

Beispiel 1: Ein einfaches If-Statement

if (A && B) {
    // Code
}

Hier gibt es zwei Bedingungen: A und B. Um eine vollständige Bedingungsüberdeckung zu gewährleisten, benötigt man Testfälle für:

• A = wahr, B = wahr
• A = wahr, B = falsch
• A = falsch, B = wahr
• A = falsch, B = falsch

Beispiel 2: Ein zusammengesetztes Statement

if (A && (B || C)) {
    // Code
}

Hier identifiziert man drei Bedingungen: A, B und C. Es ergeben sich diverse Testfälle, um sicherzustellen, dass jede Bedingung sowohl wahr als auch falsch getestet wird.

Interaktiv – Bedingungsüberdeckungstest mit einer Wetter-App

Bedienungsanleitung:

1. In das Feld „Stadt“ den Namen „München“ eingeben.
2. Zwischen „Aktueller Wetterbericht“ und „Wettervorhersage“ wählen, um den gewünschten Wettertyp zu bestimmen.
3. Auf „Prüfen“ klicken.
4. Die resultierende Ausgabe betrachten. Bei korrekter Eingabe erscheint entweder der aktuelle Wetterbericht oder die Wettervorhersage für München. Bei einer anderen Stadt zeigt eine Nachricht an, dass die Anwendung die Stadt nicht in der Datenbank finden kann. Wenn kein Wettertyp ausgewählt ist, erscheint eine Aufforderung zur Auswahl.

Fazit

Der Bedingungsüberdeckungstest stellt ein leistungsstarkes Werkzeug dar, um die Qualität von Software zu sichern. Indem man jede Bedingung gründlich testet, minimiert man das Risiko unentdeckter Fehler und gewährleistet eine robustere Anwendung. Es empfiehlt sich, diesen Test in Kombination mit anderen Testmethoden anzuwenden, um ein umfassendes Testniveau zu erreichen.

Der Beitrag Bedingungsüberdeckungstest – Jeden Codepfad analysieren und optimieren erschien zuerst auf CEOsBay.

Was ist Schlüsselwortgetriebenes Testing?

Beim Schlüsselwortgetriebenen Testing handelt es sich um einen Ansatz der Testautomatisierung, bei der man Testfälle nicht direkt im Code, sondern durch die Kombination von Schlüsselwörtern oder Befehlen definiert. Diese Schlüsselwörter repräsentieren typischerweise Aktionen, die man auf einem System oder einer Anwendung ausführt, wie z.B. „Klicke Button“, „Gebe Text ein“ oder „Überprüfe Wert“.

Die Geschichte des Schlüsselwortgetriebenen Testings

Die Anfänge des Schlüsselwortgetriebenen Testings liegen in den 1990er Jahren. Damals suchten Tester nach Wegen, den Testprozess zu beschleunigen und zu vereinfachen. Der Hauptvorteil dieses Ansatzes besteht darin, dass nicht technisch versierte Personen Testfälle definieren können, ohne tiefe Programmierkenntnisse zu besitzen. Das fördert die Zusammenarbeit zwischen technischen und nicht-technischen Teams und beschleunigt den gesamten Testprozess.

Wie geht man Schlüsselwortgetriebenes Testing an?

1. Definition von Schlüsselwörtern: Zuerst legt das Team eine Bibliothek von Schlüsselwörtern an, die verschiedene Aktionen und Überprüfungen repräsentieren.
2. Erstellung von Testfällen: Anschließend erstellen Tester Testfälle durch Kombination dieser Schlüsselwörter in der richtigen Reihenfolge.
3. Automatisierung: Ein Framework oder Tool liest diese Testfälle und führt die entsprechenden Aktionen in der Anwendung oder dem System durch.
4. Ergebnisüberprüfung: Nach Ausführung des Tests erhält das Team Berichte über die Ergebnisse und eventuelle Fehler oder Abweichungen.

Beispiele für den Einsatz des Schlüsselwortgetriebenen Testings

• Web-Anwendungen: Beim Testen von Online-Shops könnten Schlüsselwörter wie „Wähle Produkt“, „Füge zum Warenkorb hinzu“ und „Bestätige Kauf“ zum Einsatz kommen.
• Mobile Apps: In einer Wetter-App kann man Schlüsselwörter wie „Suche Stadt“, „Zeige Vorhersage“ und „Aktualisiere Daten“ definieren.
• Desktop-Anwendungen: Bei einem Textverarbeitungsprogramm könnte man Aktionen wie „Öffne Datei“, „Bearbeite Text“ und „Speichere Änderungen“ durch Schlüsselwörter abdeckten.

Welche Software kann man dafür nutzen?

Für das Schlüsselwortgetriebene Testing gibt es verschiedene Softwarelösungen und Frameworks, die man je nach Anwendungsfall und Vorlieben wählen kann. Hier sind einige der bekanntesten und am häufigsten genutzten Lösungen:

1. Selenium: Ein beliebtes Open-Source-Tool für das Testen von Webanwendungen. Mit Frameworks wie Robot Framework oder Data-Driven Testing können Tester schlüsselwortgetriebene Tests in Selenium implementieren.
2. Robot Framework: Dieses Testautomatisierungs-Framework unterstützt schlüsselwortgetriebenes Testing direkt und kann mit verschiedenen Bibliotheken, einschließlich Selenium, integriert werden.
3. TestComplete: Eine kommerzielle Lösung von SmartBear, die das Erstellen von schlüsselwortgetriebenen Tests erleichtert und eine visuelle Benutzeroberfläche bietet.
4. QTP/UFT (Unified Functional Testing) von Micro Focus: Dieses Tool bietet eine intuitive Möglichkeit, schlüsselwortgetriebene Tests zu erstellen und zu verwalten.
5. Ranorex: Ein weiteres kommerzielles Tool, das sich gut für das schlüsselwortgetriebene Testing eignet. Es bietet eine Benutzeroberfläche, die das Erstellen und Verwalten von Tests vereinfacht.
6. Katalon Studio: Eine All-in-One-Testautomatisierungslösung, die sowohl schlüsselwortgetriebene als auch datengetriebene Ansätze unterstützt.
7. Tosca von Tricentis: Eine führende End-to-End-Testautomatisierungsplattform, die speziell für Continuous Testing entwickelt wurde und einen starken Fokus auf schlüsselwortgetriebenes Testing hat. (Ich habe hier einen Beitrag über Tosca von Tricentis geschrieben.)

Bei der Auswahl der richtigen Software für das schlüsselwortgetriebene Testing sollte man die spezifischen Anforderungen des Projekts, das Budget und die gewünschten Integrationen berücksichtigen. Es empfiehlt sich, die Tools zuerst in einem Proof-of-Concept zu testen, um ihre Eignung für die speziellen Anforderungen und den Kontext zu überprüfen.

Fazit

Schlüsselwortgetriebenes Testing optimiert den Testprozess und ermöglicht es auch nicht-technischen Teams, sich aktiv an der Qualitätssicherung zu beteiligen. Durch den effizienten und modularen Ansatz eignet sich diese Methode für eine Vielzahl von Anwendungen und Projekten.

Der Beitrag Schlüsselwortgetriebenes Testing erschien zuerst auf CEOsBay.

Definition von Testabdeckung

Die Testabdeckung, oft auch Codeabdeckung oder Code-Coverage genannt, quantifiziert den Anteil des Softwarecodes, den Tests während ihrer Ausführung tatsächlich „abdecken“. In anderen Worten: Es misst, welcher Prozentsatz des Codes durch Tests geprüft wird.

Historischer Kontext

Obwohl der genaue Ursprung der Testabdeckung schwer zu bestimmen ist, begann die Idee in den 1960er und 1970er Jahren an Bedeutung zu gewinnen. Mit der wachsenden Komplexität der Software erkannten Entwickler die Notwendigkeit, zu verstehen, welchen Teil ihres Codes sie tatsächlich testeten.

Warum Testabdeckung wichtig ist

Die Testabdeckung dient mehreren Zwecken:

• Qualitätssicherung: Sie zeigt, welche Teile des Codes noch nicht durch Tests abgedeckt sind.
• Fehlererkennung: Nicht abgedeckter Code birgt das Risiko verborgener Fehler.
• Optimierung: Entwickler können ihre Teststrategien anhand der Testabdeckungsdaten anpassen.

Messung der Testabdeckung

Es gibt verschiedene Methoden, um die Testabdeckung zu messen:

• Anweisungsabdeckung: Misst, die tatsächlich ausgeführten Anweisungen im Code.
• Zweigabdeckung: Berücksichtigt die verschiedenen Pfade, die durch eine Anweisung (z. B. eine if-Anweisung) entstehen können.
• Bedingungsabdeckung: Fokussiert sich darauf, wie man unterschiedliche Bedingungen (true/false) innerhalb einer Anweisung testet.

Beispiel: Ein einfacher Code-Ausschnitt in JAVA könnte folgendermaßen aussehen:

public class Calculator {
    public String checkNumber(int num) {
        if (num > 0 && num < 10) {
            return "Einzelne Ziffer und positiv";
        } else {
            return "Nicht erlaubt";
        }
    }

    public static void main(String[] args) {
        Calculator calc = new Calculator();
        System.out.println(calc.checkNumber(5));
    }
}

In dieser checkNumber Methode überprüfen wir, ob eine Zahl sowohl größer als 0 als auch kleiner als 10 ist.

Für eine vollständige Bedingungsabdeckung müssten wir folgende Testszenarien betrachten:

1. Ein Szenario, in dem num größer als 0 ist, aber nicht kleiner als 10. Zum Beispiel: checkNumber(15)
2. Ein Szenario, in dem num nicht größer als 0 ist, aber kleiner als 10. Zum Beispiel: checkNumber(-5)
3. Ein Szenario, in dem num sowohl größer als 0 als auch kleiner als 10 ist. Zum Beispiel: checkNumber(5)
4. Ein Szenario, in dem num weder größer als 0 noch kleiner als 10 ist. Zum Beispiel: checkNumber(-15)

Durch diese Testszenarien stellen wir sicher, dass beide Bedingungen (num > 0 und num < 10) sowohl wahr als auch falsch getestet werden, wodurch die Bedingungsabdeckung erreicht wird.

Beispiel: Ein einfacher Code-Ausschnitt in JavaScript könnte so aussehen:

function evaluateNumber(num) {
    if (num > 0 && num < 10) {
        return "Single digit and positive";
    } else {
        return "Not allowed";
    }
}

console.log(evaluateNumber(5));

In der Funktion evaluateNumber überprüfen wir, ob eine Zahl sowohl größer als 0 als auch kleiner als 10 ist.

Für eine vollständige Bedingungsabdeckung müssten wir folgende Testszenarien betrachten:

1. Ein Szenario, in dem num größer als 0 ist, aber nicht kleiner als 10. Zum Beispiel: evaluateNumber(15)
2. Ein Szenario, in dem num nicht größer als 0 ist, aber kleiner als 10. Zum Beispiel: evaluateNumber(-5)
3. Ein Szenario, in dem num sowohl größer als 0 als auch kleiner als 10 ist. Zum Beispiel: evaluateNumber(5)
4. Ein Szenario, in dem num weder größer als 0 noch kleiner als 10 ist. Zum Beispiel: evaluateNumber(-15)

Durch diese Testszenarien stellen wir sicher, dass beide Bedingungen (num > 0 und num < 10) sowohl wahr als auch falsch getestet werden, wodurch die Bedingungsabdeckung erreicht wird.

Es sei angemerkt, dass man in der Praxis spezielle Test-Frameworks wie Jest oder Mocha zum Schreiben und Ausführen von Tests in JavaScript verwendet. Diese Frameworks bieten oft integrierte Funktionen zur Messung der Testabdeckung.

Beispiel: Ein einfacher Code-Ausschnitt in Python könnte so aussehen:

def add(a, b): if a > 0 and b > 0: return a + b else: return "Negative Zahlen sind nicht erlaubt."

Bei der Anweisungsabdeckung würde man prüfen, ob beide Anweisungen (return a + b und return "Negative Zahlen sind nicht erlaubt.") in den Tests vorkommen. Bei Zweigabdeckung würde man sicherstellen, dass sowohl der wahre als auch der falsche Zweig der if-Anweisung getestet werden. Bei Bedingungsabdeckung würde man jeden der Bedingungen (a > 0 und b > 0) einzeln testen.

Testabdeckungswerkzeuge

Zum Messen der Testabdeckung nutzen Entwickler spezielle Tools, beispielsweise „JaCoCo“ für Java oder „coverage.py“ für Python. Diese Werkzeuge analysieren den Code, führen die Tests aus und berichten, welche Teile des Codes durch Tests abgedeckt sind und welche nicht.

Hier sind noch ein paar weitere Testabdeckungswerkzeuge, die man in verschiedenen Programmiersprachen und Umgebungen häufig verwendet:

LCov – besonders beliebt in C/C++ Umgebungen.

Istanbul (nyc) – für JavaScript, besonders beliebt bei Node.js-Projekten.

DotCover – für .NET Anwendungen.

Clover – ursprünglich von Atlassian entwickelt, für Java und Groovy.

Cobertura – ein weiteres Tool für Java-Projekte.

Emma – für Java, wird allerdings nicht mehr aktiv weiterentwickelt.

gcov – ein Tool, das mit dem GNU Compiler Collection (GCC) kommt und C/C++ unterstützt.

Slather – für Projekte, die in Objective-C geschrieben sind.

SimpleCov – für Ruby, häufig in Rails-Projekten verwendet.

PHP_CodeCoverage – verwendet in Tools wie PHPUnit für PHP-Projekte.

SonarQube – ist kein Testabdeckungswerkzeug im klassischen Sinn. Es bietet in der Tat Funktionalitäten zur Messung und Darstellung von Testabdeckungsdaten. Jedoch ist es wichtig zu beachten, dass SonarQube nicht selbst die Tests ausführt oder die Abdeckungsdaten generiert. Stattdessen integriert es sich mit bestehenden Testabdeckungswerkzeugen und –frameworks, sammelt deren Ergebnisse und präsentiert sie dann in seinem Dashboard. Doch darüber habe ich bereits einen Artikel geschrieben.

Einrichtung und Nutzung

Die genauen Schritte zur Einrichtung und Nutzung von Testabdeckungswerkzeugen variieren je nach Tool und Programmiersprache. Allgemein folgt man jedoch diesen Schritten:

1. Installieren des entsprechenden Testabdeckungswerkzeugs.
2. Konfigurieren der Einstellungen, um den Code und die Tests zu berücksichtigen.
3. Ausführen der Tests mithilfe des Werkzeugs.
4. Analyse der Berichte, um die Testabdeckung zu bestimmen und Verbesserungsbereiche zu identifizieren.

Fazit

Die Testabdeckung bietet einen unschätzbaren Einblick in die Qualität und Zuverlässigkeit von Softwareprojekten. Durch die konsequente Anwendung und Analyse der Testabdeckung schaffen Entwickler eine solide Grundlage für hochwertige und fehlerfreie Software.

Der Beitrag Testabdeckung – Überlasse nichts dem Zufall erschien zuerst auf CEOsBay.