ISO/IEC/IEEE 29119 Software Testing-Standards

Die ISO/IEC/IEEE 29119-Normenreihe legt Standards für Software-Testing fest, inklusive Praktiken für Testprozesse, Testdokumentation, Testtechniken und Begrifflichkeiten. Die Anwendung dieser Standards gewährleistet Konsistenz, Transparenz und Effektivität im Testprozess.

Bestandteile Testabschlussbericht nach ISO/IEC/IEEE 29119

1. Executive Summary

Der Bericht beginnt mit einer Zusammenfassung der wichtigsten Ergebnisse und Erkenntnisse. Diese sollte knapp und prägnant die durchgeführten Tests, die Hauptergebnisse und die daraus resultierenden Empfehlungen umfassen.

2. Testumfang

Dieser Abschnitt dokumentiert den Umfang der Testaktivitäten, inklusive der getesteten und nicht getesteten Bereiche der Software. Er erläutert auch die Gründe für die Auswahl des Testumfangs.

3. Testziele

Hier definiert man die Ziele des Testprozesses, wie beispielsweise die Überprüfung der Funktionalität, der Leistung, der Sicherheit oder der Benutzerfreundlichkeit.

4. Testmethoden und -tools

Dieser Teil stellt die verwendeten Testmethoden und -tools vor und erläutert die Gründe für ihre Auswahl.

5. Testergebnisse

Die Testergebnisse präsentiert man hier in einer klaren und verständlichen Form. Der Bericht sollte sowohl die erfüllten als auch die nicht erfüllten Anforderungen auflisten und gegebenenfalls die Gründe für das Scheitern von Tests erläutern.

6. Gefundene Fehler und deren Status

Alle während der Tests gefundenen Fehler sollte man in diesem Abschnitt auflisten, inklusive des aktuellen Status jedes Fehlers (behoben, nicht behoben, in Bearbeitung).

7. Bewertung der Software-Qualität

Auf Grundlage der Testergebnisse und der gefundenen Fehler bewertet man die Qualität der Software und gibt an, inwiefern man die Testziele erreicht oder eben nicht erreicht hat.

8. Empfehlungen und nächste Schritte

Hier formuliert man Empfehlungen für die Freigabe der Software und für zukünftige Testaktivitäten.

9. Anhänge und Referenzen

Relevante Anhänge und Referenzen, die für ein umfassendes Verständnis des Berichts notwendig sind, fügt man in diesem Abschnitt hinzu.

Praktische Beispiele und Tipps zum Testabschlussbericht

Um den Testabschlussbericht effektiv zu gestalten, empfiehlt es sich, klare und verständliche Formulierungen zu verwenden und visuelle Elemente wie Tabellen oder Diagramme einzusetzen. So könnte man beispielsweise eine Tabelle zur Darstellung der Testergebnisse oder ein Balkendiagramm zur Visualisierung des Fehlerstatus verwenden.

Beispiel-Tabelle zur Darstellung von Testergebnissen

Beispiel-Balkendiagramm zur Visualisierung des Fehlerstatus

Fehlerstatus

Fazit

Ein Testabschlussbericht gemäß den ISO/IEC/IEEE 29119-Standards zu erstellen, stellt sicher, dass alle relevanten Aspekte des Testprozesses detailliert dokumentiert und bewertet werden. Dies fördert Transparenz, Konsistenz und Effektivität im Software-Testing und liefert wertvolle Erkenntnisse für die Entscheidungsfindung und für zukünftige Projekte.

Der Beitrag Testabschlussbericht – Basierend auf ISO/IEC/IEEE 29119 erschien zuerst auf CEOsBay.

Was ist Anweisungsüberdeckung?

Anweisungsüberdeckung ist eine Metrik im Software Testing, die den Anteil des Quellcodes misst, den die durchgeführten Tests abdecken. Die Berechnung erfolgt durch das Verhältnis der ausgeführten Anweisungen zur Gesamtzahl der Anweisungen im Code. Das Ziel besteht darin, einen hohen Überdeckungsgrad zu erreichen, um sicherzustellen, dass der Code umfassend getestet wurde, potenzielle Fehler und Schwachstellen somit aufgedeckt werden.

Historischer Hintergrund

Die Anweisungsüberdeckung entstand in der Software-Entwicklung der 1960er und 1970er Jahre als Antwort auf die steigende Komplexität von Software-Systemen. Neue Methoden für die Überprüfung und Validierung von Software wurden notwendig, und so entwickelten sich verschiedene Formen der Code-Überdeckung. Die Anweisungsüberdeckung hat sich dabei als eine der grundlegenden und am weitesten verbreiteten Techniken etabliert.

Anwendung der Anweisungsüberdeckung

Für eine effektive Anweisungsüberdeckung ist die Auswahl repräsentativer Testfälle entscheidend. Diese Testfälle sollten alle Teile des Codes abdecken. Nach ihrer Anwendung auf den Code erfolgt die Messung des Überdeckungsgrads durch spezielle Tools. Die Ergebnisse zeigen auf, welche Teile des Codes getestet wurden und welche noch ungetestet sind. Basierend auf dieser Analyse verbessern Entwickler die Testfälle und optimieren die Testabdeckung.

Praktische Beispiele

Ein anschauliches Beispiel für die Anwendung bietet ein Programm zur Berechnung der Fakultät einer Zahl. Der Code beinhaltet verschiedene Anweisungen, inklusive Schleifen und bedingten Anweisungen. Verschiedene Testfälle, die sowohl gültige als auch ungültige Eingaben berücksichtigen, helfen dabei, den Überdeckungsgrad des Codes zu messen und zu optimieren.

Interaktiver Fakultätsrechner

Bedienungsanleitung: Fakultätsrechner

Der Fakultätsrechner ermöglicht die einfache Berechnung der Fakultät einer eingegebenen Zahl. Die Fakultät einer Zahl definiert sich als das Produkt aller positiven ganzen Zahlen bis zu dieser Zahl. Beispielsweise ergibt die Fakultät von 5 (5!) das Produkt 5 * 4 * 3 * 2 * 1 = 120.

Anwendung des Fakultätsrechners:

1. Zahl eingeben: Im vorgesehenen Eingabefeld, markiert mit „Geben Sie eine Zahl ein:“, erfolgt die Eingabe der Zahl, deren Fakultät zu berechnen ist. Zu beachten ist, dass es sich um eine nicht-negative ganze Zahl handeln sollte.
2. Berechnung initiieren: Durch einen Klick auf den „Berechnen“-Button, positioniert direkt unterhalb des Eingabefeldes, startet die Berechnung.
3. Ergebnis einsehen: Unmittelbar nach der Betätigung des „Berechnen“-Buttons erscheint das Ergebnis unterhalb desselben. Es zeigt sich in Form eines Satzes wie „Die Fakultät von [eingegebene Zahl] ist [Ergebnis].“
4. Fehler: Bei Eingabe einer ungültigen Zahl (z.B. einer negativen Zahl oder einer Nicht-Zahl)

Zusätzliche Hinweise:

• Der Rechner verarbeitet ausschließlich ganze Zahlen. Dezimalzahlen oder andere Zeichen gelten als ungültig.
• Die Fakultät von 0 beträgt immer 1, entsprechend der mathematischen Definition.
• Bei Eingabe sehr großer Zahlen ist Vorsicht geboten, da die Berechnung der Fakultät rasch zu extrem hohen Werten führen und dies einen Überlauf verursachen kann.

Vorteile und Grenzen der Anweisungsüberdeckung

Die Anweisungsüberdeckung bietet zahlreiche Vorteile, darunter eine verbesserte Codequalität und die Identifizierung ungetesteter Codebereiche. Zudem unterstützt sie bei der Einhaltung von Compliance-Anforderungen. Allerdings garantiert ein hoher Überdeckungsgrad nicht automatisch eine hohe Codequalität oder die Entdeckung aller Fehler.

Welche Software kann dafür genutzt werden?

Die Überwachung und Analyse der Anweisungsüberdeckung ist ein entscheidender Teil des Software-Testprozesses. Verschiedene Werkzeuge stehen zur Verfügung, um Entwicklern bei dieser Aufgabe zu helfen. Hier sind einige der populärsten:

• JaCoCo (Java Code Coverage): Ein weitverbreitetes Tool für Java-Anwendungen, das sich in Maven und Gradle Projekte integrieren lässt und detaillierte Berichte über die Testabdeckung erstellt. (Siehe meinen Beitrag über JaCoco)
• Istanbul: Eine populäre Wahl für JavaScript-Anwendungen, die mit verschiedenen Test-Frameworks wie Mocha und Jest arbeiten kann.
• Cobertura: Ein weiteres Tool für Java, das aus dem JUnit Test Framework heraus funktioniert und umfassende Berichte über die Codeabdeckung erstellt.
• gcov: Ein Tool, das mit GCC (GNU Compiler Collection) zusammenarbeitet, um Codeabdeckungsinformationen für C, C++ und Fortran Programme zu liefern.
• dotCover: Ein Code-Abdeckungswerkzeug von JetBrains für .NET-Anwendungen, das sich nahtlos in Visual Studio und Rider integrieren lässt.
• OpenCover: Ein freies und Open-Source-Code-Abdeckungswerkzeug für .NET, das ausführliche Berichte über die Codeabdeckung erstellt.
• Clover: Ein Code-Abdeckungswerkzeug für Java, das sich in Ant, Maven und Grails integrieren lässt und reichhaltige, interaktive Berichte liefert.
• lcov: Ein front-end für gcov, das dazu dient, die Codeabdeckung von C, C++ und Fortran Programmen zu visualisieren.
• SonarQube: Ein umfassendes Werkzeug für die kontinuierliche Inspektion der Codequalität, das auch detaillierte Informationen über die Codeabdeckung liefert. (Siehe meinen Beitrag über SonarQube)
• Visual Studio: Die integrierte Entwicklungsumgebung (IDE) von Microsoft bietet eingebaute Funktionen zur Überprüfung der Codeabdeckung für .NET-Anwendungen. (Siehe meinen Beitrag über Visual Studio Code)

Die Wahl des richtigen Werkzeugs hängt von verschiedenen Faktoren ab, einschließlich der verwendeten Programmiersprache, des vorhandenen Test-Frameworks und der persönlichen oder teambasierten Vorlieben. Es ist wichtig, das Werkzeug auszuwählen, das am besten zu den Anforderungen des Projekts passt.

Fazit

Die Anweisungsüberdeckung ist ein wesentliches Instrument im Software Testing, um die Qualität und Zuverlässigkeit von Software-Produkten zu gewährleisten. Durch die sorgfältige Auswahl von Testfällen, die konsequente Durchführung von Tests und die Analyse der Ergebnisse lassen sich Schwachstellen aufdecken und die Software kontinuierlich verbessern. Mit den richtigen Tools und Praktiken ermöglicht die Anweisungsüberdeckung Entwicklern, hohe Standards in der Softwareentwicklung zu erreichen und zu halten.

Der Beitrag Anweisungsüberdeckung – Weil jeder Codeabschnitt zählt! erschien zuerst auf CEOsBay.

Definition von Testabdeckung

Die Testabdeckung, oft auch Codeabdeckung oder Code-Coverage genannt, quantifiziert den Anteil des Softwarecodes, den Tests während ihrer Ausführung tatsächlich „abdecken“. In anderen Worten: Es misst, welcher Prozentsatz des Codes durch Tests geprüft wird.

Historischer Kontext

Obwohl der genaue Ursprung der Testabdeckung schwer zu bestimmen ist, begann die Idee in den 1960er und 1970er Jahren an Bedeutung zu gewinnen. Mit der wachsenden Komplexität der Software erkannten Entwickler die Notwendigkeit, zu verstehen, welchen Teil ihres Codes sie tatsächlich testeten.

Warum Testabdeckung wichtig ist

Die Testabdeckung dient mehreren Zwecken:

• Qualitätssicherung: Sie zeigt, welche Teile des Codes noch nicht durch Tests abgedeckt sind.
• Fehlererkennung: Nicht abgedeckter Code birgt das Risiko verborgener Fehler.
• Optimierung: Entwickler können ihre Teststrategien anhand der Testabdeckungsdaten anpassen.

Messung der Testabdeckung

Es gibt verschiedene Methoden, um die Testabdeckung zu messen:

• Anweisungsabdeckung: Misst, die tatsächlich ausgeführten Anweisungen im Code.
• Zweigabdeckung: Berücksichtigt die verschiedenen Pfade, die durch eine Anweisung (z. B. eine if-Anweisung) entstehen können.
• Bedingungsabdeckung: Fokussiert sich darauf, wie man unterschiedliche Bedingungen (true/false) innerhalb einer Anweisung testet.

Beispiel: Ein einfacher Code-Ausschnitt in JAVA könnte folgendermaßen aussehen:

public class Calculator {
    public String checkNumber(int num) {
        if (num > 0 && num < 10) {
            return "Einzelne Ziffer und positiv";
        } else {
            return "Nicht erlaubt";
        }
    }

    public static void main(String[] args) {
        Calculator calc = new Calculator();
        System.out.println(calc.checkNumber(5));
    }
}

In dieser checkNumber Methode überprüfen wir, ob eine Zahl sowohl größer als 0 als auch kleiner als 10 ist.

Für eine vollständige Bedingungsabdeckung müssten wir folgende Testszenarien betrachten:

1. Ein Szenario, in dem num größer als 0 ist, aber nicht kleiner als 10. Zum Beispiel: checkNumber(15)
2. Ein Szenario, in dem num nicht größer als 0 ist, aber kleiner als 10. Zum Beispiel: checkNumber(-5)
3. Ein Szenario, in dem num sowohl größer als 0 als auch kleiner als 10 ist. Zum Beispiel: checkNumber(5)
4. Ein Szenario, in dem num weder größer als 0 noch kleiner als 10 ist. Zum Beispiel: checkNumber(-15)

Durch diese Testszenarien stellen wir sicher, dass beide Bedingungen (num > 0 und num < 10) sowohl wahr als auch falsch getestet werden, wodurch die Bedingungsabdeckung erreicht wird.

Beispiel: Ein einfacher Code-Ausschnitt in JavaScript könnte so aussehen:

function evaluateNumber(num) {
    if (num > 0 && num < 10) {
        return "Single digit and positive";
    } else {
        return "Not allowed";
    }
}

console.log(evaluateNumber(5));

In der Funktion evaluateNumber überprüfen wir, ob eine Zahl sowohl größer als 0 als auch kleiner als 10 ist.

Für eine vollständige Bedingungsabdeckung müssten wir folgende Testszenarien betrachten:

1. Ein Szenario, in dem num größer als 0 ist, aber nicht kleiner als 10. Zum Beispiel: evaluateNumber(15)
2. Ein Szenario, in dem num nicht größer als 0 ist, aber kleiner als 10. Zum Beispiel: evaluateNumber(-5)
3. Ein Szenario, in dem num sowohl größer als 0 als auch kleiner als 10 ist. Zum Beispiel: evaluateNumber(5)
4. Ein Szenario, in dem num weder größer als 0 noch kleiner als 10 ist. Zum Beispiel: evaluateNumber(-15)

Durch diese Testszenarien stellen wir sicher, dass beide Bedingungen (num > 0 und num < 10) sowohl wahr als auch falsch getestet werden, wodurch die Bedingungsabdeckung erreicht wird.

Es sei angemerkt, dass man in der Praxis spezielle Test-Frameworks wie Jest oder Mocha zum Schreiben und Ausführen von Tests in JavaScript verwendet. Diese Frameworks bieten oft integrierte Funktionen zur Messung der Testabdeckung.

Beispiel: Ein einfacher Code-Ausschnitt in Python könnte so aussehen:

def add(a, b): if a > 0 and b > 0: return a + b else: return "Negative Zahlen sind nicht erlaubt."

Bei der Anweisungsabdeckung würde man prüfen, ob beide Anweisungen (return a + b und return "Negative Zahlen sind nicht erlaubt.") in den Tests vorkommen. Bei Zweigabdeckung würde man sicherstellen, dass sowohl der wahre als auch der falsche Zweig der if-Anweisung getestet werden. Bei Bedingungsabdeckung würde man jeden der Bedingungen (a > 0 und b > 0) einzeln testen.

Testabdeckungswerkzeuge

Zum Messen der Testabdeckung nutzen Entwickler spezielle Tools, beispielsweise „JaCoCo“ für Java oder „coverage.py“ für Python. Diese Werkzeuge analysieren den Code, führen die Tests aus und berichten, welche Teile des Codes durch Tests abgedeckt sind und welche nicht.

Hier sind noch ein paar weitere Testabdeckungswerkzeuge, die man in verschiedenen Programmiersprachen und Umgebungen häufig verwendet:

LCov – besonders beliebt in C/C++ Umgebungen.

Istanbul (nyc) – für JavaScript, besonders beliebt bei Node.js-Projekten.

DotCover – für .NET Anwendungen.

Clover – ursprünglich von Atlassian entwickelt, für Java und Groovy.

Cobertura – ein weiteres Tool für Java-Projekte.

Emma – für Java, wird allerdings nicht mehr aktiv weiterentwickelt.

gcov – ein Tool, das mit dem GNU Compiler Collection (GCC) kommt und C/C++ unterstützt.

Slather – für Projekte, die in Objective-C geschrieben sind.

SimpleCov – für Ruby, häufig in Rails-Projekten verwendet.

PHP_CodeCoverage – verwendet in Tools wie PHPUnit für PHP-Projekte.

SonarQube – ist kein Testabdeckungswerkzeug im klassischen Sinn. Es bietet in der Tat Funktionalitäten zur Messung und Darstellung von Testabdeckungsdaten. Jedoch ist es wichtig zu beachten, dass SonarQube nicht selbst die Tests ausführt oder die Abdeckungsdaten generiert. Stattdessen integriert es sich mit bestehenden Testabdeckungswerkzeugen und –frameworks, sammelt deren Ergebnisse und präsentiert sie dann in seinem Dashboard. Doch darüber habe ich bereits einen Artikel geschrieben.

Einrichtung und Nutzung

Die genauen Schritte zur Einrichtung und Nutzung von Testabdeckungswerkzeugen variieren je nach Tool und Programmiersprache. Allgemein folgt man jedoch diesen Schritten:

1. Installieren des entsprechenden Testabdeckungswerkzeugs.
2. Konfigurieren der Einstellungen, um den Code und die Tests zu berücksichtigen.
3. Ausführen der Tests mithilfe des Werkzeugs.
4. Analyse der Berichte, um die Testabdeckung zu bestimmen und Verbesserungsbereiche zu identifizieren.

Fazit

Die Testabdeckung bietet einen unschätzbaren Einblick in die Qualität und Zuverlässigkeit von Softwareprojekten. Durch die konsequente Anwendung und Analyse der Testabdeckung schaffen Entwickler eine solide Grundlage für hochwertige und fehlerfreie Software.

Der Beitrag Testabdeckung – Überlasse nichts dem Zufall erschien zuerst auf CEOsBay.

Was ist der Playwright Trace-Viewer?

Der Playwright Trace-Viewer bietet Entwicklern und Testern die Möglichkeit, eine visuelle Repräsentation ihrer Testsitzungen anzuzeigen. Bei der Arbeit mit Playwright zeichnet dieses Tool automatisch jede Aktion auf, die während des Testlaufs durchgeführt wird. Dazu gehören beispielsweise Mausklicks, Tastatureingaben oder Netzwerkanfragen. Der Trace-Viewer visualisiert dann diese aufgezeichneten Aktionen, was den Testern hilft, Fehler schneller zu identifizieren und zu beheben.

Entstehungsgeschichte des Trace-Viewers

Playwright, ein Open-Source–Framework für das Browser-Testing, entstand als Projekt von Microsoft. Durch die wachsende Popularität von Playwright erkannte das Entwicklerteam die Notwendigkeit, die Fehlerbehebung während des Testprozesses zu erleichtern. So entstand der Trace-Viewer – ein Tool, das die Transparenz im Testprozess erhöht und die Qualitätssicherung revolutioniert.

Einrichtung und Verwendung Playwright Trace-Viewer

1. Installation von Playwright: Installiert Playwright mit dem folgenden Befehl:

npm install playwright

2. Aufnahme eines Traces: Bei der Ausführung eines Playwright-Tests verwendet man die Option --trace:

npx playwright test --trace

Dies erzeugt eine Trace-Datei im voreingestellten Verzeichnis.

3. Anzeige des Traces: Nach Abschluss des Tests öffnet man den Trace-Viewer mit:

npx playwright show-trace [path-to-trace.zip]

Darauf sollte man beim Umgang mit dem Trace-Viewer achten

• Speicherplatz: Traces können viel Speicherplatz beanspruchen. Überlegt, ob ständige Aufzeichnungen notwendig sind oder ob gezielte Tests ausreichen.
• Datenschutz: Der Trace-Viewer kann sensible Daten erfassen. Stellt sicher, dass persönliche Daten vor der Speicherung oder Weitergabe anonymisiert werden.
• Performance: Die ständige Aufzeichnung kann die Performance beeinträchtigen. Ein gezielter Einsatz von Tracing minimiert diesen Effekt.

Fazit

Der Playwright Trace-Viewer stellt eine unschätzbare Ressource für Tester und Entwickler dar. Er verbessert nicht nur die Fehlererkennung, sondern auch das Verständnis für die Abläufe während des Testens. Durch die effiziente Nutzung dieses Tools können Entwicklungs- und Testteams produktiver arbeiten und hochwertige Webanwendungen liefern.

Der Beitrag Playwright Trace-Viewer – Vom Code zum Klarblick erschien zuerst auf CEOsBay.