ISO/IEC/IEEE 29119 Software Testing-Standards

Die ISO/IEC/IEEE 29119-Normenreihe legt Standards für Software-Testing fest, inklusive Praktiken für Testprozesse, Testdokumentation, Testtechniken und Begrifflichkeiten. Die Anwendung dieser Standards gewährleistet Konsistenz, Transparenz und Effektivität im Testprozess.

Bestandteile Testabschlussbericht nach ISO/IEC/IEEE 29119

1. Executive Summary

Der Bericht beginnt mit einer Zusammenfassung der wichtigsten Ergebnisse und Erkenntnisse. Diese sollte knapp und prägnant die durchgeführten Tests, die Hauptergebnisse und die daraus resultierenden Empfehlungen umfassen.

2. Testumfang

Dieser Abschnitt dokumentiert den Umfang der Testaktivitäten, inklusive der getesteten und nicht getesteten Bereiche der Software. Er erläutert auch die Gründe für die Auswahl des Testumfangs.

3. Testziele

Hier definiert man die Ziele des Testprozesses, wie beispielsweise die Überprüfung der Funktionalität, der Leistung, der Sicherheit oder der Benutzerfreundlichkeit.

4. Testmethoden und -tools

Dieser Teil stellt die verwendeten Testmethoden und -tools vor und erläutert die Gründe für ihre Auswahl.

5. Testergebnisse

Die Testergebnisse präsentiert man hier in einer klaren und verständlichen Form. Der Bericht sollte sowohl die erfüllten als auch die nicht erfüllten Anforderungen auflisten und gegebenenfalls die Gründe für das Scheitern von Tests erläutern.

6. Gefundene Fehler und deren Status

Alle während der Tests gefundenen Fehler sollte man in diesem Abschnitt auflisten, inklusive des aktuellen Status jedes Fehlers (behoben, nicht behoben, in Bearbeitung).

7. Bewertung der Software-Qualität

Auf Grundlage der Testergebnisse und der gefundenen Fehler bewertet man die Qualität der Software und gibt an, inwiefern man die Testziele erreicht oder eben nicht erreicht hat.

8. Empfehlungen und nächste Schritte

Hier formuliert man Empfehlungen für die Freigabe der Software und für zukünftige Testaktivitäten.

9. Anhänge und Referenzen

Relevante Anhänge und Referenzen, die für ein umfassendes Verständnis des Berichts notwendig sind, fügt man in diesem Abschnitt hinzu.

Praktische Beispiele und Tipps zum Testabschlussbericht

Um den Testabschlussbericht effektiv zu gestalten, empfiehlt es sich, klare und verständliche Formulierungen zu verwenden und visuelle Elemente wie Tabellen oder Diagramme einzusetzen. So könnte man beispielsweise eine Tabelle zur Darstellung der Testergebnisse oder ein Balkendiagramm zur Visualisierung des Fehlerstatus verwenden.

Beispiel-Tabelle zur Darstellung von Testergebnissen

Beispiel-Balkendiagramm zur Visualisierung des Fehlerstatus

Fehlerstatus

Fazit

Ein Testabschlussbericht gemäß den ISO/IEC/IEEE 29119-Standards zu erstellen, stellt sicher, dass alle relevanten Aspekte des Testprozesses detailliert dokumentiert und bewertet werden. Dies fördert Transparenz, Konsistenz und Effektivität im Software-Testing und liefert wertvolle Erkenntnisse für die Entscheidungsfindung und für zukünftige Projekte.

Der Beitrag Testabschlussbericht – Basierend auf ISO/IEC/IEEE 29119 erschien zuerst auf CEOsBay.

Definition von Testabdeckung

Die Testabdeckung, oft auch Codeabdeckung oder Code-Coverage genannt, quantifiziert den Anteil des Softwarecodes, den Tests während ihrer Ausführung tatsächlich „abdecken“. In anderen Worten: Es misst, welcher Prozentsatz des Codes durch Tests geprüft wird.

Historischer Kontext

Obwohl der genaue Ursprung der Testabdeckung schwer zu bestimmen ist, begann die Idee in den 1960er und 1970er Jahren an Bedeutung zu gewinnen. Mit der wachsenden Komplexität der Software erkannten Entwickler die Notwendigkeit, zu verstehen, welchen Teil ihres Codes sie tatsächlich testeten.

Warum Testabdeckung wichtig ist

Die Testabdeckung dient mehreren Zwecken:

• Qualitätssicherung: Sie zeigt, welche Teile des Codes noch nicht durch Tests abgedeckt sind.
• Fehlererkennung: Nicht abgedeckter Code birgt das Risiko verborgener Fehler.
• Optimierung: Entwickler können ihre Teststrategien anhand der Testabdeckungsdaten anpassen.

Messung der Testabdeckung

Es gibt verschiedene Methoden, um die Testabdeckung zu messen:

• Anweisungsabdeckung: Misst, die tatsächlich ausgeführten Anweisungen im Code.
• Zweigabdeckung: Berücksichtigt die verschiedenen Pfade, die durch eine Anweisung (z. B. eine if-Anweisung) entstehen können.
• Bedingungsabdeckung: Fokussiert sich darauf, wie man unterschiedliche Bedingungen (true/false) innerhalb einer Anweisung testet.

Beispiel: Ein einfacher Code-Ausschnitt in JAVA könnte folgendermaßen aussehen:

public class Calculator {
    public String checkNumber(int num) {
        if (num > 0 && num < 10) {
            return "Einzelne Ziffer und positiv";
        } else {
            return "Nicht erlaubt";
        }
    }

    public static void main(String[] args) {
        Calculator calc = new Calculator();
        System.out.println(calc.checkNumber(5));
    }
}

In dieser checkNumber Methode überprüfen wir, ob eine Zahl sowohl größer als 0 als auch kleiner als 10 ist.

Für eine vollständige Bedingungsabdeckung müssten wir folgende Testszenarien betrachten:

1. Ein Szenario, in dem num größer als 0 ist, aber nicht kleiner als 10. Zum Beispiel: checkNumber(15)
2. Ein Szenario, in dem num nicht größer als 0 ist, aber kleiner als 10. Zum Beispiel: checkNumber(-5)
3. Ein Szenario, in dem num sowohl größer als 0 als auch kleiner als 10 ist. Zum Beispiel: checkNumber(5)
4. Ein Szenario, in dem num weder größer als 0 noch kleiner als 10 ist. Zum Beispiel: checkNumber(-15)

Durch diese Testszenarien stellen wir sicher, dass beide Bedingungen (num > 0 und num < 10) sowohl wahr als auch falsch getestet werden, wodurch die Bedingungsabdeckung erreicht wird.

Beispiel: Ein einfacher Code-Ausschnitt in JavaScript könnte so aussehen:

function evaluateNumber(num) {
    if (num > 0 && num < 10) {
        return "Single digit and positive";
    } else {
        return "Not allowed";
    }
}

console.log(evaluateNumber(5));

In der Funktion evaluateNumber überprüfen wir, ob eine Zahl sowohl größer als 0 als auch kleiner als 10 ist.

Für eine vollständige Bedingungsabdeckung müssten wir folgende Testszenarien betrachten:

1. Ein Szenario, in dem num größer als 0 ist, aber nicht kleiner als 10. Zum Beispiel: evaluateNumber(15)
2. Ein Szenario, in dem num nicht größer als 0 ist, aber kleiner als 10. Zum Beispiel: evaluateNumber(-5)
3. Ein Szenario, in dem num sowohl größer als 0 als auch kleiner als 10 ist. Zum Beispiel: evaluateNumber(5)
4. Ein Szenario, in dem num weder größer als 0 noch kleiner als 10 ist. Zum Beispiel: evaluateNumber(-15)

Durch diese Testszenarien stellen wir sicher, dass beide Bedingungen (num > 0 und num < 10) sowohl wahr als auch falsch getestet werden, wodurch die Bedingungsabdeckung erreicht wird.

Es sei angemerkt, dass man in der Praxis spezielle Test-Frameworks wie Jest oder Mocha zum Schreiben und Ausführen von Tests in JavaScript verwendet. Diese Frameworks bieten oft integrierte Funktionen zur Messung der Testabdeckung.

Beispiel: Ein einfacher Code-Ausschnitt in Python könnte so aussehen:

def add(a, b): if a > 0 and b > 0: return a + b else: return "Negative Zahlen sind nicht erlaubt."

Bei der Anweisungsabdeckung würde man prüfen, ob beide Anweisungen (return a + b und return "Negative Zahlen sind nicht erlaubt.") in den Tests vorkommen. Bei Zweigabdeckung würde man sicherstellen, dass sowohl der wahre als auch der falsche Zweig der if-Anweisung getestet werden. Bei Bedingungsabdeckung würde man jeden der Bedingungen (a > 0 und b > 0) einzeln testen.

Testabdeckungswerkzeuge

Zum Messen der Testabdeckung nutzen Entwickler spezielle Tools, beispielsweise „JaCoCo“ für Java oder „coverage.py“ für Python. Diese Werkzeuge analysieren den Code, führen die Tests aus und berichten, welche Teile des Codes durch Tests abgedeckt sind und welche nicht.

Hier sind noch ein paar weitere Testabdeckungswerkzeuge, die man in verschiedenen Programmiersprachen und Umgebungen häufig verwendet:

LCov – besonders beliebt in C/C++ Umgebungen.

Istanbul (nyc) – für JavaScript, besonders beliebt bei Node.js-Projekten.

DotCover – für .NET Anwendungen.

Clover – ursprünglich von Atlassian entwickelt, für Java und Groovy.

Cobertura – ein weiteres Tool für Java-Projekte.

Emma – für Java, wird allerdings nicht mehr aktiv weiterentwickelt.

gcov – ein Tool, das mit dem GNU Compiler Collection (GCC) kommt und C/C++ unterstützt.

Slather – für Projekte, die in Objective-C geschrieben sind.

SimpleCov – für Ruby, häufig in Rails-Projekten verwendet.

PHP_CodeCoverage – verwendet in Tools wie PHPUnit für PHP-Projekte.

SonarQube – ist kein Testabdeckungswerkzeug im klassischen Sinn. Es bietet in der Tat Funktionalitäten zur Messung und Darstellung von Testabdeckungsdaten. Jedoch ist es wichtig zu beachten, dass SonarQube nicht selbst die Tests ausführt oder die Abdeckungsdaten generiert. Stattdessen integriert es sich mit bestehenden Testabdeckungswerkzeugen und –frameworks, sammelt deren Ergebnisse und präsentiert sie dann in seinem Dashboard. Doch darüber habe ich bereits einen Artikel geschrieben.

Einrichtung und Nutzung

Die genauen Schritte zur Einrichtung und Nutzung von Testabdeckungswerkzeugen variieren je nach Tool und Programmiersprache. Allgemein folgt man jedoch diesen Schritten:

1. Installieren des entsprechenden Testabdeckungswerkzeugs.
2. Konfigurieren der Einstellungen, um den Code und die Tests zu berücksichtigen.
3. Ausführen der Tests mithilfe des Werkzeugs.
4. Analyse der Berichte, um die Testabdeckung zu bestimmen und Verbesserungsbereiche zu identifizieren.

Fazit

Die Testabdeckung bietet einen unschätzbaren Einblick in die Qualität und Zuverlässigkeit von Softwareprojekten. Durch die konsequente Anwendung und Analyse der Testabdeckung schaffen Entwickler eine solide Grundlage für hochwertige und fehlerfreie Software.

Der Beitrag Testabdeckung – Überlasse nichts dem Zufall erschien zuerst auf CEOsBay.

TestNG weist verschiedene bedeutende Verbesserungen gegenüber JUnit auf, dem bisherigen Standard-Framework für Java-Tests. Dazu gehören neue Funktionalitäten wie beispielsweise paralleles Testen, flexiblere Testkonfigurationen und Unterstützung für Datenangetriebene Tests (Data-Driven Testing).

Paralleles Testen möglich

Paralleles Testen ermöglicht das Ausführen mehrerer Testmethoden gleichzeitig, was die Ausführungszeit erheblich reduziert. Dieser Vorteil ist entscheidend für große Test-Suites und Projekte mit strikten Zeitvorgaben. Darüber hinaus ermöglicht die Unterstützung von parallelem Testen auch das Prüfen der Thread-Sicherheit von Anwendungen.

Flexible Konfiguration

Die flexible Testkonfiguration von TestNG erlaubt die genaue Spezifizierung, welche Testmethoden unter welchen Bedingungen ausgeführt werden. Durch Annotationen wie @Test, @BeforeSuite, @AfterSuite, @BeforeClass, @AfterClass usw. lässt sich präzise steuern, wann und in welcher Reihenfolge die Testmethoden ausgeführt werden.

Datengetriebene Tests

Datengetriebene Tests sind ein weiterer großer Vorteil von TestNG. Mit der @DataProvider Annotation lassen sich Tests mit einer Vielzahl von Datensätzen ausführen. Dies erleichtert die Validierung von Funktionen unter verschiedenen Bedingungen und mit verschiedenen Eingabewerten.

Individuelle Ausgabe von Testergebnissen bzw. Findings

Zusätzlich zur Unterstützung dieser verbesserten Funktionen bietet TestNG auch die Möglichkeit, Testergebnisse in verschiedenen Formaten zu generieren, einschließlich HTML und XML. Das bedeutet, dass Entwickler detaillierte Berichte über ihre Tests erhalten, die ihnen helfen, Fehler und Probleme zu identifizieren und zu beheben.

Möglichkeit zur Integration in diverse Entwicklungsumgebungen

Es lässt sich nahtlos in gängige Tools und Umgebungen wie Eclipse, IntelliJ IDEA und Maven integrieren. Es ist möglich, die TestNG-Tests direkt aus diesen Umgebungen auszuführen, was den Entwicklungs- und Testprozess erheblich vereinfacht.

Einrichtung

Die Einrichtung und Verwendung ist unkompliziert. Nach der Installation der TestNG-Plugin in der bevorzugten IDE ist es möglich, TestNG-Tests zu erstellen und auszuführen. Durch einfache Annotationen lassen sich Testmethoden definieren und konfigurieren, was die Entwicklung von Tests erheblich erleichtert.

Fazit

Zusammengefasst stellt TestNG eine leistungsstarke, flexible und moderne Umgebung für Testautomatisierung in der Java-Entwicklung dar. Durch seine erweiterten Funktionen wie paralleles Testen, flexible Testkonfigurationen und Datenangetriebene Tests trägt TestNG zu einer verbesserten Qualität von Software-Produkten bei und erleichtert das Testmanagement erheblich.

Der Beitrag TestNG – Testautomatisierung erschien zuerst auf CEOsBay.

Was ist ein Test-Harnisch?

Ein Test-Harnisch (engl. test harness) ist ein Framework oder eine Sammlung von Tools, die dazu beitragen, das Testen von Softwareanwendungen zu automatisieren, zu koordinieren und zu überwachen. Im Wesentlichen stellt ein Test-Harnisch eine Umgebung bereit, in der Entwickler und Tester den Code einer Anwendung testen und sicherstellen können, dass er korrekt funktioniert und die Anforderungen erfüllt. Man kann Test-Harnische sowohl für manuelles als auch für automatisiertes Testen verwenden.

Funktionsweise eines Test-Harnisch

Ein Test-Harnisch besteht aus vier Hauptkomponenten:

1. Testtreiber: Der Testtreiber ist für die Ausführung der Tests verantwortlich. Er stellt die Schnittstelle zur Verfügung, über die die Tester die Testfälle ausführen und die Ergebnisse erfassen können.
2. Testdaten: Testdaten sind die Eingaben, die man während des Testprozesses verwendet. Sie bestehen in der Regel aus verschiedenen Datentypen, die man verwendet, um die verschiedenen Funktionen und Komponenten der Anwendung zu testen.
3. Testskripte: Testskripte sind Skripte, die den Testprozess automatisieren. Sie enthalten Anweisungen, wie die Tests ausgeführt und die Analyse der Ergebnisse stattfinden soll.
4. Testergebnisse: Testergebnisse sind die gesammelten Informationen, die aus dem Testprozess resultieren. Sie enthalten Daten über die Leistung der Anwendung, Fehler, die während des Testprozesses aufgetreten sind, und Informationen über die Korrektheit der Funktionen.

Vorteile von Test-Harnischen

• Automatisierung: Test-Harnische automatisieren den Testprozess und reduzieren so den Zeitaufwand und die Mühe, die mit manuellem Testen verbunden sind. Dies ermöglicht es Entwicklern und Testern, sich auf die Analyse der Testergebnisse und die Verbesserung der Softwarequalität zu konzentrieren.
• Wiederverwendbarkeit: Test-Harnische ermöglichen es, Testfälle und Testdaten wiederverwendbar zu gestalten, sodass man sie in verschiedenen Projekten und Anwendungen einsetzen kann.
• Vereinfachung: Test-Harnische vereinfachen den Testprozess, indem sie alle Testaktivitäten zentralisieren und eine einheitliche Testumgebung bereitstellen.
• Effizienz: Test-Harnische steigern die Effizienz des Testprozesses, indem sie die Testabdeckung erhöhen, den Testaufwand reduzieren und eine schnellere Fehlerbehebung ermöglichen.
• Kontinuierliche Integration: Test-Harnische unterstützen kontinuierliche Integration (CI) und kontinuierliche Bereitstellung (CD) in der Softwareentwicklung, indem sie die automatisierte Ausführung von Tests bei jedem Commit oder Build sicherstellen. Siehe hierzu den Beitrag über CI/CD.
• Berichterstattung und Analyse: Test-Harnische bieten umfangreiche Berichtsfunktionen, die es Entwicklern und Testern ermöglichen, den Fortschritt und den Status der Tests zu überwachen, Fehler und Schwachstellen schnell zu identifizieren und fundierte Entscheidungen über die Softwarequalität zu treffen.

Gängige Test-Harnisch-Tools in der Softwarebranche

Es gibt viele Test-Harnisch-Tools und Frameworks auf dem Markt, die verschiedene Programmiersprachen und Anforderungen unterstützen. Einige der bekanntesten sind:

JUnit: JUnit ist ein weit verbreitetes Testframework für Java-Anwendungen, das Test-Harnisch-Funktionalitäten wie Testausführung, Testdatenverwaltung und Ergebnisberichterstattung bietet.

TestNG: TestNG ist ein Testframework für Java-Programme, das auf JUnit basiert und erweiterte Funktionen wie Paralleltestausführung, Testkonfiguration und flexible Testskripterstellung bietet.

NUnit: NUnit ist ein Testframework für .NET-Anwendungen, das Test-Harnisch-Funktionen wie Testausführung, Testdatenverwaltung und Berichterstattung bietet.

Pytest: Pytest ist ein Testframework für Python-Anwendungen, das Test-Harnisch-Funktionalitäten wie Testausführung, Testdatenverwaltung und Ergebnisberichterstattung bietet.

Jasmine: Jasmine ist ein Testframework für JavaScript-Anwendungen, das Test-Harnisch-Funktionalitäten wie Testausführung, Testdatenverwaltung und Ergebnisberichterstattung bietet.

Fazit

Test-Harnische spielen eine entscheidende Rolle in der Softwareentwicklung, indem sie den Testprozess automatisieren, vereinfachen und effizienter gestalten. Durch den Einsatz von Test-Harnischen können Entwickler und Tester sicherstellen, dass ihre Anwendungen die gewünschte Qualität erfüllen und potenzielle Fehler frühzeitig identifiziert und behoben sind, bevor der Release stattfindet. Mit der wachsenden Anzahl von Test-Harnisch-Tools und Frameworks auf dem Markt können Entwickler und Tester leicht eine Lösung finden, die ihren spezifischen Anforderungen und Projektzielen entspricht.

Der Beitrag Test-Harnisch – Qualität und Zuverlässigkeit von Anfang an durch effektive Teststrategien erschien zuerst auf CEOsBay.