Definition von Testabdeckung

Die Testabdeckung, oft auch Codeabdeckung oder Code-Coverage genannt, quantifiziert den Anteil des Softwarecodes, den Tests während ihrer Ausführung tatsächlich „abdecken“. In anderen Worten: Es misst, welcher Prozentsatz des Codes durch Tests geprüft wird.

Historischer Kontext

Obwohl der genaue Ursprung der Testabdeckung schwer zu bestimmen ist, begann die Idee in den 1960er und 1970er Jahren an Bedeutung zu gewinnen. Mit der wachsenden Komplexität der Software erkannten Entwickler die Notwendigkeit, zu verstehen, welchen Teil ihres Codes sie tatsächlich testeten.

Warum Testabdeckung wichtig ist

Die Testabdeckung dient mehreren Zwecken:

• Qualitätssicherung: Sie zeigt, welche Teile des Codes noch nicht durch Tests abgedeckt sind.
• Fehlererkennung: Nicht abgedeckter Code birgt das Risiko verborgener Fehler.
• Optimierung: Entwickler können ihre Teststrategien anhand der Testabdeckungsdaten anpassen.

Messung der Testabdeckung

Es gibt verschiedene Methoden, um die Testabdeckung zu messen:

• Anweisungsabdeckung: Misst, die tatsächlich ausgeführten Anweisungen im Code.
• Zweigabdeckung: Berücksichtigt die verschiedenen Pfade, die durch eine Anweisung (z. B. eine if-Anweisung) entstehen können.
• Bedingungsabdeckung: Fokussiert sich darauf, wie man unterschiedliche Bedingungen (true/false) innerhalb einer Anweisung testet.

Beispiel: Ein einfacher Code-Ausschnitt in JAVA könnte folgendermaßen aussehen:

public class Calculator {
    public String checkNumber(int num) {
        if (num > 0 && num < 10) {
            return "Einzelne Ziffer und positiv";
        } else {
            return "Nicht erlaubt";
        }
    }

    public static void main(String[] args) {
        Calculator calc = new Calculator();
        System.out.println(calc.checkNumber(5));
    }
}

In dieser checkNumber Methode überprüfen wir, ob eine Zahl sowohl größer als 0 als auch kleiner als 10 ist.

Für eine vollständige Bedingungsabdeckung müssten wir folgende Testszenarien betrachten:

1. Ein Szenario, in dem num größer als 0 ist, aber nicht kleiner als 10. Zum Beispiel: checkNumber(15)
2. Ein Szenario, in dem num nicht größer als 0 ist, aber kleiner als 10. Zum Beispiel: checkNumber(-5)
3. Ein Szenario, in dem num sowohl größer als 0 als auch kleiner als 10 ist. Zum Beispiel: checkNumber(5)
4. Ein Szenario, in dem num weder größer als 0 noch kleiner als 10 ist. Zum Beispiel: checkNumber(-15)

Durch diese Testszenarien stellen wir sicher, dass beide Bedingungen (num > 0 und num < 10) sowohl wahr als auch falsch getestet werden, wodurch die Bedingungsabdeckung erreicht wird.

Beispiel: Ein einfacher Code-Ausschnitt in JavaScript könnte so aussehen:

function evaluateNumber(num) {
    if (num > 0 && num < 10) {
        return "Single digit and positive";
    } else {
        return "Not allowed";
    }
}

console.log(evaluateNumber(5));

In der Funktion evaluateNumber überprüfen wir, ob eine Zahl sowohl größer als 0 als auch kleiner als 10 ist.

Für eine vollständige Bedingungsabdeckung müssten wir folgende Testszenarien betrachten:

1. Ein Szenario, in dem num größer als 0 ist, aber nicht kleiner als 10. Zum Beispiel: evaluateNumber(15)
2. Ein Szenario, in dem num nicht größer als 0 ist, aber kleiner als 10. Zum Beispiel: evaluateNumber(-5)
3. Ein Szenario, in dem num sowohl größer als 0 als auch kleiner als 10 ist. Zum Beispiel: evaluateNumber(5)
4. Ein Szenario, in dem num weder größer als 0 noch kleiner als 10 ist. Zum Beispiel: evaluateNumber(-15)

Durch diese Testszenarien stellen wir sicher, dass beide Bedingungen (num > 0 und num < 10) sowohl wahr als auch falsch getestet werden, wodurch die Bedingungsabdeckung erreicht wird.

Es sei angemerkt, dass man in der Praxis spezielle Test-Frameworks wie Jest oder Mocha zum Schreiben und Ausführen von Tests in JavaScript verwendet. Diese Frameworks bieten oft integrierte Funktionen zur Messung der Testabdeckung.

Beispiel: Ein einfacher Code-Ausschnitt in Python könnte so aussehen:

def add(a, b): if a > 0 and b > 0: return a + b else: return "Negative Zahlen sind nicht erlaubt."

Bei der Anweisungsabdeckung würde man prüfen, ob beide Anweisungen (return a + b und return "Negative Zahlen sind nicht erlaubt.") in den Tests vorkommen. Bei Zweigabdeckung würde man sicherstellen, dass sowohl der wahre als auch der falsche Zweig der if-Anweisung getestet werden. Bei Bedingungsabdeckung würde man jeden der Bedingungen (a > 0 und b > 0) einzeln testen.

Testabdeckungswerkzeuge

Zum Messen der Testabdeckung nutzen Entwickler spezielle Tools, beispielsweise „JaCoCo“ für Java oder „coverage.py“ für Python. Diese Werkzeuge analysieren den Code, führen die Tests aus und berichten, welche Teile des Codes durch Tests abgedeckt sind und welche nicht.

Hier sind noch ein paar weitere Testabdeckungswerkzeuge, die man in verschiedenen Programmiersprachen und Umgebungen häufig verwendet:

LCov – besonders beliebt in C/C++ Umgebungen.

Istanbul (nyc) – für JavaScript, besonders beliebt bei Node.js-Projekten.

DotCover – für .NET Anwendungen.

Clover – ursprünglich von Atlassian entwickelt, für Java und Groovy.

Cobertura – ein weiteres Tool für Java-Projekte.

Emma – für Java, wird allerdings nicht mehr aktiv weiterentwickelt.

gcov – ein Tool, das mit dem GNU Compiler Collection (GCC) kommt und C/C++ unterstützt.

Slather – für Projekte, die in Objective-C geschrieben sind.

SimpleCov – für Ruby, häufig in Rails-Projekten verwendet.

PHP_CodeCoverage – verwendet in Tools wie PHPUnit für PHP-Projekte.

SonarQube – ist kein Testabdeckungswerkzeug im klassischen Sinn. Es bietet in der Tat Funktionalitäten zur Messung und Darstellung von Testabdeckungsdaten. Jedoch ist es wichtig zu beachten, dass SonarQube nicht selbst die Tests ausführt oder die Abdeckungsdaten generiert. Stattdessen integriert es sich mit bestehenden Testabdeckungswerkzeugen und –frameworks, sammelt deren Ergebnisse und präsentiert sie dann in seinem Dashboard. Doch darüber habe ich bereits einen Artikel geschrieben.

Einrichtung und Nutzung

Die genauen Schritte zur Einrichtung und Nutzung von Testabdeckungswerkzeugen variieren je nach Tool und Programmiersprache. Allgemein folgt man jedoch diesen Schritten:

1. Installieren des entsprechenden Testabdeckungswerkzeugs.
2. Konfigurieren der Einstellungen, um den Code und die Tests zu berücksichtigen.
3. Ausführen der Tests mithilfe des Werkzeugs.
4. Analyse der Berichte, um die Testabdeckung zu bestimmen und Verbesserungsbereiche zu identifizieren.

Fazit

Die Testabdeckung bietet einen unschätzbaren Einblick in die Qualität und Zuverlässigkeit von Softwareprojekten. Durch die konsequente Anwendung und Analyse der Testabdeckung schaffen Entwickler eine solide Grundlage für hochwertige und fehlerfreie Software.

Der Beitrag Testabdeckung – Überlasse nichts dem Zufall erschien zuerst auf CEOsBay.

Man verwendet den Ausdruck Modultest unter anderem bei frühen Teststufen, in denen man die inneren, detailliertesten Komponenten der Software testet. Gemäß Software Validation & Verification Plan sind diese Tests nur für Module mit geringer Kritikalität nicht notwendig. Im Grunde genommen bei Fehlern, die dem User nur geringfügige Unannehmlichkeiten bereiten.

In einer Abstraktion der verwendeten Programmiersprache, spricht man von Komponente oder Softwarebaustein. Den Test eines solchen einzelnen Softwarebausteins bezeichnet man auch allgemeiner als Komponententest.

Als Testbasis kann man in der Regel die komponentenspezifische Anforderung und das Softwaredesign der Komponente (auch Komponentenspezifikation genannt) heranziehen. Für Whitebox-Testfälle oder um Aussagen zur Codeüberdeckung zu erhalten, kann man zusätzlich den Sourcecode einer Komponente analysieren und diesen als Testbasis verwenden. Wobei dabei auch Tools wie Jacoco helfen können. Ob die Komponente auf einen Testfall richtig reagiert, muss man allerdings auch hier auf Basis der Design- und Anforderungsdokumente beurteilen.

Typische Testobjekte sind wie bereits beschrieben Programmunits, -Module bzw. Klassen. Aber auch Kommandozeilenskripte des Betriebssystems (Shell-Skripte), Datenbankskripte, Datenkonvertierungs- oder Migrationsprozeduren, Datenbankinhalte sowie Konfigurationsdaten können Testobjekte sein. Kennzeichnend ist in der Regel der isolierte Test eines einzelnen Softwarebausteins. Dies dient primär, um komponentenexterne Einflüsse beim Testen auszuschließen. Alle so ermittelten Fehler kann man so dem spezifischen Modul zuordnen.

Klar zu unterscheiden ist auf jeden Fall der Integrationstest, den ich in einem separaten Beitrag thematisiere. Bei einem Integrationstest konzentriert man sich auf die Wechselwirkung mit Nachbarkomponenten.

Die Erstellung solcher Tests ist in der Regel die Aufgabe eines Programmierers. Dies liegt zum einen daran, dass man ein ausgeprägtes Verständnis für die Programmiersprache in der die Anwendung geschrieben ist haben muss. Und zum anderen daran, dass man meist auch einen Testtreiber benötigt, dessen Programmierung in der Regel auch der Entwickler übernimmt.

Einordnung im Testprozess

Algorithmen auf Unitebene besitzen meist nur eine begrenzte Komplexität und man kann sie über klar definierte Schnittstellen aktivieren. Daher kann sie mit relativ wenigen Testfällen weitgehend vollständig testen. Dies gilt als Voraussetzung für die anschließende Teststufe. Dem Integrationstest, um dort die Testfälle auf das integrierte Zusammenwirken größerer Funktionsteile oder der gesamten Anwendung ausrichten zu können. Die modulspezifischen Detailkonstellationen lassen sich damit auf Stichproben beschränken, was die Anzahl der erforderlichen Testfälle signifikant reduziert.

Zum Vergleich: Ein Gerät wird erst dann als Ganzes getestet, wenn die Funktionsfähigkeit seiner Einzelteile gesichert ist.

Test des Vertrages und nicht der Algorithmen

Man testet bei Modultests gemäß dem Design-by-contract-Prinzip möglichst nicht die Interna einer Methode, sondern nur ihre externen Auswirkungen (Rückgabewerte, Ausgaben, Zustandsänderungen, Zusicherungen). Sind die internen Details der Methode geprüft (dies wird als White-Box-Testing bezeichnet), kann der Test fehlschlagen, obwohl sich die externen Auswirkungen nicht geändert haben. Daher empfiehlt man in der Regel das sogenannte Black-Box-Testing, bei dem man sich auf das Prüfen der externen Auswirkungen beschränkt.

Was sind die Vorteile von Unit Tests?

• Mittels automatisierter Unittests kann man im Schnitt 30 % der Fehler erkennen. Bei der Verwendung von TDD (Test Driven Development) kann man im Schnitt 45 % und im besten Fall 85 % der Fehler vermeiden.
• Fehler erkennt man durch Modultests bereits während der Entwicklung. Die durch Unittests vermiedenen Fehlerkosten sind daher gemäß der Rule of Ten (Dazu später mehr) um ein Vielfaches höher als bei späteren Teststufen, was Unittests zur effizientesten Teststufe machen.
• Im Falle eines Fehlers kann man diesen sehr viel genauer eingrenzen und damit schneller finden und beheben.
• Die Tests erfüllen den Zweck einer lebenden Dokumentation. In Kombination mit einer sinnvollen Benamung der Objekte (Clean Code) können zusätzliche Dokumentationsmaßnahmen entfallen.
• Da einzelne Module nur wenige mögliche Codeausführungspfade besitzen, muss man viel weniger mögliche kombinatorische Ausführungspfade berücksichtigen als bei anderen Testarten. Bei übergeordneten Tests kann man sich dann stichprobenartig auf die wichtigsten Ausführungspfade konzentrieren und damit die Anzahl dieser Tests deutlich reduzieren.
• Da man nur einzelne Module testet, kann man Modultests, oft um mehrere Größenordnungen, schneller und damit öfter (bzw. kontinuierlich) ausführen als andere Testarten.
• Wenn man Fehler mit einem Test absichert, kann man den erneuten Auftritt des gleichen Fehlers verhindern.
• Durch die Fehlerreduktion ergeben sich Geschwindigkeitsvorteile in der Entwicklung in mittleren bis großen Softwareprojekten.
• Da man Abhängigkeiten zwingend vermeiden muss, um einen Modultest zu ermöglichen, bleibt der Code verhältnismäßig schnell änderbar. Hierdurch kann man schneller auf wechselnde Anforderungen reagieren. Siehe Agile Manifest 😉
• Da automatisch ausgeführte Tests um mehrere Größenordnungen schneller sind als manuelle Tests, reduziert sich der Zeitaufwand für das Testen deutlich. Hierdurch kann man die Entwicklungsstufen schneller durchlaufen und die Release-Zyklen signifikant verkürzen.

Was sind die Nachteile von Unit Tests?

• Bei der Implementierung neuer Funktionen muss man nicht nur die Funktion implementieren, sondern auch die dazugehörenden Tests vorbereiten bzw. definieren. Dadurch ergibt sich ein oft mehrfacher Implementierungsaufwand.
• Bei Änderungen muss man nicht nur die geänderten Funktionen, sondern auch die dazugehörenden Tests anpassen. Insbesondere bei der Entwicklung von Prototypen, bei der sich die Codebasis schnell verändert, ist das Testen daher oft eher ein Hindernis.
• Da man die Funktionalität der Tests verwendet, ist in den IDEs schwerer ersichtlich, ob eine Funktionalität keine Verwendung mehr findet und ob man es daher entfernen kann.
• Weisen die Tests untereinander Abhängigkeiten auf (z. B. durch gemeinsame Testdaten), so können einzelne Änderungen an der Codebasis eine Vielzahl von Tests beeinflussen, was den Änderungsaufwand mit der Größe der Codebasis exponentiell erhöht.

Fehlerkosten 10er Regel (Rule of ten)

Die Zehnerregel der Fehlerkosten besagt, dass je weiter ein Fehler sich unentdeckt in die späten Phasen des Werdegangs eines Produktes oder Prozesses bewegt – oder gar bis zum Kunden –, desto höher steigen die Kosten zur Behebung des Fehlers. Eindrucksvoll untermauert durch die Ergebnisse einiger Studien aus den 70er Jahren in Japan, USA und Großbritannien, die sich mit den Ursachen von Produkt- bzw. Qualitätsmängeln beschäftigten. Alle Analysen lieferten nahezu die gleichen Ergebnisse: Ca. 70 % aller Produktmängel hatten ihre Ursache bereits in der Entwicklung, Konstruktion und Arbeitsvorbereitung. Der Herstellungsprozess selbst hat bezüglich der Endqualität des Produktes offensichtlich eher einen sekundären Einfluss. Eine VDMA-Studie zum Thema „Qualitätsbezogene Kosten“ Anfang der 90er Jahre in der Bundesrepublik Deutschland bestätigt dieses Ergebnis.

Die Zehnerregel der Fehlerkosten oder „Rule of ten“ sagt aus, dass sich die Fehlerkosten für einen nicht entdeckten Fehler von Stufe zu Stufe der Wertschöpfung um den Faktor 10 erhöhen. Je früher ein Fehler entdeckt und beseitigt wird, desto kostengünstiger ist dies für die Organisation und schlussendlich auch für den User bzw. Kunden.

Ansonsten sind diese auch in der DIN 55350-11 im Rahmen des Qualitätsmanagements festgehalten. Doch darauf gehe ich in einem separaten Beitrag ein.

Wo sind die Grenzen der Unit Tests?

Unit Tests können (wie jeder Test) die Fehlerfreiheit der getesteten Units, Module usw. nicht garantieren oder nachweisen, sondern lediglich unterstützen. Die Grenzen von Unit Tests liegen primär nur in den Fällen vor in denen man Fehler finden kann, zu deren Entdeckung die verwendeten Tests geeignet sind. Eine Softwarekomponente, die „grün“ testet, ist also nur bedingt fehlerfrei.

Das Merkmal von Code, „grün“ zu testen, und durchaus auch der Wunsch nach diesem Ergebnis, kann dazu führen, dass man tatsächlich (unbewusst) nur so viel testet, bis alle Tests „grün“ sind. Module, die keine fehlschlagenden Modultests haben, als fehlerfrei zu behandeln, ist ein Fehlschluss in der Praxis des (TDD) Test Driven Development.

Um eine ausreichende Testabdeckung zu erzielen, lohnt es sich u.U., vor dem Erstellen der Testfälle Refactoring-Maßnahmen anzuwenden. Dies erst nach abgeschlossenen Unit Tests (für den alten Code) zu tun, schafft Raum (wie jede Änderung im Code) für neue Fehlerrisiken und kann deshalb wiederholtes Testen erforderlich machen.

Wenn der Autor von Unit Tests mit dem Autor der Module identisch ist, können Denkfehler in der Implementierung auch im Test erscheinen und verpasst gegebenenfalls die Chance, diese aufzudecken. Wenn es sich um dieselbe Person handelt, kann man die vorrangige Entwicklung der Tests ebenfalls nicht garantieren, da sowohl die beabsichtigte Funktionsweise des Codes als auch die zukünftige Gestalt bereits im Gedankengut des Testautors und späteren Codeautors präsent sein können. Dies kann im Extreme Programming durch „Test Ping-Pong“ abgefangen werden, bei der sich Entwickler bei der Implementierung der Funktionalität und der Tests abwechseln.

Bei der Entwicklung von Modultests können Testfälle entstehen, die der Zielsetzung und dem Charakter von Modultests nicht oder nur zum Teil entsprechen. Wie bei der Programmierung existieren daher auch für die Entwicklung von Modultests Anti-Pattern, die man möglichst vermeiden sollte.

Der Beitrag Unit Tests – Fundament für stabile und effiziente Software erschien zuerst auf CEOsBay.

Im Grunde genommen handelt es sich dabei um zwei Arten von Tools, die zum einen Anweisungen dem Java-Quellcode hinzufügen und dessen Neukompilierung einfordern und zum anderen Tools, die den Bytecode entweder vor oder während der Ausführung instrumentieren. Das Ziel von JaCoCo ist es, herauszufinden, welche Teile des Codes getestet werden, indem es die Codezeilen registriert, die man bei der Ausführung eines Tests ausführt. TDD bzw. Test Driven Development ist diesbezüglich ebenfalls ein gutes Stichwort.

Features von JaCoCo

• Abdeckungsanalyse von Anweisungen (C0), Verzweigungen (C1), Zeilen, Methoden, Typen und zyklomatischer Komplexität (McCabe-Metrik).
• Basiert auf Java-Bytecode und funktioniert daher auch ohne Quelldateien.
• Einfache Integration durch Java-Agent-basierte On-the-fly-Instrumentierung. Andere Integrationsszenarien wie benutzerdefinierte class loader sind über die API möglich.
• Framework-unabhängig: Reibungslose Integration in Java VM-basierte Anwendungen wie einfache Java-Programme, OSGi-Frameworks, Web-Container oder EJB-Server.
• Kompatibel mit allen freigegebenen Java-Klassendateiversionen.
• Unterstützung für verschiedene JVM-Sprachen.
• Verschiedene Berichtsformate (HTML, XML, CSV).
• Remote-Protokoll und JMX-Steuerung zur Anforderung von Ausführungsdaten-Dumps vom Coverage Agent zu jedem beliebigen Zeitpunkt.
• Ant-Tasks zum Sammeln und Verwalten von Ausführungsdaten und zum Erstellen strukturierter Abdeckungsberichte.
• Maven-Plug-in zum Sammeln von Abdeckungsinformationen und Erstellen von Berichten in Maven-Builds.

JaCoCo bietet die Instructions, Line- und Branchabdeckung. Im Gegensatz zu beispielsweise Atlassian Clover und OpenClover, die eine Instrumentierung des Quellcodes erfordern, kann JaCoCo Java Bytecode mit zwei verschiedenen Ansätzen instrumentieren:

1. JCov on the fly, während der Code mit einem Java-Agenten ausgeführt wird beispielsweise wie Cobertura und JCov vor der Ausführung (offline)
2. Man kann es aber auch so konfigurieren, dass man die gesammelten Daten in einer Datei speichert oder via TCP versendet. Im Gegensatz zu Cobertura und EMMA ist die Unterstützung von so ziemlich allen Java Versionen ab der Java Version 7 gewährleistet.

Tools, die JaCoCo verwenden oder enthalten

Einige davon habe ich bereits in diversen Beiträgen thematisiert. Mit einem Klick auf das jeweilige Tool kommt man auf den jeweiligen Beitrag.

• SonarQube JaCoCo Plugin – Standardmäßig für Code Abdeckungsanalysen innerhalb der Code-Qualitätsmanagement-Plattform
• EclEmma Eclipse (Software) Code Coverage Plugin
• Jenkins JaCoCo Plugin
• Netbeans JaCoCo support
• IntelliJ IDEA (Seit Version 11)
• Gradle JaCoCo Plugin
• Visual Studio Team Services
• TeamCity

Fazit

JaCoCo bietet sich für die Codeabdeckungsanalyse bei der modularen Softwareentwicklung bzw. bei den Unit Tests an. Die Abdeckungsgrade geben an, wie viele Anweisungen, Zweige usw. die Tests durchlaufen. Auf Basis der so gewonnenen Erkenntnisse kann man weitere sinnvolle Testfälle ermitteln oder aber nicht beanspruchten bzw. toten Code entfernen. Es gibt kein allgemeingültiges Mindestmaß an Codeabdeckung. Man definiert die jeweils erforderliche Testabdeckung in Anbetracht des Anwendungsfalls nach einer Risikoeinschätzung sowie der eigenen Entwickler-Fähigkeiten.

Der Beitrag JaCoCo – Messen und Optimieren von Testabdeckung für robuste Java-Anwendungen erschien zuerst auf CEOsBay.