Was ist Firmware?

Firmware definiert sich als spezialisierte Software, die direkt auf Hardware-Komponenten läuft. Im Gegensatz zu alltäglicher Software, die auf Betriebssystemen wie Windows oder MacOS operiert, arbeitet sie direkt mit der physischen Hardware eines Geräts. Sie stellt den grundlegenden Code bereit, den Geräte benötigen, um zu starten und zu funktionieren.

Ein gutes Beispiel für eine Firmware ist das BIOS (Basic Input/Output System) eines Computers. Bevor das Betriebssystem lädt, initialisiert das BIOS die Hardware-Komponenten und sorgt dafür, dass alles bereit ist.

Die Entstehung

Obwohl der Begriff „Firmware“ in den 1960er Jahren an Popularität gewann, begann die Idee bereits mit den frühesten Computern. Schon damals mussten Computer eine Art „Startprogramm“ haben, um zu funktionieren.

Tipps zur Implementierung und Umsetzung von Firmware

1. Klarheit über das Zielgerät: Vor der Entwicklung muss man wissen, auf welcher spezifischen Hardware die Firmware laufen soll. Unterschiedliche Hardware-Plattformen erfordern oft spezifische Anpassungen.
2. Robustheit und Fehlerbehandlung: Im Gegensatz zu normaler Software kann ein Fehler in der Firmware zu schwerwiegenden Hardwareproblemen führen. Deshalb sollte man immer Mechanismen zur Fehlererkennung und -korrektur implementieren.
3. Aktualisierbarkeit: Geräte benötigen im Laufe ihrer Lebensdauer oft Firmware-Updates. Ein integrierter Mechanismus zur einfachen Aktualisierung erspart später viele Kopfschmerzen.
4. Optimierung: Da Firmware oft mit begrenzten Ressourcen arbeitet, stellt die effiziente Nutzung des verfügbaren Speichers und der Rechenleistung eine hohe Priorität dar.

Zu beachtende Aspekte

• Sicherheit: Mit wachsenden Sicherheitsbedrohungen müssen Entwickler stets wachsam bleiben und regelmäßig Sicherheitslücken prüfen und beheben.
• Testen: Man sollte niemals neue Firmware veröffentlichen, ohne sie ausführlich zu testen. Dies minimiert das Risiko unerwünschter Überraschungen und gewährleistet eine zuverlässige Performance. Doch darauf gehe ich nachfolgend nochmal explizit ein.
• Dokumentation: Eine gründliche Dokumentation erleichtert die Arbeit für zukünftige Entwickler und Techniker, die mit der Firmware interagieren.

Womit kann man sie testen?

Die Überprüfung und Validierung stellt sicher, dass sie wie vorgesehen funktioniert und keine unerwünschten Nebenwirkungen aufweist. Diverse Tools helfen Entwicklern bei der Überprüfung ihrer Firmware. Hier sind einige der gebräuchlichsten Test-Tools und -Frameworks:

1. JTAG-Debugger: Dieses Tool ermöglicht das Debuggen in Echtzeit und bietet eine direkte Schnittstelle zur Hardware. Bekannte Debugger sind beispielsweise von SEGGER (J-Link) oder von ARM (Keil).
2. Logikanalysatoren: Mit diesen Tools lassen sich digitale Signale aufzeichnen und analysieren, was besonders nützlich ist, um Timing-Probleme oder Kommunikationsfehler auf Hardwareebene zu finden.
3. Oszilloskope: Ein wichtiges Werkzeug zur Visualisierung und Analyse analoger und digitaler Signale in der Elektronik.
4. QEMU: Ein generischer und Open-Source-Machine-Emulator und Virtualizer, mit dem Entwickler in einer simulierten Umgebung testen können, ohne echte Hardware zu verwenden.
5. Unity: Ein Testframework für die C-Sprache, das sich besonders für Embedded-Systeme eignet.
6. CppUTest: Ein Test- und Mock-Framework für C und C++, das sich ebenfalls für die Entwicklung eignet.
7. Hardware-In-the-Loop (HIL): Diese Tests simulieren die Hardwareumgebung, in der die Firmware läuft, um realistische Testszenarien zu bieten.
8. Static Code Analyzers: Tools wie PC-lint oder Coverity analysieren den Code, um häufige Fehler oder unsichere Praktiken zu identifizieren, bevor der Code auf der Hardware ausgeführt wird.
9. RTOS-spezifische Tools: Für Firmware, die auf einem Echtzeitbetriebssystem (RTOS) basiert, gibt es spezielle Tools, die dabei helfen, Tasks, Ressourcenverwendung und andere Aspekte des RTOS zu überwachen. Beispiele hierfür sind Tracealyzer oder FreeRTOS+Trace.
10. Simulatoren: Einige Mikrocontroller-Hersteller bieten Simulatoren an, mit denen Entwickler ihre Firmware testen können, ohne physische Hardware zu verwenden. Dies kann beispielsweise in den Entwicklungsumgebungen von Microchip (MPLAB X) oder Texas Instruments vorhanden sein.
11. Automatisierte Testframeworks: Tools wie Robot Framework oder LabVIEW bieten automatisierte Testmöglichkeiten für Firmware.

Es ist wichtig, die richtigen Tools für den jeweiligen Anwendungsfall und die spezifische Hardwareplattform auszuwählen. Viele dieser Tools erfordern eine gewisse Einarbeitungszeit, aber die Vorteile in Bezug auf Fehlervermeidung und Effizienzsteigerung überwiegen oft den initialen Aufwand.

Fazit

Die Firmware stellt die Brücke zwischen Hardware und Software dar. Sie beeinflusst maßgeblich die Leistung und Funktionalität von Geräten. Durch ein tiefes Verständnis und sorgfältige Implementierung kann man sicherstellen, dass Geräte zuverlässig und effizient arbeiten. In einer Zeit, in der Technologie in beinahe jedem Aspekt des Lebens eine Rolle spielt, verdient sie die Aufmerksamkeit, die sie benötigt.

Der Beitrag Firmware – Das Herzstück moderner Geräte erschien zuerst auf CEOsBay.

Wie funktioniert SonarQube?

SonarQube besteht aus drei Komponenten

1. Einem Modul für Build-Management-Tools wie Apache Maven oder Apache Ant. (Hauptsächlich für die Analyse des Quelltextes hinsichtlich verschiedener Qualitätsmerkmale.)
2. Einer Datenbank, für Speicherung der Ergebnisse der Qualitätsanalyse.
3. Einer Website für die visuelle Darstellung, Auswertung und das Management der Qualitätsanalyse-Ergebnisse.

Durch diese Architektur kann man sowohl eine Prüfung des Quelltextes auf dem Entwicklungsrechner ermöglichen als auch eine Einbindung von SonarQube in den Entwicklungsprozess gewährleisten. Dies unterstützt die Ermittlung der Qualitätsmetriken auf einem Build-Server für die kontinuierliche Integration.

SonarQube analysiert den Quelltext hinsichtlich der Abdeckung durch Modultests, checkt den Quellcode nach doppeltem Code und in Bezug auf die Komplexität. Auch werden unter anderem potenzielle Fehler im Code, Kodier-Richtlinien als auch Kommentare überprüft.

Modularer Aufbau und Erweiterungen

SonarQube ist modular aufgebaut und integriert selbst einige bekannte Entwicklungswerkzeuge zur Analyse der Codequalität, darunter PMD und Checkstyle für die Erkennung von doppeltem Code für die Prüfung von Kodier-Richtlinien. Damit wird unter anderem auch nach ineffizientem Code gesuche. FindBugs dient beispielsweise zum Aufdecken potenzieller Fehler sowie Surefire und Cobertura zur Messung der Qualität der Modultests.

Diese Werkzeuge nutzen entsprechend ihrer Natur und Einsatzgebiete Metriken, um die jeweiligen Auswertungen bzw. Statistiken zu erzeugen. Der Name „Metrik“ trägt jedoch wenig Bedeutung von dem in sich, was eine Metrik ausmacht. Schlägt man nämlich nach woher der Name kommt, landet man im Lateinischen: „ars metrica„, die Lehre von den Maßen. Fragt man jedoch das Institute of Electrical and Electronics Engineers, was eine Softwaremetrik ist, erhält man folgende Antwort:

„software quality metric: A function whose inputs are software data and whose output is a single numerical value that can be interpreted as the degree to which software possesses a given attribute that affects its quality.“ „Eine Softwarequalitätsmetrik ist eine Funktion, die eine Software-Einheit in einen Zahlenwert abbildet, der als Erfüllungsgrad einer Qualitätseigenschaft der Software-Einheit interpretierbar ist.“ – IEEE Standard 1061, 1998

Folglich bedeutet dies, dass es sich bei einer Metrik am Ende des Tages um eine Funktion handelt, die für beliebige Eingaben Zahlen erzeugt. Die Beschaffenheit ist so, dass sie, nur so 

lange sie von derselben Funktion erzeugt wurden, vergleichbar sind. Dadurch kann man Rückschlüsse auf die Eingabe mit Hinblick auf die Funktion erzielen.

Ein Beispiel dafür ist die McCabe-Metrik, auch zyklomatische Komplexität genannt. Diese sehr grundlegende Metrik berechnet die Anzahl der unterschiedlichen Pfade durch ein Stück Code. Die Formel ist relativ einfach: Es wird die Anzahl an Kontrollstrukturen wie if, while, case und boolescher Operatoren wie && und || summiert und nochmals mit 1 addiert. Möchte man diese Information nochmals anhand eines Beispiels betrachten, sieht es folgendermaßen aus:

String nameDesWochenTags(int nr) {
  switch(nr) {
    case 1: return "Montag";
    case 2: return "Dienstag";
    case 3: return "Mittwoch";
    case 4: return "Donnerstag";
    case 5: return "Freitag";
    case 6: return "Samstag";
    case 7: return "Sonntag";
  }
  return "";
}

Diese relativ einfache Methode gibt den Namen eines Wochentages entsprechend seiner 1-indizierten Position innerhalb der Woche zurück. Ihre zyklomatische Komplexität beträgt 8. Zumal 1 + 7 x case. Dies ist ein verhältnismäßig hoher Wert. Ein Maximalwert von 10 gilt als allgemein akzeptiert und ausreichend erprobt. Um also die Komplexität dieser Methode zu verringern, findet eine Refaktorisierung statt, die folgendermaßen aussehen kann:

String nameDesWochenTags(int nr) {
  String[] names = new String[] {
    "Montag", "Dienstag", "Mittwoch",
    "Donnerstag", "Freitag", "Samstag",
    "Sonntag"
  };
  if(nr) > 0 && <= names.length) {
    return names[nr - 1];
  }
  return "";
}

Die zyklomatische Komplexität dieser Methode beträgt 3. Zumal 1 + 1 x if + 1 x &&. Durch den unterschiedlichen Ansatz kann man die Komplexität verringern. Dennoch ist es relativ unstrittig, dass die erste Version leichter zu verstehen ist.

Will man nun also alle Tools gemeinsam benutzen, muss man alle konfigurieren und ihre Ergebnisse zusammenführen, damit sich ein Gesamtbild darstellen lässt. Außerdem kommt es dabei zwangsweise zu Dopplungen in ausgewerteten Metriken oder anderen Kennzahlen. PMD beispielsweise besitzt durch seinen relativ vagen Aufgabenbereich Überschneidungen im Hinblick auf Codestil mit checkstyle, während es aber auch genauso wie FindBugs auf toten Code achtet. An solchen und weiteren Stellen kann SonarQube Verbesserungen herbeiführen.

Neben der visuellen Anzeige der Ergebnisse der einzelnen Bereiche, ermöglicht SonarQube das Drill-Down der Ergebnisse bis auf die einzelne Metrik und Codezeile sowie die Verknüpfung der einzelnen Metriken sowie die Darstellung ihrer historischen Entwicklung in einer recht übersichtlichen grafischen Oberfläche.

Über einen ausgeklügelten Plugin-Mechanismus ist eine relativ einfache Integration von Erweiterungen möglich. Neben den Erweiterungen für die Analyse zusätzlicher Programmiersprachen gibt es Plugins für ergänzende Metriken, Governance, Schnittstellen zu Entwicklungsumgebungen, Visualisierungen, Integration sowie zur Berechnung der technischen Schuld(en).

Fazit

Ich arbeite noch nicht so lange mit SonarQube. Um genau zu sein, habe ich es mir erst heute das erste Mal angeschaut. Zusammenfassend kann ich folgendes sagen:

Statistiken sind zwar interessant und es kann Spaß machen, sich diese anzuschauen, doch ist eine statische Codeanalyse erst dann wirklich vollständig, wenn ein Mindestmaß an Interpretation hineingeflossen ist.

Die Codeanalyse liefert ein gutes Gefühl für die Codebasis. Erst so kann man fundierte Aussagen darüber treffen, welche Bereiche des Projekts besonders gefährdet, instabil oder verbesserungsfähig sind.

Regelmäßige Analysen können die Teammotivation erhöhen. Eine positive Issuebilanz am Ende eines Sprints und aufwärtszeigende Historiengraphen sollten gute Treiber für eine Gruppe Entwickler und ein Beweis für die eigene Leistung sein.

Alles in allem sind Analyseergebnisse immer gut als Argumentationsgrundlage. Mit Hilfe der Projekthistorie, die eine Auswahl gut darstellbarer Kennzahlen beinhaltet, kann man vor Kunden oder Entscheidern besser über ein eventuell nötiges technisches Release diskutieren.

Der Beitrag SonarQube – Das Code-Qualitätsmanagement-Tool erschien zuerst auf CEOsBay.

Apache Kafka ist die Entwicklung von LinkedIn. Seit 2012 ist es Teil der Apache Software Foundation. Im Jahr 2014 gründeten die Entwickler das Unternehmen Confluent aus LinkedIn heraus, welches die Weiterentwicklung von Apache Kafka fokussiert. Apache Kafka ist ein verteiltes System, das skalierbar und fehlertolerant und somit für Big-Data-Anwendungen geeignet ist.

Wie funktioniert Apache Kafka?

Den Kern des Systems bildet ein Rechnerverbund (Cluster), bestehend aus sogenannten Brokern. Broker speichern Schlüssel-Wert-Nachrichten zusammen mit einem Zeitstempel in Topics. Topics wiederum sind in Partitionen aufgeteilt, die im Kafka-Cluster verteilt und repliziert sind. Innerhalb einer Partition werden die Nachrichten in der Reihenfolge gespeichert, in der sie geschrieben wurden. Lese- und Schreibzugriffe umgehen den Arbeitsspeicher durch die direkte Anbindung der Festplatten mit dem Netzwerkadapter (Zero Copy), so dass weniger Kopiervorgänge vor dem Schreiben oder Versenden von Nachrichten nötig sind.

Was ist Zero Copy im Kontext Apache Kafka?

Zero Copy „Null-Kopie“ beschreibt Computeroperationen, bei denen die CPU keine Daten von einem Speicherbereich in einen anderen kopiert oder bei denen unnötige Datenkopien vermieden werden. Dies wird häufig verwendet, um CPU-Zyklen und Speicherbandbreite bei vielen zeitaufwändigen Aufgaben zu sparen. Beispielsweise bei der Übertragung einer Datei mit hoher Geschwindigkeit über ein Netzwerk, wodurch die Leistung von Programmen (Prozessen), die von einem Computer ausgeführt werden, verbessert wird.

Anwendungen, die Daten in einen Kafka-Cluster schreiben, werden als Producer bezeichnet, Anwendungen, die Daten von dort lesen, als Consumer. Zur Datenstromverarbeitung besteht die Möglichkeit, Kafka Streams zu verwenden. Kafka Streams ist eine Java-Bibliothek, die Daten aus Kafka liest, verarbeitet und die Ergebnisse nach Kafka zurückschreibt. Auch die Verwendung mit anderen Stream-Verarbeitungssystemen ist möglich. Ab der Version 0.11.0.0 ist „„transaktionales Schreiben“ auch möglich, dadurch ist garantiert, dass die Verarbeitung von Nachrichten exakt ein einziges Mal stattfindet, wenn eine Anwendung Kafka Streams verwendet. Stichwort (Exactly-Once processing) – Wobei dies ein Thema für sich darstellt und den Rahmen hier sprengen würde.

Kafka unterstützt zwei Arten von Topics: „normal“ und „compacted“ Topics. Normale Topics garantieren, Nachrichten für einen konfigurierbaren Zeitraum vorzuhalten oder einen gewissen Speicherbedarf nicht zu überschreiten. Liegen Nachrichten vor, die älter sind als die konfigurierte „retention time“, oder ist das Speicherlimit einer Partition überschritten, kann Kafka alte Nachrichten löschen, um Festplattenspeicher freizugeben. Standardmäßig speichert Kafka Nachrichten für 7 Tage, aber es ist auch möglich, Nachrichten für immer zu speichern. Neben „normal“ Topics bietet Kafka auch „compacted“ Topics an, die keiner Zeit- oder Platzlimitierung unterliegen. Stattdessen werden neuere Nachrichten als Aktualisierung („updates“) alter Nachrichten mit dem gleichen Schlüssel interpretiert. Dadurch ist garantiert, dass keine Löschung der neuesten Nachricht pro Schlüssel stattfindet. Nutzer können Nachrichten jedoch explizit löschen, indem sie eine Spezialnachricht (sog. tombstone) mit null-Wert für den entsprechenden Schlüssel schreiben.

Apache Kafka bietet vier Hauptschnittstellen an:

• Producer API
  Für Anwendungen, die Daten in einen Kafka-Cluster schreiben wollen. 
• Consumer API
  Für Anwendungen, die Daten aus einem Kafka-Cluster lesen wollen.
• Connect API
  Import/Export-Schnittstelle zur Anbindung von Drittsystemen und baut auf der Consumer- und der Producer-API auf. Kafka Connect führt sogenannte Konnektoren („connectors“) aus, welche die eigentliche Kommunikation mit dem Drittsystem übernehmen. Dabei definiert die Connect-API die Programmierschnittstellen, die von einem Connector implementiert werden müssen. Es gibt bereits viele frei verfügbare und kommerzielle Konnektoren, die genutzt werden können. Apache Kafka liefert selbst keine produktreifen Konnektoren.
• Streams API
  Java-Bibliothek zur Datenstromverarbeitung. Die Bibliothek ermöglicht es, zustandsbehaftete Datenstromverarbeitungsprogramme zu entwickeln, die sowohl skalierbar, flexibel als auch fehlertolerant sind. Dafür bietet Kafka Streams eine eigene domänenspezifische Sprache (DSL) an, die Operatoren zum Filtern, Abbilden (Mappen) oder Gruppieren enthält. Des Weiteren werden Zeitfenster, Joins, und Tabellen unterstützt. Ergänzend zur domänenspezifischen Sprache ist es auch möglich, eigene Operatoren in der Processor-API zu implementieren. Diese Operatoren können auch in der domänenspezifischen Sprache genutzt werden. Zur Unterstützung zustandsbehafteter Operatoren wird RocksDB verwendet. Dies erlaubt es, Operatorzustände lokal vorzuhalten und Zustände, die größer als der verfügbare Hauptspeicher sind, als RocksDB-Daten auf die Festplatte auszulagern. Um den Anwendungszustand verlustsicher zu speichern, werden alle Zustandsänderungen zusätzlich in einem Kafka-Topic protokolliert. Im Falle eines Ausfalls können alle Zustandsübergänge aus dem Topic ausgelesen werden, um den Zustand wiederherzustellen.

Die Consumer- und Producer-Schnittstellen basieren auf dem Kafka-Nachrichtenprotokoll und können als Referenzimplementierung in Java angesehen werden. Das eigentliche Kafka-Nachrichtenprotokoll ist ein binäres Protokoll und erlaubt es damit, Consumer- und Producer-Clients in jeder beliebigen Programmiersprache zu entwickeln. Damit ist Kafka nicht an das JVM-Ökosystem gebunden.

Fazit

Apache Kafka bietet als Plattform ein redundantes und skalierbares Event-Streaming. Es funktioniert sowohl auf einem einzelnen Server als auch in riesigen Clustern mit multiplen Brokern. Die Datenquellen und Senken werden in Kafka als Producer und Consumer bezeichnet, die Events in Topics schreiben oder aus Topics lesen. Zusätzlich können verschiedene Systeme über Kafka Connect angebunden werden. Eine Echtzeitdatenverarbeitung auf Stream Basis ist über das Kafka-Streams-Framework möglich. Durch Consumer Groups kann man auch die Anwendungen, die ihre Daten aus Kafka beziehen, verteilt ausgeführen, ohne dass die Verarbeitung eines Events mehrfach stattfindet.

Der Beitrag Apache Kafka – Echtzeit-Datenströme in wertvolle Einblicke verwandeln erschien zuerst auf CEOsBay.