Kurze Zeitreise

Project Jupyter entstand 2014 als Ausgliederung, aus dem von Fernando Pérez initiierten Projekts IPython. Wobei IPython nach wie vor existiert. Lediglich eher bekannt als Python Shell und Kernel für Jupyter, während das Notebook und andere sprachunabhängige Teile nun unter dem Namen Jupyter weiterentwickelt werden. Jupyter ist sprachenunabhängig und unterstützt die Ausführung vieler verschiedener Sprachen wie Julia, R, Haskell, Ruby und Python.

Im Jahr 2015 gaben GitHub und das Project Jupyter bekannt, dass das Dateiformat des Jupyter Notebooks auf der GitHub-Plattform unterstützt wird.

Ich selbst kam zwar bereits im Jahr 2015 als Producer mit Jupyter in Berührung, doch dies ist eine andere Geschichte. Wirklich gearbeitet, habe ich mit Jupyter Notebook in Bezug auf die künstliche Intelligenz bzw. dem maschinellen Lernen und dem NVIDIA Jetson bzw. dem Xavier und TX1 in Selbstregie. An dieser Stelle mein herzliches Dankeschön an Fernando Pérez und seinem unermüdlichen Einsatz für die Wissenschaft und der Open Source Szene und natürlich an NVIDIA, für die zur Verfügungstellung der DevKits (Development Kits). Wobei ich an dieser Stelle nicht garantieren kann, ob es in Ordnung ist, diese beiden im Zusammenhang zu erwähnen. Falls nicht, möchte ich mich bereits jetzt dafür entschuldigen.

Jupyter Notebook

Jupyter Notebook (früher IPython Notebooks) ist eine web-basierte interaktive Umgebung, mit der Jupyter-Notebook-Dokumente erstellt werden können. Ein Jupyter-Notebook-Dokument ist ein JSON-Dokument mit einem versionierten Schema, dass aus einer Liste von Eingabe- und Ausgabezellen besteht, die jeweils Code, Text und Plots enthalten können. Die Dateinamensendung ist „.ipynb“. Ein Jupyter Notebook kann aus der Browseroberfläche heraus in verschiedene Formate konvertiert werden (HTML, PDF, LaTeX und Folien für Präsentationen). Es bietet im Browser eine Schleife aus Eingabe, Ausführung/Ausgabe und baut dabei auf weit verbreitete Open-Source-Bibliotheken wie IPython, ZeroMQ, Tornado, Python, jQuery, Bootstrap und MathJax.

Jupyter Notebook kann verschiedene Kernels aufrufen, um die Programmierung bzw. interaktive Ausführung von Anweisungen in verschiedenen Sprachen zu unterstützen.

Jupyter Kernel

Der Kernel ist ein Programm, dass verschiedene Arten von Anfragen bearbeitet. Da Kernels über ZeroMQ kommunizieren, können sie auf der gleichen Maschine oder auf anderen Maschinen im Netzwerk in Betrieb genommen werden. Kernels erkennen nicht, mit welchem Dokument sie verbunden sind, und können von vielen Clients gleichzeitig aufgerufen werden. In der Regel ist ein Kernel für eine Programmiersprache ausgelegt. Der Kernel für Python wird mit ausgeliefert. Die Menge an Kernels mit der Unterstützung verschiedenster Programmiersprachen nimmt stetig zu.

JupyterHub

JupyterHub bringt die Leistungsfähigkeit von Notebooks zu Benutzergruppen und ist als Multi-User-Server zu sehen. Es gibt den Nutzern Zugang zu Rechenumgebungen und Ressourcen, ohne sie mit Installations- und Wartungsaufgaben zu belasten. Benutzer – einschließlich Studenten, Forscher und Datenwissenschaftler – können ihre Arbeit in ihren eigenen Arbeitsbereichen auf gemeinsam genutzten Ressourcen erledigen, die von Systemadministratoren effizient verwaltet werden können.

JupyterHub läuft in der Cloud oder auf der eigenen Hardware und ermöglicht es, jedem Benutzer auf der Welt eine vorkonfigurierte Data-Science-Umgebung zur Verfügung zu stellen. Es ist anpassbar und skalierbar und eignet sich für kleine und große Teams, akademische Kurse und groß angelegte Infrastrukturen.

JupyterLab

JupyterLab ist die webbasierte interaktive Entwicklungsumgebung für Notebooks, Code und Daten und damit das Nachfolgeprodukt für die GUI (Benutzeroberfläche). Mit der flexiblen Oberfläche können Benutzer Arbeitsabläufe in den Bereichen Datenwissenschaft, wissenschaftliche Berechnungen, Computerjournalismus und maschinelles Lernen konfigurieren und gestalten.

Fazit

Ein objektives Fazit fällt mir an dieser Stelle schwer, da ich die Lösungen nur für mich und allein verwendet habe. Interessant wäre es gewesen, dies in einem Team zu machen. Ich kann mir vorstellen, dass es bei der Versionierung durchaus einige Herausforderungen geben kann. Auch beim Mergen (Zusammenführen) von Code, kann sich dieses Unterfangen wahrscheinlich etwas komplizierter gestalten. Daher enthalte ich mich in diesem Fall bis auf Weiteres. Ich bin davon überzeugt, dass ich auch in Zukunft Berührungspunkte damit habe und diesen Artikel dementsprechend erweitere oder zumindest auf neue Artikel verweise.

Der Beitrag Projekt Jupyter – Plattform für interaktive Datenanalyse und kollaboratives Arbeiten erschien zuerst auf CEOsBay.

Welche Kommunikationsschnittstellen lassen sich analysieren?

Wireshark kann den Datenverkehr auf Ethernet-, USB- oder WLAN-Schnittstellen mitlesen. Die primären Einsatzgebiete sind das Netzwerk-Monitoring, die Fehlersuche sowie Fehleranalyse und die IT-Sicherheitsüberwachung. Und ja, auch für Hacker ist es ein beliebtes Tool.

Eine kurze Zeitreise zu den Anfängen von Wireshark

In den 90er Jahren arbeitete Gerald Combs, ein Informatik-Absolvent der University of Missouri-Kansas City, für einen kleinen Internet-Dienstanbieter. Die kommerziellen Produkte zur Protokollanalyse waren damals relativ teuer und liefen nicht auf den Hauptplattformen Solaris und Linux, welches das Unternehmen im Einsatz hatte. Also beschloss der junge Gerald, selbst eine Anwendung dafür zu schreiben und fing mit der Entwicklung von Ethereal an. Seine erste Version wurde gegen 1998 veröffentlicht.

Im Mai 2006 nahm Combs eine Stelle bei CACE-Technologies an. Er war der Urheber für den größeren Teil des Ethereal-Quellcodes und der Rest des Codes war ohnehin unter GNU GPL bereits Open Source, so dass er den Inhalt des Ethereal-Subversion-Repository als Grundlage für seine neue Repository verwenden konnte. Nachdem er zeitgleich auch Markeninhaber von Ethereal war, änderte er den Namen kurzerhand in Wireshark. Im Jahr 2010 kaufte Riverbed Technology CACE auf und übernahm die Rolle des Hauptsponsors von Wireshark. Die Entwicklung von Ethereal wurde kurze Zeit später eingestellt und in einem Sicherheitshinweis von Ethereal wurde der Wechsel zu Wireshark empfohlen. Wireshark hat im Laufe der Jahre mehrere Branchenauszeichnungen abgeräumt. Meiner Meinung nach ist es immer noch eines der besseren Paket Sniffer überhaupt. Vor einigen Tagen wurde ich auch auf eine „neue“ Repo auf GitHub aufmerksam gemacht, die seit einem Jahr entwickelt wird und in den letzten Tagen eine GUI (Graphical User Interface bzw. Grafische Benutzeroberfläche) erhalten hat. Ich werde es mir anschauen und gegebenenfalls einen Beitrag dazu schreiben.

Combs pflegt weiterhin die Repo von Wireshark und veröffentlicht immer wieder neue Updates der Software. Auf der Produktwebsite sind fast 2000 weitere Autoren aufgelistet, die ihren Beitrag leisten und geleistet haben.

Was macht Wireshark eigentlich?

Wireshark erkennt als paketorientierter Sniffer viele verschiedene Protokolle und visualisiert die wichtigsten Informationen der Protokollheader übersichtlich und leicht lesbar. Für das Mitlesen der Daten nutzt Wireshark Zusatzprogramme wie WinPcap, usbpcap oder pcap. Zur veranschaulichten Darstellung der aufgezeichneten Daten sind Verbindungsübersichten, statistische Informationen zum Datenfluss und Ablaufdiagramme von Kommunikationsverbindungen erstellbar. Darüber hinaus sind binäre Daten aus dem aufgezeichneten Datenstrom extrahierbar, sie sich im Anschluss konvertieren lassen.

Was ist WinPcap

WinPcap ist eine als Freeware vertriebene Programmbibliothek, bestehend aus einem Treiber, der Hardware-nahen Zugriff auf die Netzwerkkarte ermöglicht und einer Sammlung von Werkzeugen, die den bequemen Zugriff auf die einzelnen für Netzwerke relevanten Schichten des OSI-Modells bieten. Das OSI-Modell hilft im Grunde genommen Herstellern von Netzwerkgeräten und Netzwerksoftware: Geräte und Software zu entwickeln, die mit Produkten anderer Hersteller kommunizieren können, was eine offene Interoperabilität ermöglicht. Im Laufe der letzten Jahre hat sich Wireshark als Standard-Werkzeug für Netzwerkanalysen etabliert. Auf den Download-Seiten von Wireshark sind Quellpakete und Installationsprogramme für Unix-, Windows- und MacOS-Systeme zu finden. Installationsassistenten für Windows erleichtern die Installation.

Was ist USBPcap?

USBPcap ist ein Open-Source-USB-Sniffer für Windows.

Was ist pcap?

Im Bereich der Computernetzwerkverwaltung ist pcap eine Anwendungsprogrammierschnittstelle (API) zur Erfassung des Netzverkehrs.

Anwendungsbereiche von Wireshark

Die technischen Möglichkeiten der Software sind sehr bereitgefächert. Die aufgezeichneten Daten lassen sich in Echtzeit oder auch in Form von einzelnen Paketen mit leicht lesbaren Headerinformationen darstellen. Über verschiedene Protokollfilter werden die Daten aufbereitet. Auch der tatsächliche Inhalt der Datenpakete ist auswertbar. Am häufigsten wird der Sniffer für die Protokoll-Analyse auf den Schnittstellen Ethernet und im WLAN für Netzwerkprotokolle der TCP/IP-Familie eingesetzt.

Darüber hinaus ist das Tool wie bereits erwähnt in der Lage, Datenverkehr auf anderen Schnittstellen wie Bluetooth oder USB aufzuzeichnen und auszuwerten. Voraussetzung für das Mitlesen auf der jeweiligen Schnittstelle ist die Installation eines entsprechenden Capture-Programmpakets wie WinPcap sowie die Zugriffsberechtigung des Benutzers auf die jeweiligen Schnittstellen.

Um sich die Informationen anzeigen zu lassen wird von Wireshark eine Extraktion initiiert, der aus diversen Protokollen Meta-Informationen aus dem Kontext des Datenflusses zieht. Man kann auch eigene Module und Filter für bestimmte Netzwerkprotokolle erstellen.

Wird kein Filter verwendet, zeichnet Wireshark den gesamten Datenverkehr der Schnittstelle auf. Um die Datenmenge zu reduzieren und sich auf das zu analysierende Netzwerkprotokoll zu konzentrieren, können Capture-Filter eingesetzt werden. Mit einem Capture-Filter lassen sich IP-Adressen (auch Bereiche), Protokolle, Protokollnachrichten und viele weitere Parameter einstellen. Ein Filter mit einer vorgegebenen IP-Adresse beschränkt den aufgezeichneten Verkehr auf die Pakete von und zu einzelnen Netzwerkkomponenten.

Über die Stream-Verfolgung ist es möglich, gezielt einzelne TCP-Streams aufzuzeichnen und zu analysieren. Weitere wichtige Features von Wireshark sind die Statistik-Funktionen. Sie erlauben das Erstellen von Statistiken zum Datenverkehr hinsichtlich Parameter wie Paketlängen, Typen von Netzwerkprotokollen, Verbindungsendpunkten, Antwortzeiten, Kommunikationsbeziehungen oder IP-Adressen. Funktionen zu UDP Multicast-Streams, Signal-Traffic (SIP) und Voice-Traffic (RTP) analysieren den VoIP-Verkehr auf einer Netzwerkschnittstelle relativ präzise und tiefgehend. Mit wenigen Klicks sind die verschiedenen RTP-Streams herausgefiltert und grafisch dargestellt. Per Statistikfunktionen sind die für die Qualität der VoIP-Kommunikation wesentliche Merkmale wie Jitter oder Delay extrahierbar und zu visualisieren.

Einsatz von Wireshark in geswitchten Netzwerken

Wireshark kann nur den Datenverkehr einer bestimmten Schnittstelle des Rechners, auf dem die Software installiert ist, mitlesen. In einer geswitchten Umgebung, sind können lediglich die vom Rechner gesendeten oder empfangenen Pakete sowie die an alle adressierten Broadcast-Pakete protokolliert werden. Nur in einem unverschlüsselten WLAN oder am Port eines Hubs ist der gesamte Netzwerkverkehr analysierbar.

Soll in einer geswitchten Umgebung der Verkehr eines bestimmten Rechners mitgeschnitten und analysiert werden, empfiehlt sich die Verwendung der so genannten Mirror-Funktion eines Switches. Damit kann man den Netzwerkverkehr eines definierten Switchports auf einen anderen Port spiegeln. An diesen kann dann ein weiterer Rechner mit installiertem Netzwerk-Sniffer angeschlossen werden, mit dem sich der Datenverkehr des gespiegelten Ports aufzeichnen und auswerten lässt.

Wireshark als Analysetool

Man kann mit Wireshark nicht nur den eigens ermittelten Datenverkehr analysieren. Es ist auch möglich, Capture-Daten verschiedener Formate anderer LAN-Analyse-Tools oder oder Netzkomponenten einzulesen und auszuwerten. Zahlreiche Geräte wie Router oder Switches verschiedener Hersteller bieten die Möglichkeit an, den Datenverkehr in einem für Wireshark lesbaren Format aufzuzeichnen. Dazu zählen beispielsweise die in Deutschland sehr beliebten Fritzbox-Router des Herstellers AVM.

Wireshark, um Schwachstellen der IT-Sicherheit zu ermitteln

Ein wichtiges Einsatzgebiet von Wireshark ist auch das Umfeld der Netzwerk-Sicherheit. Man kann damit im Grunde genommen die IT-Sicherheit überprüfen. Schwachstellen lassen sich aufspüren und verdächtiger Datenverkehr identifizieren. So sind sämtliche Kommunikationspartner einer bestimmten Netzwerk-Node anhand der IP-Adressen identifizierbar. Verdächtige Pakete zu oder von unbekannten IP-Adressen sind schnell bestimmt. Kommt die Software an zentrale Schnittstellen eines Netzwerks wie beispielsweise auf dem Interface zum Internetanschluss oder an der WAN-Schnittstelle eines Routers zum Einsatz, erfasst die Software sämtliche Ein- und Ausgänge des Datenverkehrs. So ziemlich alles ist auswertbar und identifizierbar.

Gesetzliche und datenschutzrechtliche Aspekte zum Einsatz von Wireshark

Beim Einsatz von Wireshark sind einige gesetzliche Aspekte zu beachten. In Deutschland ist es verboten, fremde Netzwerkverbindungen mitzulesen und aufzuzeichnen. Während die Verwendung des Netzwerkanalysators im eigenen Netz in der Regel unproblematisch ist, muss für den Einsatz des Tools in fremden Netzwerkumgebungen eine Erlaubnis eingeholt werden. Auch die datenschutzrechtlichen Bestimmungen sind bei der Aufzeichnung, Speicherung und Weitergabe von Mitschnitten unbedingt einzuhalten. Hierzu macht es meistens Sinn, einen Datenschutzbeauftragten bzw. Juristen einzuschalten.

Fazit

Sniffing macht im Interesse der Sicherheit immer Sinn und ist auch notwendig. Einerseits um Fehler im Netzwerk aufzuspüren und andererseits, um Hacker oder Schadsoftware aufzuspüren. Man muss also keine Unsummen bezahlen, um sich, das Eigene- oder das Firmennetzwerk zu schützen. Manchmal reicht auch das richtige Werkzeug mit dem richtigen Anwender.

Und nicht vergessen! Sniffing zum Zwecke der Datenausspähung ist strafbar!

Der Beitrag Wireshark – Netzwerkanalyse und Sicherheit mit dem ultimativen Open-Source-Tool erschien zuerst auf CEOsBay.