Im Vergleich zu einem Recognizer, der die Eingabe analysiert und ausgibt, ob diese im Sinne der Vorgaben richtig oder falsch ist, gibt der Parser die Analyse einer Eingabe in einer gewünschten Form aus und erzeugt zusätzlich Strukturbeschreibungen.

Wie funktioniert ein Parser?

Zur Analyse des Texts verwenden Parser in der Regel einen separaten Lexer. Dieser zerlegt die als Zeichenkette vorliegenden Eingabedaten in Token (Eingabesymbole bzw. „Wörter“, die es versteht). Weil die Zerlegung in Token einer regulären Grammatik folgt, ist der Scanner meist ein endlicher Automat. Token dienen als atomare Eingabezeichen des Parsers. Parser, die keinen separaten Scanner verwenden, nennt man Scannerless Parser.

Der eigentliche Parser als Implementierung eines abstrakten Automaten, meist realisiert als Kellerautomat, kümmert sich dagegen um die Grammatik der Eingabe, führt eine syntaktische Überprüfung der Eingangsdaten durch und erstellt in der Regel aus den Daten einen Ableitungsbaum, den man im Anschluss zur Weiterverarbeitung der Daten verwendet. Typische Anwendungen sind die semantische Analyse, Codegenerierung in einem Compiler oder die Ausführung durch einen Interpreter.

Bei HTML zerlegt ein lexikalischer Scanner beispielsweise die HTML-Datei in HTML-Tags und Fließtext. Diese Bestandteile reicht es dann an den Parser weiter. Der Scanner ist also ausschließlich auf das Aussehen der Syntaxelemente aus. Spitze Klammern = HTML-Tag 😉 Siehe auch meinen Beitrag über HTML.

Der Parser übernimmt die übernimmt die Verarbeitung der syntaktischen Zusammenhänge, untersucht, welche Paare von Tags zusammengehören bzw. wie die Tags ineinander verschachtelt sind. Die inhaltliche Bedeutung der Tags interessiert den Parser dagegen nicht. Die Berücksichtigung findet erst in der darauffolgenden Weiterverarbeitung statt.

Veranschaulicht, ist ein Parser die Software, welche die Anweisungen im Quelltext des Users überprüft, weiterverarbeitet und weiterleitet.

Welche Typen von Parsern gibt es?

Man unterscheidet bei der allgemeinen Vorgehensweise verschiedene Parse-Verfahren. Folglich erfolgt die Unterscheidung nach der Reihenfolge, in der die Knoten des Ableitungsbaums erstellt sind. Beispiele hierfür sind: Top-Down, auch theoriegetriebenes Parsing; Bottom-Up, auch eingabegetriebenes Parsing; Left Corner, spezifischer Vorgehensweise (LL, LR, SLR, LALR, LC, …) und Implementierungstechnik (rekursiv absteigend, rekursiv aufsteigend oder tabellengesteuert) unterschieden. Weiter erfolgt die Unterscheidung auch, wie bereits erwähnt, nach der Grammatikart.

Parser für kontextsensitive Grammatiken

Das Parsen wohldefinierter künstlicher Sprachen, hierbei ist natürlich die Rede von Programmiersprachen, ist weniger komplex als das Parsen frei gewachsener natürlicher Sprachen wie Englisch, Deutsch oder einer anderen Sprache, die durch eine Vielzahl von Mehrdeutigkeiten, Irregularitäten und Inkonsistenzen geprägt sind. Wobei man hierüber mehr in der Computerlinguistik erfährt, über die ich in einem zukünftigen Beitrag schreiben werde.

Fallbeispiel

Man setzt Parser häufig ein, um eine Aneinanderreihung von Symbolen zu einer Baumstruktur zu adaptieren. Dies kann bei einem mathematischen Ausdruck folgenderweise aussehen:

7+(7+7)-sin(π) 

Die weitere Aufgabe des Parsers ist nun, die zugrundeliegende Struktur dieser Symbolfolge zu erkennen. Häufig geschieht dies in Form eines Parsebaums (abstrakter Syntaxbaum), der in diesem Fall folgendermaßen aussehen kann:

Wo finden Parser Anwendung

• HTML-Code besteht aus reinem Text. Der in einem Webbrowser standardmäßig enthaltene Parser erstellt daraus den logischen Aufbau als Datenstruktur. Das Aussehen dieser Elemente wird getrennt via CSS definiert.
• XML-Parser analysieren XML-Dokumente und stellen die darin enthaltenen Informationen für die weitere Verarbeitung zur Verfügung.
• RSS-Parser wandeln RSS-Feeds in ein passendes Datenformat um. Beispielsweise für eine HTML-Seite.
• URI-Parser lösen Schemata wie URLs in ihren hierarchischen Aufbau auf.
• Logdatei-Parser dienen zum Extrahieren von relevanten Informationen aus Webserver-Protokolldateien, Ereignisprotokollen und anderer in Logdateien gespeicherter Informationen zur automatisierten Analyse.
• Suchmaschinen parsen Webseiten und crawlen relevante Textpassagen.
• Auslesen einer Programmiersprache. Aus der erhaltenen Datenstruktur kann ein Compiler dann Maschinencode bzw. Bytecode erzeugen.
• Ein Kommandozeileninterpreter parst Befehle mitsamt deren Parameter für die korrekte Ausführung der Anweisungen des Benutzers. Das ältere Publikum, die mit DOS vertraut sind, kennen dies vielleicht noch aus der command.com Datei 😉
• In Textadventures wie erfolgt die Steuerung der Spielfigur über die Eingabe von Befehlen in natürlicher Sprache, z. B. „Gehe in den Raum“, „Öffne Tür“ usw. Der Parser greift auf eine Datenbank aller manipulierbarer Objekte im Spiel zu und analysiert, welche Interaktion mit welchen Objekten der Spielwelt der Spieler mit seiner Befehlseingabe meinte.

Fazit

Es gibt verschiedene Parser. Je nach der zu analysierenden Grammatik sucht man sich den passenden Parser aus. Durch die richtige Wahl resultieren bessere und akkuratere Ergebnisse. Durch den Einsatz von diversen Parsern ist es auch möglich, sich relevante Informationen aus den verschiedensten Quellen heranzuziehen. Angefangen von Börsen Daten, über Wetterinformationen und bis hin zu allem, was das Herz begehrt. Sowohl die Anwendungsentwicklung, als auch das Web ist heute ohne einen Parser kaum mehr vorstellbar.

Der Beitrag Parser – Die Macht der Datenverarbeitung erschien zuerst auf CEOsBay.

Apache Kafka ist die Entwicklung von LinkedIn. Seit 2012 ist es Teil der Apache Software Foundation. Im Jahr 2014 gründeten die Entwickler das Unternehmen Confluent aus LinkedIn heraus, welches die Weiterentwicklung von Apache Kafka fokussiert. Apache Kafka ist ein verteiltes System, das skalierbar und fehlertolerant und somit für Big-Data-Anwendungen geeignet ist.

Wie funktioniert Apache Kafka?

Den Kern des Systems bildet ein Rechnerverbund (Cluster), bestehend aus sogenannten Brokern. Broker speichern Schlüssel-Wert-Nachrichten zusammen mit einem Zeitstempel in Topics. Topics wiederum sind in Partitionen aufgeteilt, die im Kafka-Cluster verteilt und repliziert sind. Innerhalb einer Partition werden die Nachrichten in der Reihenfolge gespeichert, in der sie geschrieben wurden. Lese- und Schreibzugriffe umgehen den Arbeitsspeicher durch die direkte Anbindung der Festplatten mit dem Netzwerkadapter (Zero Copy), so dass weniger Kopiervorgänge vor dem Schreiben oder Versenden von Nachrichten nötig sind.

Was ist Zero Copy im Kontext Apache Kafka?

Zero Copy „Null-Kopie“ beschreibt Computeroperationen, bei denen die CPU keine Daten von einem Speicherbereich in einen anderen kopiert oder bei denen unnötige Datenkopien vermieden werden. Dies wird häufig verwendet, um CPU-Zyklen und Speicherbandbreite bei vielen zeitaufwändigen Aufgaben zu sparen. Beispielsweise bei der Übertragung einer Datei mit hoher Geschwindigkeit über ein Netzwerk, wodurch die Leistung von Programmen (Prozessen), die von einem Computer ausgeführt werden, verbessert wird.

Anwendungen, die Daten in einen Kafka-Cluster schreiben, werden als Producer bezeichnet, Anwendungen, die Daten von dort lesen, als Consumer. Zur Datenstromverarbeitung besteht die Möglichkeit, Kafka Streams zu verwenden. Kafka Streams ist eine Java-Bibliothek, die Daten aus Kafka liest, verarbeitet und die Ergebnisse nach Kafka zurückschreibt. Auch die Verwendung mit anderen Stream-Verarbeitungssystemen ist möglich. Ab der Version 0.11.0.0 ist „„transaktionales Schreiben“ auch möglich, dadurch ist garantiert, dass die Verarbeitung von Nachrichten exakt ein einziges Mal stattfindet, wenn eine Anwendung Kafka Streams verwendet. Stichwort (Exactly-Once processing) – Wobei dies ein Thema für sich darstellt und den Rahmen hier sprengen würde.

Kafka unterstützt zwei Arten von Topics: „normal“ und „compacted“ Topics. Normale Topics garantieren, Nachrichten für einen konfigurierbaren Zeitraum vorzuhalten oder einen gewissen Speicherbedarf nicht zu überschreiten. Liegen Nachrichten vor, die älter sind als die konfigurierte „retention time“, oder ist das Speicherlimit einer Partition überschritten, kann Kafka alte Nachrichten löschen, um Festplattenspeicher freizugeben. Standardmäßig speichert Kafka Nachrichten für 7 Tage, aber es ist auch möglich, Nachrichten für immer zu speichern. Neben „normal“ Topics bietet Kafka auch „compacted“ Topics an, die keiner Zeit- oder Platzlimitierung unterliegen. Stattdessen werden neuere Nachrichten als Aktualisierung („updates“) alter Nachrichten mit dem gleichen Schlüssel interpretiert. Dadurch ist garantiert, dass keine Löschung der neuesten Nachricht pro Schlüssel stattfindet. Nutzer können Nachrichten jedoch explizit löschen, indem sie eine Spezialnachricht (sog. tombstone) mit null-Wert für den entsprechenden Schlüssel schreiben.

Apache Kafka bietet vier Hauptschnittstellen an:

• Producer API
  Für Anwendungen, die Daten in einen Kafka-Cluster schreiben wollen. 
• Consumer API
  Für Anwendungen, die Daten aus einem Kafka-Cluster lesen wollen.
• Connect API
  Import/Export-Schnittstelle zur Anbindung von Drittsystemen und baut auf der Consumer- und der Producer-API auf. Kafka Connect führt sogenannte Konnektoren („connectors“) aus, welche die eigentliche Kommunikation mit dem Drittsystem übernehmen. Dabei definiert die Connect-API die Programmierschnittstellen, die von einem Connector implementiert werden müssen. Es gibt bereits viele frei verfügbare und kommerzielle Konnektoren, die genutzt werden können. Apache Kafka liefert selbst keine produktreifen Konnektoren.
• Streams API
  Java-Bibliothek zur Datenstromverarbeitung. Die Bibliothek ermöglicht es, zustandsbehaftete Datenstromverarbeitungsprogramme zu entwickeln, die sowohl skalierbar, flexibel als auch fehlertolerant sind. Dafür bietet Kafka Streams eine eigene domänenspezifische Sprache (DSL) an, die Operatoren zum Filtern, Abbilden (Mappen) oder Gruppieren enthält. Des Weiteren werden Zeitfenster, Joins, und Tabellen unterstützt. Ergänzend zur domänenspezifischen Sprache ist es auch möglich, eigene Operatoren in der Processor-API zu implementieren. Diese Operatoren können auch in der domänenspezifischen Sprache genutzt werden. Zur Unterstützung zustandsbehafteter Operatoren wird RocksDB verwendet. Dies erlaubt es, Operatorzustände lokal vorzuhalten und Zustände, die größer als der verfügbare Hauptspeicher sind, als RocksDB-Daten auf die Festplatte auszulagern. Um den Anwendungszustand verlustsicher zu speichern, werden alle Zustandsänderungen zusätzlich in einem Kafka-Topic protokolliert. Im Falle eines Ausfalls können alle Zustandsübergänge aus dem Topic ausgelesen werden, um den Zustand wiederherzustellen.

Die Consumer- und Producer-Schnittstellen basieren auf dem Kafka-Nachrichtenprotokoll und können als Referenzimplementierung in Java angesehen werden. Das eigentliche Kafka-Nachrichtenprotokoll ist ein binäres Protokoll und erlaubt es damit, Consumer- und Producer-Clients in jeder beliebigen Programmiersprache zu entwickeln. Damit ist Kafka nicht an das JVM-Ökosystem gebunden.

Fazit

Apache Kafka bietet als Plattform ein redundantes und skalierbares Event-Streaming. Es funktioniert sowohl auf einem einzelnen Server als auch in riesigen Clustern mit multiplen Brokern. Die Datenquellen und Senken werden in Kafka als Producer und Consumer bezeichnet, die Events in Topics schreiben oder aus Topics lesen. Zusätzlich können verschiedene Systeme über Kafka Connect angebunden werden. Eine Echtzeitdatenverarbeitung auf Stream Basis ist über das Kafka-Streams-Framework möglich. Durch Consumer Groups kann man auch die Anwendungen, die ihre Daten aus Kafka beziehen, verteilt ausgeführen, ohne dass die Verarbeitung eines Events mehrfach stattfindet.

Der Beitrag Apache Kafka – Echtzeit-Datenströme in wertvolle Einblicke verwandeln erschien zuerst auf CEOsBay.

Wie Twitter soll Spill einen Live-Nachrichten-Feed bekommen, in dem Nutzer „Spills“ posten können. Es soll eine Steigerung zu Mastodon‘s „Toots“ darstellen. Es nennt sich also „Spill“.

Irgendwie hat man darauf gewartet, dass sich noch ein paar Alternativen zu Twitter durch ehemalige Mitarbeiter bilden werden, oder? 😉

Nach der Redewendung „Spill the tea“ (Tee verschütten) – Und so beziehen sich die beiden Gründer Alphonzo „Phonz“ Terrell und DeVaris Brown Terrell darauf mit ihrem visuellen Auftritt auf ihrer Website. Das Motiv einer Teetasse. Und auf ihrer Website trotzt ein Meme von Kermit dem Frosch, wie er genüsslich an dem Tee schlürft (Das Meme erlangte übrigens wahre Popularität auf Black Twitter).

Was es aber meines Wissens nach wirklich bedeutet, ist – Wenn man im amerikanischen Slang von „den Tee ausschütten“ spricht, meint man in der Regel, dass „die Wahrheit“ aka „Gosspip“ aka Klatsch und Tratsch über jemanden gesprochen wird.

Warum Twitter?

Vielleicht ist es meine verschobene Wahrnehmung oder ich habe Twitter eben mit einer völlig anderen Intention genutzt. Doch irgendwie hat mich der Klatsch und Tratsch nie interessiert. Solange es um keinen Inhalt ging, der die Spezies Mensch in irgendeiner technologischen Art und Weise weitergebracht hat, war es für mich schlichtweg uninteressant. Spaß hatte ich gewisser Weise bei dem ein oder anderen Meme. Bei dem der ein oder andere Politiker bzw. Unternehmer etwas aufgezogen wurde. Aber dies war es dann auch schon.

Ich nutze und habe Twitter primär dafür genutzt, um Echtzeitinformationen von den direkten Quellen zu beziehen. Wenn Programmierer beispielsweise beabsichtigten, eine neue Lösung zu publizieren oder wenn es mal einen Brennpunkt in der Politik gab. Dafür war Twitter in meiner Vorstellung einfach ideal und schnell.

Tea time oder Teeparty?

Spill möchte scheinbar auch eine Funktion mit dem Namen „Teaparty“ einbauen. Bei der Nutzer sowohl online als auch im realen Leben, Events veranstalten können und im Anschluss In-App-Boni erhalten. Die finden dann Verwendung um Beiträge zu boosten. Nutzer sollen zwar immer noch geboostete Beiträge kaufen, aber wenn man auf Spill etwas kreiert und es startet durch, soll dies angemessen honoriert werden. So, Terrell.

Abgesehen von der multikulturellen Schiene, die sie mit dem Satz „Eine Echtzeit-Konversationsplattform, die Kultur in den Vordergrund stellt“ einschlagen, interessiert mich Spill besonders wegen der Anbindung an die Blockchain. Spill will die Blockchain-Technologie nutzen, um aufzuzeichnen, wie Beiträge viral gehen.

Auch sollen die Nutzer hinter den Beiträgen für Ihren „Erfolg“ entschädigt bzw. belohnt werden. Den Gründern sei es auch wichtig, dass Spill von Anfang an Funktionen zur Monetarisierung von Kreativen zur Verfügung stellt. Da dies ihrer Meinung nach besonders bei multikulturellen Kreisen schwierig gewesen sein soll, um an das „verdiente“ Geld zu kommen. Dennoch weigert sich Terrell bewusst, Spill als Web3-Unternehmen zu bezeichnen.

Sie gehen davon aus, dass die Plattform in etwa sechs bis acht Wochen an den Start gehen kann. Spill hat noch nicht konkret kommuniziert, wie die Umsatzbeteiligung über die Blockchain aussehen wird oder welche Methoden Verwendung finden. Sie möchten aber klarstellen, dass die Auszahlung mit Fiat-Money, also echtem Geld, in US-Dollar erfolgt und nicht in einer Kryptowährung.

Kulturelles Engagement mit künstlicher Intelligenz?

Brown, der als CTO von Spill fungiert, möchte das Engagement des Unternehmens für die Würdigung der kulturellen Hintergründe ausweiten.

Er spricht beispielsweise eine Studie an, bei der von Afroamerikanern verfasste Tweets mit einer 1,5-fachen Wahrscheinlichkeit als beleidigend oder hasserfüllt eingestuft seien. Während Tweets, die mit AAVE (African American Vernacular English) verfasst wurden, mit 2,2-facher Wahrscheinlichkeit als beleidigend eingestuft seien.

Die künstliche Intelligenz soll den kulturellen Kontext, in einer bestimmten Sprache nicht verstehen können. Dies sei primär der Annahme zu verschulden, dass Entwickler hinter der künstlichen Intelligenz Menschen sind, die die sprachlichen Nuancen anderer Kulturen nicht verstehen. Besonders auch nicht versuchen, sie zu verstehen. Als 3-sprachig aufgewachsener technologieaffiner Mensch, der heute 4 Sprachen spricht, kann ich diese Aussage weitestgehend unterstützen.

Spill entwickelt die Lösung mit einem kleinen Team, mit weniger als 10 Personen und hat drei Berater aus den verschiedensten Bereichen. Darunter auch Dantley Davis, der ehemalige Designchef von Twitter. Andere umtriebige Twitter-Konkurrenten wie Hive hatten Sicherheitsprobleme, als sie diese Art von Produkt ohne ein starkes bzw. erfahrendes Team entwickelten. Die Gründer von Spill sind jedoch zuversichtlich, dass sie nicht in dieselbe Falle tappen werden.

Warteliste

Die Warteliste von Spill ist jetzt live. Nutzer können ihr Handle bereits heute reservieren und Updates vor dem Start der Plattform erhalten.

Fazit

Wie bereits angesprochen, war es zu erwarten, dass noch die ein oder andere Twitter Alternative von ehemaligen Mitarbeitern auftaucht. Besonders auch in Anbetracht der Strategie, die derzeit von Twitter selbst verfoglt wird, muss scheinbar auch hin und wieder das Wort Blockchain oder Kryptowährung fallen. Dennoch ist man meiner Meinung nach mit konkreten Aussagen eher vorsichtig, da es dem Krypto- als auch dem daran verbundenen NFT-Bereich nicht sonderlich gut geht. Es ist abzuwarten, was sich die Gründer einfallen lassen, wenn es um die Monetarisierung der Content Creator mit Fiat Geld geht. Spannend ist es allemal und mein Handle ist mit dem üblichen Pseudonym bereits reserviert.

Der Beitrag Spill – Die nächste Stufe der Echtzeit-Konversation? erschien zuerst auf CEOsBay.