Was ist Web Crawling?

Web Crawling bezeichnet den Prozess, bei dem automatisierte Skripte, sogenannte Webcrawler oder Spiders, Webseiten systematisch durchsuchen, um Informationen zu sammeln und zu indexieren. Diese Informationen werden dann in Datenbanken von Suchmaschinen gespeichert und sind Grundlage für Suchergebnisse, wenn Nutzer eine Anfrage eingeben.

Die Geschichte des Web Crawling

Die Ursprünge des Web Crawlings liegen in den frühen Tagen des Internets. Die rasante Zunahme von Websites in den 1990er Jahren erforderte eine Methode, um diese Inhalte zu organisieren und zugänglich zu machen. Hier traten die ersten Suchmaschinen auf den Plan. Während die genaue Urheberschaft des ersten Crawlers schwer zu bestimmen ist, gilt der „Wandex“ oft als einer der ersten Webcrawler. Kurz darauf folgten viele andere, darunter der von der Stanford University entwickelte „Googlebot“.

Best Practices für effektives Web Crawling

Bei der Umsetzung eines Web Crawlers sind verschiedene Aspekte zu berücksichtigen:

1. Zielgerichtetheit:
   Klare Definition, welche Informationen gesammelt und welchen Zweck sie erfüllen.
2. Respekt vor robots.txt:
   Diese Datei gibt Webmastern die Möglichkeit, bestimmte Teile ihrer Website vor Crawling zu schützen. Ein ethischer Crawler respektiert diese Wünsche.
3. Geschwindigkeitsbeschränkungen:
   Zu aggressives Crawling kann die Performance einer Website beeinträchtigen. Es ist darauf zu achten, die Anzahl der Anfragen pro Minute zu limitieren, um Server nicht zu überlasten.
4. Aktualisierungshäufigkeit:
   Websites ändern sich ständig. Siehe diesen Blog. Mit jedem Beitrag erfolgt eine weitere Änderung. Ein effektiver Crawler erkennt, wie oft er bestimmte Seiten erneut besuchen muss, um aktuell zu bleiben.

Zu beachtende Aspekte beim Crawling

• Doppelte Inhalte:
  Es ist sicher zu stellen, dass der Crawler doppelte Inhalte erkennt und vermeidet. Dies spart Speicherplatz und vermeidet Redundanzen.
• Tiefe des Crawlings:
  Je nach Ziel kann es sinnvoll sein, nur die ersten Ebenen einer Website oder die gesamte Struktur zu durchsuchen.
• Logik zur Linkverfolgung:
  Es ist zu bestimmen, welche Links der Crawler verfolgen soll und welche nicht, um gezielte Ergebnisse zu erhalten.

Beispiel:

Ein klassisches Beispiel für die Notwendigkeit von Crawling ist die kontinuierliche Aktualisierung von Nachrichten-Websites. Ein Crawler, dessen Bestimmung die Arbeit an einer Nachrichten-Suchmaschine ist, muss regelmäßig verschiedene Quellen besuchen, um sicherzustellen, dass die neuesten Artikel und Berichte indexiert sind.

Fazit

Web Crawling bildet das Rückgrat der Suchmaschinen und ermöglicht es uns, aus dem Ozean von Online-Informationen das zu extrahieren, was wir suchen. Bei der Umsetzung eines Crawlers sind ethische Überlegungen und technische Herausforderungen zu berücksichtigen. Mit den richtigen Best Practices kann man jedoch einen effizienten und leistungsfähigen Crawler entwickelt werden.

Der Beitrag Web Crawling – Wie das Internet kartographiert wird erschien zuerst auf CEOsBay.

Kurze Zeitreise – Die Entstehung der Suchmaschinen

Die Geschichte der Suchmaschinen beginnt in den frühen 1990er Jahren. Die Idee dahinter: Internetnutzer sollten in der Lage sein, die ungeheure Menge an Informationen, die im neu entstehenden World Wide Web verfügbar war, effizient zu durchsuchen. Eines der ersten Beispiele einer Suchmaschine war „Archie“, entwickelt 1990 von Alan Emtage. Es folgten andere wie „Veronica“ und „Jughead“, doch der eigentliche Durchbruch kam mit Suchmaschinen wie „Altavista“, „Yahoo!“ und später „Google“.

Grundlegende Mechanismen von Suchmaschinen

Das Grundprinzip einer Suchmaschine besteht darin, das Web zu durchforsten (oft als „Crawling“ bezeichnet), Seiten zu indexieren und dann Antworten auf die Abfragen der Benutzer in Form von einer Liste relevanter Webseiten zu liefern. Diese Prozesse werden durch Algorithmen gesteuert, die entscheiden, welche Seiten wie gerankt werden.

Die Entwicklung einer Suchmaschine

Die Entwicklung einer eigenen Suchmaschine stellt eine immense technische Herausforderung dar. Hier sind einige Schritte, die bei der Erstellung beachtet werden sollten:

1. Crawling: Durch Verwendung von sogenannten Web-Crawlern werden Informationen aus dem Web abgerufen. Dies sind Programme, die automatisch von Seite zu Seite navigieren und Inhalte erfassen.
2. Indexierung: Nach dem Crawling werden die erfassten Daten in einem Index gespeichert, einer riesigen Datenbank, aus der dann später gesucht wird.
3. Suchanfrage bearbeiten: Bei einer Suchanfrage durchläuft die Anfrage mehrere Prozesse. Der Algorithmus entscheidet dabei, welche Seiten den Nutzern angezeigt werden.

Software zur Umsetzung

Wer eine eigene Suchmaschine oder zumindest Suchfunktionen für eine Webseite entwickeln möchte, kann auf verschiedene Software zurückgreifen. Einige Optionen sind:

• Elasticsearch: Eine weit verbreitete, auf Lucene basierende Such-Engine, die sich durch Skalierbarkeit auszeichnet.
• Solr: Ebenfalls auf Lucene basierend, bietet Solr eine leistungsstarke Plattform für volltextbasierte Suche und Navigation.
• Sphinx: Eine kostenlose, Open Source SQL-Suchmaschinenoptimierung, die besonders für die Integration in SQL-Datenbanken geeignet ist.

Suchmaschinenoptimierung (SEO)

Für Webmaster und Content-Ersteller ist es entscheidend, dass man die Inhalte so gestaltet, dass sie Suchmaschinen leichter finden können.

• Verwenden von relevanten Keywords aber Vermeidung Keyword-Stuffing.
• Strukturierte Inhalte – Klar und logisch.
• Erstellung qualitativ hochwertiger Inhalte, relevant für die spezifischen Zielgruppen.
• Beachtung technischer Aspekte wie die Ladezeit der Seite, mobile Optimierung und sauberer URL-Strukturen.

Für mehr Informationen siehe auch den Beitrag über SEO.

Fazit

Suchmaschinen haben das Internet revolutioniert und den Zugang zu Informationen enorm erleichtert. Die Entwicklung und Optimierung von Suchmaschinen erfordert sowohl technisches Know-how als auch ein Verständnis für die Bedürfnisse der Benutzer. Mit den richtigen Werkzeugen und Strategien kann man jedoch beeindruckende Ergebnisse erzielen.

Der Beitrag Suchmaschinen – Von Archie bis Google erschien zuerst auf CEOsBay.

• Create: Erstellt einen neuen Datensatz in der Datenbank.
• Read: Liest einen Datensatz aus der Datenbank.
• Update: Ändert einen vorhandenen Datensatz in der Datenbank.
• Delete: Löscht einen Datensatz aus der Datenbank.

CRUD verwendet man häufig in Webanwendungen, um Benutzereingaben zu verarbeiten und Daten in einer Datenbank zu speichern, abzurufen, zu aktualisieren oder zu löschen. Es ist ein grundlegender Bestandteil vieler Anwendungen und ein wichtiger Teil der Softwareentwicklung.

Kurze Zeitreise

Die Idee von CRUD geht zurück auf die Anfänge der Datenbanktechnologie in den 70er Jahren. Zu dieser Zeit gestalteten sich Datenbanksysteme noch sehr rudimentär und man hat sie hauptsächlich für die Verwaltung von Geschäftsdaten verwendet. Die grundlegenden CRUD-Operationen waren bereits zu dieser Zeit vorhanden, wenn auch in einer trivialeren Form.

In den 80er Jahren gewannen relationale Datenbanksysteme immer mehr an Popularität, was die Entwicklung von Standard-Sprachen wie SQL (Structured Query Language) förderte. Diese Sprachen boten eine standardisierte Möglichkeit, Daten in einer Datenbank zu manipulieren, einschließlich der CRUD-Operationen.

Mit dem Aufkommen des World Wide Web und der Entwicklung von Webanwendungen in den 90er Jahren stieg die Bedeutung von CRUD signifikant an. Webanwendungen benötigen eine Möglichkeit, Daten zu speichern und abzurufen, um interaktive Funktionen bereitzustellen. Die Standardisierung von https und die Entwicklung von REST-basierten Architekturen haben CRUD zu einem wichtigen Konzept für die Entwicklung von Webanwendungen gemacht.

Heute ist es ein grundlegendes Konzept in der Softwareentwicklung und kann in einer Vielzahl von Anwendungen und Technologien Verwendung finden. Von relationalen Datenbanksystemen und RESTful-Webservices bis hin zu NoSQL-Datenbanken und Frontend-Frameworks. Man erwartet, dass es auch in Zukunft eine wichtige Rolle spielt, da Datenverarbeitung und -manipulation immer wichtig ist.

CRUD im Kontext von REST

Im Kontext von REST (Representational State Transfer) bezieht es sich auf die grundlegenden https-Methoden, die man für die Interaktionen mit Ressourcen verwendet:

• Create: Die POST-Methode verwendet man um eine neue Ressource zu erstellen.
• Read: Die GET-Methode verwendet man um eine vorhandene Ressource zu lesen.
• Update: Die PUT-Methode verwendet man um eine vorhandene Ressource vollständig zu aktualisieren und die PATCH-Methode um Teile einer Ressource zu aktualisieren.
• Delete: Die DELETE-Methode verwendet man um eine vorhandene Ressource zu löschen.

Diese Methoden entsprechen den CRUD-Operationen und bilden die Grundlage für die Interaktion mit RESTful-Webservices. Wenn man eine RESTful-API erstellt, sollte man die https-Methoden immer so implementieren, dass sie den CRUD-Operationen entsprechen und somit eine standardisierte und intuitive Schnittstelle für die Client-Software bereitstellen.

CRUD außerhalb von Datenbanken und Softwareentwicklung?

CRUD findet auch Anwendung in anderen Bereichen als der Datenbank- und Softwareentwicklung. Vor allem, wenn es generell um die Verwaltung von Informationen oder Objekten geht.

Hier noch einige Beispiele für die Anwendungsgebiete von CRUD

• Content Management Systeme (CMS): CMS-Plattformen wie WordPress oder Drupal verwenden CRUD, um Inhalte wie Artikel, Seiten oder Medien zu verwalten und zu bearbeiten.
• E-Commerce-Plattformen: E-Commerce-Websites verwenden CRUD, um Produkte zu erstellen, zu lesen, zu aktualisieren und zu löschen.
• Projektmanagement-Tools: Man nutzt es, um Projekte, Aufgaben und Aufgabenlisten in Projektmanagement-Tools wie Trello oder Asana zu verwalten.
• IoT (Internet der Dinge): Geräte im Internet der Dinge erzeugen häufig große Datenmengen, die man speichern und abrufen muss. Man verwendet es daher, um diese Daten in einer Datenbank zu speichern und zu manipulieren.
• Medizinische Datensätze: In der Gesundheitsbranche verwendet man CRUD-Operationen, um medizinische Datensätze zu erstellen, zu aktualisieren und zu löschen, z.B. Patientenakten, Diagnosen und medizinische Tests.

Fazit

Zusammenfassend lässt sich sagen, dass CRUD ein grundlegendes Konzept in der Datenbank- und Softwareentwicklung ist. Es eignet sich hervorragend für die Verwaltung von Daten in einer Datenbank. Auch für die Interaktion mit einer Ressource über eine RESTful-API Schnittstelle. Die vier CRUD-Operationen (Create, Read, Update und Delete) sind die grundlegenden Funktionen. Die benötigt eine Anwendung immer. Sowohl um Daten zu verwalten als auch zu manipulieren.

CRUD hat in den letzten Jahrzehnten eine wichtige Rolle in der Entwicklung von Webanwendungen, CMS, E-Commerce-Plattformen, Projektmanagement-Tools, IoT und der Gesundheitsbranche gespielt. Dies ändert sich voraussichtlich auch voraussichtlich nicht. Lediglich die Geschwindigkeit als auch die Effizient werden sich der Technologie voraussichtlich anpassen. Es ist ein wichtiger Bestandteil der meisten Anwendungen und ein grundlegendes Konzept, welches jeder Entwickler verstehen sollte.

Der Beitrag CRUD – Kernprinzipien für effiziente Datenmanipulation und solide Anwendungsarchitektur erschien zuerst auf CEOsBay.

Grundprinzipien von PHP

Es ist eine serverseitige Sprache, was bedeutet, dass man PHP-Skripte ausschließlich auf einem Server ausführt, bevor es das Ergebnis an den Webbrowser des Clients sendet. Dies hat den Vorteil, dass man sensible Daten wie Passwörter oder Datenbankverbindungen nicht direkt im Quellcode des Clients preisgeben muss.

Einige der grundlegenden Prinzipien:

• Einfache Syntax: Es ist bekannt für seine einfache und leicht verständliche Syntax, die es sowohl Anfängern als auch erfahrenen Programmierern ermöglicht, relativ schnell produktiv zu sein.

• Dynamisches Typisierungssystem: Im Gegensatz zu streng typisierten Sprachen erlaubt es Variablen, verschiedene Datentypen (z.B. Strings, Zahlen, Arrays und Objekte) während der Laufzeit zu speichern. Dies ermöglicht eine höhere Flexibilität und verkürzt die Entwicklungszeit.

• Integration mit HTML: Man kann PHP-Skripte direkt in HTML-Dateien einbetten, wodurch es einfach ist, dynamische Inhalte innerhalb einer statischen HTML-Seite zu erstellen.

• Umfangreiche Standardbibliothek: Es bietet eine umfangreiche Sammlung von Funktionen und Klassen, die die Arbeit mit Dateien, Datenbanken, Sitzungen, Cookies, Netzwerkprotokollen und vielem mehr erleichtern.

Vorteile von PHP

• Plattformübergreifend: Es ist kompatibel mit verschiedenen Betriebssystemen wie Windows, Linux und MacOS. Dies macht es zu einer idealen Wahl für Webentwickler, die plattformunabhängige Anwendungen erstellen möchten. Bis vor einigen Iterationen von MacOS konnte man einen Server nativ über das Terminal starten. Dies hat man aber scheinbar aufgrund von Sicherheitsrisiken unterbunden. Möglich ist dies nun via Homebrew. Hierzu verweise ich gerne auf den folgenden Artikel.

• Leistungsfähigkeit: Man kann komplexe und umfangreiche Webanwendungen verarbeiten und ist in der Lage, auch bei hoher Last stabile Leistung zu liefern.

• Kostenfrei und Open Source: Es ist eine Open-Source-Software, was bedeutet, dass man sie kostenlos herunterladen, verwenden und modifizieren darf. Dies hat zu einer großen und engagierten Entwicklergemeinschaft geführt, die nach wie vor zur ständigen Verbesserung und Erweiterung der Sprache beiträgt.

• Breite Unterstützung: Viele Webhosting-Unternehmen unterstützen PHP von Haus aus und man kann es leicht auf einem Webserver installieren.

Anwendungsgebiete von PHP

Wie bereits erwähnt ist es ist eine vielseitige Programmiersprache. Man kann sie aus diesem Grund in einer Vielzahl von Anwendungsfällen einsetzen. Einige der wichtigsten Anwendungsgebiete von PHP sind:

• Content-Management-Systeme (CMS): PHP ist die treibende Kraft hinter einigen der beliebtesten CMS wie WordPress, Joomla und Drupal. Diese Systeme erleichtern die Erstellung und Verwaltung von Websites ohne tiefgreifende Programmierkenntnisse.

• E-Commerce-Plattformen: Man verwendet es häufig zur Entwicklung von Online-Shops und E-Commerce-Plattformen. Beispiele hierfür sind WooCommerce, Magento oder PrestaShop. Die Skalierbarkeit und Flexibilität von PHP ermöglichen es Entwicklern, umfangreiche und leistungsfähige E-Commerce-Websites zu erstellen, die auf die individuellen Bedürfnisse der Kunden zugeschnitten sind.

• Webanwendungen: PHP eignet sich hervorragend für die Entwicklung von benutzerdefinierten Webanwendungen und hat eine Vielzahl von Frameworks wie Laravel, Symfony oder CodeIgniter, die den Entwicklungsprozess vereinfachen und beschleunigen.

• APIs und Web-Services: Aufgrund seiner Fähigkeit, einfach und schnell mit verschiedenen Datenquellen und -formaten zu arbeiten, eignet sich PHP hervorragend zur Entwicklung von APIs und Web-Services, die als Brücke zwischen unterschiedlichen Anwendungen und Plattformen fungieren.

• Social-Media-Plattformen: PHP ist die Grundlage einiger bekannter Social-Media-Plattformen wie Facebook, dass man ursprünglich in PHP entwickelt hat. PHP kann man aber auch bei der Entwicklung eigener Social-Media-Plattformen oder bei der Integration von Social-Media-Funktionalitäten in bestehende Anwendungen einsetzen.

Fazit

PHP hat sich als eine robuste, vielseitige und weit verbreitete serverseitige Skriptsprache etabliert, die man in einer Vielzahl von Anwendungsbereichen einsetzt. Mit seiner einfachen Syntax, den leistungsfähigen Funktionen und breiten Unterstützung durch Webhosting-Unternehmen, ist PHP eine ausgezeichnete Wahl für Webentwickler, die dynamische, interaktive und benutzerfreundliche Websites und Webanwendungen erstellen möchten. Die engagierte und wachsende Entwicklergemeinschaft garantiert die fortlaufende Verbesserung und Erweiterung der Sprache, was PHP zu einer attraktiven Option für Webentwickler auf der ganzen Welt macht.

Der Beitrag PHP – Die Sprache für dynamische und interaktive Webanwendungen erschien zuerst auf CEOsBay.

Was ist MySQL?

MySQL ist ein relationales Open-Source-SQL-Databaseverwaltungssystem, das von Oracle entwickelt und unterstützt wird.

Selbstverständlich sollte man hierfür so ein bisschen mit Ubuntu Linux, dem Terminal und mit den Standardbefehlen in SQL und Linux vertraut sein.

Terminal

$ sudo apt update

Man öffnet ein frisches Terminal Fenster für das Repository Update. Ein Update ist bei einer Neuinstallation einer neuen Anwendung immer erforderlich.

MySQL Server installieren

$ sudo apt install mysql-server -y

Mit diesem Befehl initiiert man die Installation des MySQL Servers.

Jetzt kann man eventuell fragen, „Wofür dieses -y“. Ganz einfach – Mit der Option -y wird apt-get (Advanced Package Tool (APT) ist eine freie Software-Benutzeroberfläche, die mit Kernbibliotheken arbeitet, um die Installation und Entfernung von Software unter Debian und Debian-basierten Linux-Distributionen zu verwalten) angewiesen, alle Fragen, die bei der Installation auftauchen, mit einem „Ja!“ zu beantworten. Bei der Installation kommt es immer wieder einmal zu der Frage, ob die Installation fortgesetzt werden soll, wenn die richtigen Pakete gefunden werden. Mit dem Zusatz -y wird diese Frage schlichtweg automatisch mit einem Y, wie Yes, beantwortet und ohne Unterbrechung automatisch fortgesetzt. Im Anschluss ist ein MySQL Server erstellt und aktiv.

Überprüfung

Überprüfung mit dem folgenden Befehl:

$ sudo systemctl status mysql

Wenn in der dritten Zeile die Rückmeldung active (running) zurückgegeben wird, wurde alles richtig gemacht und der Server ist ordnungsgemäß installiert und im Einsatz.

MySQL Monitor starten

Um den MySQL Monitor zu starten, reicht ein einfaches:

$ sudo mysql

Und schon befindet man sich im Command Promt des MySQL Monitors.

Mit dem nachfolgenden Befehl lassen sich alle verfügbaren Datenbanken anzeigen:

mysql> show databases;

So werden die Standard Datenbanken die routinemäßig angelegt werden angezeigt.

Zur Veranschaulichung wird eine Verkaufsliste erstellt, dessen Produkte mit ID’s, Namen, einer Haltbarkeitsdauer von kurz- mittel- und langfristig und einem Preis definiert werden.

mysql> create database coes_database;

Um die eigene Datenbank zu erstellen.

mysql>  use coes_database

Um die Datenbank zu nutzen.

„Database changed“ zeigt, dass die Datenbank zur Bearbeitung ausgewählt ist.

mysql> show tables;

Um alle Tabellen anzuzeigen.

mysql> create table verkaufsliste (

Zur Erstellung einer Tabelle mit der Bezeichnung „verkaufsliste“.

Unter „Tables_in_coes_database“, sollte nun die Tabelle „verkaufsliste“ zu sehen sein.

-> id int,
-> name varchar(255),
-> haltbarkeitsdauer varchar(255),
-> preis float
-> );

Um die ersten Spalten zu füllen, die Inhalte mit der Inhaltsform definieren und nach jedem „,“ Komma mit der Enter Taste bestätigen. Bzgl. der Definition: int = Integer = ganze Zahlen, varchar = variable Charakter = string mit maximal 255 Zeichen und float = Gleitkommazahl.

Die Spalten id gefolgt von name, land, haltbarkeitsdauer, und preis sind erstellt.

mysql> describe verkaufsliste;

Um die Inhalte der Tabelle anzuzeigen nutzt man den Befehle describe.

mysql> insert into verkaufsliste values (1, "apfel", "kurz", "1.20");

„insert“ Befehl um die erste Zeile zu füllen.

Die Zeilen danach ähnlich füllen. Man definiert lediglich die spezifischen ID’s und Inhalte.

mysql> insert into verkaufsliste values (2, "Zitrone", "mittel", "0.4");
mysql> insert into verkaufsliste values (3, "erdbeer", "kurz", "3");
mysql> insert into verkaufsliste values (4, "wassermelone", "lang", "4");

Dadurch wurden der Tabelle nun 3 weitere Zeilen hinzugefügt.

mysql> select * from verkaufsliste;

Für Spezifische Inhalte ersetzt man „*“ durch die benötigte Spaltenbezeichnung. In diesem Beispiel „name“.

Um alle Inhalte der Tabelle anzuzeigen nutzt man „*“.

mysql> select name from verkaufsliste;

Als Einführung sollte dies reichen 😉

Der Beitrag Ubuntu Linux – Starten und nutzen von MySQL Server erschien zuerst auf CEOsBay.