Indexierung von Webinhalten: Funktionsweise und Optimierung

Google und andere Suchmaschinen indexieren Webinhalte und stellen sie Nutzern über ihre Oberfläche zur Verfügung. Um Maschinen wie Nutzern die Auffindbarkeit der eigenen Inhalte zu erleichtern, ist die Suchmaschinenoptimierung für Website-Betreiber unerlässlich.

Indexierung als Verfahren ist deutlich älter als das Internet und beschreibt eine Methode der Informationserfassung. Dokumenten werden zum Inhalt passende Schlag- und Stichwörter zugewiesen, unter denen sie in einem Index zu finden sind.

Konkrete Beispiele, die mit Indexierung arbeiten, sind Archive und Bibliotheken: Benutzer bzw. Besucher geben auf der Suche nach relevanten Informationen ein Schlagwort (z. B. einen Autorennamen, eine Jahreszahl oder einen konkreten Titel) an. Der Index des Archivs bzw. der Bibliothek wird daraufhin durchsucht und die mit dem Schlagwort versehenen Inhalte bereitgestellt.

Indexierung meint also die Verschlagwortung und das Verfügbarmachen von Suchoptionen für einen zu erschließenden Datenbestand. Das trifft in besonderer Weise auch auf das Internet zu.

Suchmaschinen wie Google funktionieren nach einem ähnlichen Prinzip wie ein Archiv-Index: Gibt ein Nutzer ein Suchwort bzw. Keyword ein, durchsucht die Maschine den eigenen Index und stellt sämtliche gefundenen Inhalte hierarchisch dar.

Doch damit es überhaupt einen durchsuchbaren Index gibt, braucht es Hilfsmittel zum Indexieren. Dazu schicken Suchmaschinen sogenannte Crawler los: Suchbots, die sich ständig durchs Internet bewegen und neue Inhalte analysieren, mit Schlagwörtern versehen und in den Index der jeweiligen Suchmaschine aufnehmen. Auf diese Weise werden mittlerweile nicht nur Textdokumente und deren Aktualisierungen erfasst, sondern auch Bilder, Videos und weitere Dateiformate.

Da es mittlerweile immer mehr Inhalte zu denselben Schlagworten gibt, werden die Suchergebnisse in einer Hierarchie – dem Ranking – dargestellt: Die für den Nutzer wahrscheinlich relevantesten Inhalte werden zuerst gelistet. Wann ein Inhalt von Google und Co. als besonders relevant für einen Suchbegriff eingestuft wird, wird durch eine Vielzahl von Google-Ranking-Faktoren bestimmt, die sich laufend verändern können. Viele dieser Faktoren sind bekannt, die Gewichtung ist aber nicht immer klar und wird von den Suchmaschinen auch immer wieder verändert. Das Ziel ist immer, dem Nutzer einen möglichst großen Mehrwert zu liefern.

Damit eine Website überhaupt von Nutzern gefunden wird, muss sie zunächst von Suchmaschinen indexiert werden. Angesichts der immensen Anzahl der Webinhalte reicht das aber oftmals noch nicht aus: Gezielte Suchmaschinenoptimierung ist entscheidend, damit eine Seite nicht nur im Index landet, sondern bei den relevanten Suchanfragen möglichst weit vorne steht. Doch was ist mit dieser Optimierung konkret gemeint?

In der Frühzeit der Suchmaschinen dauerte es manchmal mehrere Tage oder Wochen, bis ein Crawler eine neue Seite entdeckte und indexierte. Um diesen Prozess zu beschleunigen, ist es bis heute möglich, eine Website gezielt bei Google anzumelden. Nötig ist das aber eigentlich nicht mehr, da die Searchbots mittlerweile ununterbrochen unterwegs sind und neue Inhalte eigenständig innerhalb kürzester Zeit finden.

Dennoch können und sollten Website-Betreiber Crawler dabei unterstützen, die wirklich relevanten Inhalte vollständig zu indexieren. Melden Sie sich beispielsweise für die Google Search Console (vormals: Google Webmaster Tools) an und hinterlegen Sie dort eine Sitemap mit allen relevanten Seiten und Unterseiten. Zusätzlich ist die robots.txt-Datei eine wichtige Anlaufstelle für Crawler: In ihr befinden sich beispielsweise Informationen, welche Seiten, Dateitypen und Verzeichnisse von der Suche und Indexierung ausgeschlossen werden sollen (alternativ werden einzelne Seiten per noindex-Tag ausgeschlossen).

Darüber hinaus gibt es weitere Befehle, die im Header einer Website untergebracht werden können, und die dem Crawler wichtige Informationen liefern – beispielsweise, welche Variante bei Duplikaten als Original anzusehen ist (canonical-Tag).

Um bei Google nicht nur irgendwo im Index, sondern möglichst weit vorne zu landen, können und sollten die eigentlichen Webinhalte immer zusätzlich optimiert werden. Ein Faktor ist hier die gezielte Optimierung von Texten auf Keywords, zusätzlich sollten Meta-Daten (in diesem Fall Title und Description, aus denen das dargestellte Suchergebnis besteht) entsprechend bekannter Vorgaben erstellt werden. Auch interne und externe Links, die Strukturierung von Inhalten, Vergabe von Dateinamen usw. gehören zur langen Liste von Maßnahmen, die im Zuge der Suchmaschinenoptimierung wichtig sind.