sitemap.xml: Alles über Funktion und Er­stel­lung einer XML-Sitemap

Wer sich in­ten­si­ver um die Plat­zie­rung seines Web­pro­jekts in den Er­geb­nis­sei­ten der Such­ma­schi­nen kümmert, weiß genau, wie viele un­ter­schied­li­che Faktoren den Kampf um die vorderen Plätze be­ein­flus­sen. So umfasst die Liste von Faktoren mit Einfluss auf das Ranking bei Google bei­spiels­wei­se über 200 Kriterien, deren Relevanz teilweise offiziell durch das Un­ter­neh­men bestätigt wurde, teilweise aber auch lediglich von Experten vermutet wird. Nicht von ungefähr zählt die Disziplin der Such­ma­schi­nen­op­ti­mie­rung seit Jahren zum Stan­dard­re­per­toire eines jeden Web­mas­ters, der will, dass seine Website sichtbar und er­reich­bar ist. Während dabei Faktoren wie relevante Keywords, hoch­wer­ti­ge Inhalte oder eine hohe Mo­bil­freund­lich­keit in aller Munde sind, wird der Wert einer guten XML-Sitemap häufig un­ter­schätzt.

Eine XML-Sitemap (sitemap.xml) ist eine Textdatei im XML-Format (Extensible Markup Language), die eine Auf­lis­tung aller Un­ter­sei­ten einer Website in Link-Form enthält. Als solche kann sie in der Google Search Console oder den Bing Webmaster Tools hoch­ge­la­den werden, um den Such­ma­schi­nen-Crawlern alle ver­füg­ba­ren bzw. re­le­van­ten Seiten mit­zu­tei­len und so den In­de­xie­rungs­pro­zess zu be­schleu­ni­gen und zu op­ti­mie­ren. XML-Sitemaps müssen die Vorgaben des Sitemaps-Pro­to­kolls erfüllen, das 2006 von Google, Yahoo und Microsoft als Standard be­schlos­sen wurde – mit dem Ziel, die Qualität aus­ge­lie­fer­ter Such­re­sul­ta­te lang­fris­tig zu ver­bes­sern. Daher sind u. a. die Codierung in UTF-8 und die bereits auf­ge­grif­fe­ne Aus­zeich­nungs­spra­che XML ebenso vor­ge­schrie­ben wie die Ver­wen­dung von Entität-Codes für bestimmte Zeichen (wie z. B. „&gt“ anstelle von „>“).

Auch wenn es keine Garantie dafür gibt, dass die In­de­xie­rung bei Google und Co. durch XML-Sitemaps in jedem Fall optimiert wird – die struk­tu­rier­ten Link-Ver­zeich­nis­se erhöhen in jedem Fall die Chancen. Ins­be­son­de­re bei Seiten mit dy­na­mi­schen Inhalten, die stetigen Ver­än­de­run­gen aus­ge­setzt sind, kann sich das craw­ler­freund­li­che In­halts­ver­zeich­nis auszahlen. Gleiches gilt für größere Web­pro­jek­te, die zwar eine hohe Anzahl an Un­ter­sei­ten, jedoch (noch) keine große Backlink-Struktur aufweisen. Solche Seiten werden ten­den­zi­ell zu selten auf Än­de­run­gen überprüft oder laufen gar unter dem Radar der Such­ma­schi­nen. Dank sitemap.xml rücken Sie sie schneller in den Fokus der In­de­xie­rungs-Bots.

Ein weiterer Vorteil: In XML-Sitemaps können nicht nur URLs von Un­ter­sei­ten, sondern auch von Me­di­en­da­tei­en wie Videos oder Bildern auf­ge­führt werden. Für diese gibt es sogar Extra-Tags, die dem Crawler verraten, um welchen In­halts­typ es sich handelt (<image>, <video>). Darüber hinaus lassen sich Attribute verwenden, die den Content näher be­schrei­ben oder die Dauer angeben, damit die Such­ma­schi­nen diesen optimal erfassen können. Auch für News­por­ta­le gibt es eine spezielle Ab­wand­lung der XML-Sitemap, die eine op­ti­mier­te In­de­xie­rung von Artikeln dank spe­zi­fi­scher Attribute wie Genre, Pu­bli­ka­ti­ons­da­tum oder Title ver­spricht.

Die For­ma­tie­rung einer XML-Sitemap funk­tio­niert – wie bei jedem Dokument in der Aus­zeich­nungs­spra­che Ex­ten­si­ble Markup Language – über XML-Tags. Dabei zählen nach dem aktuellen Standard „Sitemaps 0.9“ drei Tags als Pflicht­an­ga­ben, um von einer XML-Sitemap sprechen zu können:

Abseits dieser ob­li­ga­to­ri­schen XML-Attribute stehen mit den Sitemap-Tags <priority>, <lastmod> und <ch­an­ge­freq> noch drei weitere Tags zur Verfügung, mit deren Hilfe sich die einzelnen URL-Einträge spe­zi­fi­zie­ren lassen. Inwieweit diese op­tio­na­len Tags al­ler­dings auch un­ter­stützt werden, hängt von der je­wei­li­gen Such­ma­schi­ne ab. Der Google-Crawler greift bei der In­de­xie­rung bei­spiels­wei­se in erster Linie auf <lastmod>-Aus­zeich­nun­gen zurück, während er die beiden anderen Attribute wei­test­ge­hend ignoriert bzw. nur minimal in den Crawling-Prozess ein­flie­ßen lässt.

Da eine XML-Sitemap-Datei maximal 50.000 URLs enthalten und nicht größer als 50 MB sein darf, kann die URL-Sammlung größerer Web­pro­jek­te auch auf mehrere Dokumente verteilt werden. In diesem Fall sollte jedes Sitemap-Dokument aber in einer zu­sätz­li­chen In­dex­da­tei auf­ge­führt werden, deren Aufbau sich prin­zi­pi­ell nicht von dem der Sitemap-Dateien un­ter­schei­det: Es gilt lediglich, die Tags <site­map­in­dex> und <sitemap> anstelle der Tags <urlset> und <url> zu verwenden.

Der Aufbau einer XML-Sitemap lässt sich am ein­fachs­ten durch ein konkretes Beispiel nach­voll­zie­hen:

Die Beispiel-XML-Sitemap führt in diesem Fall zum einen die Haupt-URL one-test.website, zum anderen die URLs zweier Un­ter­sei­ten (page1 und page2) auf. Such­ma­schi­nen-Crawler können dem Dokument entnehmen, dass die Haupt­sei­te vom Webmaster mit der höchsten Priorität versehen wurde und etwa monatlich Ver­än­de­run­gen erfährt. Die letzte Anpassung wurde am 1.1.2018 vor­ge­nom­men. Die Seite page1 hat den Standard-Prio­ri­täts­wert (0,5), wird im Gegensatz zur Haupt­sei­te aber schät­zungs­wei­se wö­chent­lich angepasst, wobei die letzte Mo­di­fi­zie­rung am 5.3.2018 statt­ge­fun­den hat. Sofern der Crawler mit dem Sitemap-Priority-Attribut arbeitet, weiß er, dass er page2 bei der In­de­xie­rung am wenigsten Auf­merk­sam­keit widmen muss (<priority>-Wert: 0,3). Die Un­ter­sei­te wird aber ebenfalls wö­chent­lich mo­di­fi­ziert (zuletzt am 8.3.2018).

Über den Download-Button können Sie die erzeugte XML-Sitemap-Datei nun her­un­ter­la­den und an­schlie­ßend in das Root-Ver­zeich­nis Ihrer Website hochladen. Um nun bei­spiels­wei­se den Google-Crawler über die Datei zu un­ter­rich­ten, reichen Sie die Datei einfach in der Google Search Console ein (setzt ein Google und den Eintrag der Website als Property voraus). Al­ter­na­tiv können Sie an einer be­lie­bi­gen Stelle in der robots.txt-Datei den Pfad angeben, an dem die Sitemap zu finden ist: