Was ist das Deep Web?

Nicht alle Inhalte, die es auf Websites und in On­line­shops gibt, sind für alle Nutzer und Such­ma­schi­nen frei verfügbar. Diese zu­griffs­be­schränk­ten Inhalte werden unter dem Begriff „Deep Web“ zu­sam­men­ge­fasst. Die Gründe für Zu­gangs­be­schrän­kun­gen können viel­fäl­tig sein.

Den meisten Menschen ist der Begriff „Deep Web“ wahr­schein­lich wenig geläufig, dabei ist es der Ober­be­griff für alle möglichen Daten, die Sie nicht einfach über eine Such­ma­schi­ne oder die Eingabe einer URL aufrufen können. Und dabei handelt es sich um einen Großteil der Daten und Seiten, die Ihnen im Internet zur Verfügung stehen – zum Beispiel Da­ten­ban­ken von Un­ter­neh­men, Uni­ver­si­tä­ten und Museen, die nur über einen Login besucht werden können, Bank­kon­ten, Wa­ren­kör­be, Nut­zer­kon­ten von On­line­shops und noch vieles mehr. Zum Deep Web gehört genau genommen auch das Dark Web, wobei sich diese Inhalte noch einmal maß­geb­lich von­ein­an­der un­ter­schei­den.

Wie oben bereits be­schrie­ben, ist eine Mög­lich­keit, warum Inhalte von den Crawlern der Such­ma­schi­ne nicht gefunden und indexiert werden, die Zu­gangs­be­schrän­kung durch ein Login bzw. die Abfrage eines Passworts. Auch die Zu­stim­mung zu Nut­zungs­be­din­gun­gen oder eine Be­zahl­schran­ke können Hin­der­nis­se sein. In all diesen Fällen erreichen auch Sie als Nutzer die URL nur, wenn Sie vorher ein Passwort ein­ge­ge­ben oder der Zahlung zu­ge­stimmt haben.

Es gibt aber auch noch einen anderen Fall im Deep Web. Dabei können Sie die Seite aufrufen, sofern die URL bekannt ist – der Crawler einer Such­ma­schi­ne findet und indexiert sie aber dennoch nicht. Die Gründe dafür sind viel­fäl­tig:

Zum einen können Webmaster gezielt mit dem Nofollow-Befehl Inhalte von der In­de­xie­rung aus­schlie­ßen. Zum anderen besteht die Mög­lich­keit, dass eine Seite innerhalb einer Web­prä­senz so versteckt ist, dass der Crawler diese nicht findet. Für jede Website hat der Crawler nämlich nur ein be­stimm­tes „Seiten-Budget“ – ist dieses aus­ge­schöpft und es gibt immer noch Seiten auf einer dar­un­ter­lie­gen­den Ebene, werden diese nicht be­rück­sich­tigt. Eine dritte Mög­lich­keit sind fehlende tech­ni­sche Vor­aus­set­zun­gen für die In­de­xie­rung – bei­spiels­wei­se, wenn Flash verwendet wird.

Grund­sätz­lich stellen Deep Web-Inhalte für Sie und Ihre Website-Besucher kein Problem dar. Ganz im Gegenteil: Solche Seiten sind auf fast jeder größeren Web­prä­senz oder in Online-Shops zu finden und Nutzer gehen mit Logins ganz selbst­ver­ständ­lich um.

Wo die fehlende In­de­xie­rung durch Google jedoch eine Rolle spielt, ist beim Thema Such­ma­schi­nen­op­ti­mie­rung. Vor allem bei wis­sen­schaft­li­chen oder me­di­zi­ni­schen Themen liegen oft viele relevante Inhalte hinter einer Zu­gangs­be­schrän­kung. Ziel sollte es jedoch sein, möglichst viele Inhalte frei zu­gäng­lich und in­de­xier­bar zu machen (sofern Gesetze und Un­ter­neh­mens­po­li­tik es zulassen) – oder zumindest Landing­pa­ges zu gestalten, die der Such­ma­schi­ne eine Idee davon geben, was es (noch) auf Ihrer Website zu finden gibt.