Mit Deep Web oder Hidden Web bezeichnet man den Teil des Internets, der nicht ohne weiteres aufrufbar ist oder indexiert werden kann. Das Deep Web kann nicht durch eine reguläre Suchmaschine indiziert werden, da sich die Inhalte des Deep Webs erst anzeigen lassen, wenn bestimmte andere Voraussetzungen erfüllt sind. Den sichtbaren Teil des Internets nennt man entsprechend Visible oder Surface Web. Man kennt die Größe des Deep Webs nicht, geht aber davon aus, dass die dort abgelegten Datenmengen die des Visible Web um ein Vielfaches übersteigen. Aus einer Studie von Bright Planet geht hervor, dass das Deep Web mindestens 400 Mal größer sei, als das Visible Web und dass auch die Zugriffe höher seien.
Deep Web ist nicht gleich Deep Web
Sherman und Price haben das Deep Web 2001 in fünf unterschiedliche Arten differenziert. Diese Gliederung hat sich inklusive der Bezeichnungen für die unterschiedlichen Arten durchgesetzt.
Teil des Deep Webs ist zunächst das Private Web. Diese Webseiten können zwar theoretisch indiziert und aufgerufen werden, allerdings kann aufgrund einer Zugangsbeschränkung nicht auf die Inhalte zugegriffen werden. Der Crawler wird zum Beispiel durch einen nofollow-Befehl an der Indexierung gehindert oder die Zugriffsbeschränkung wird zum Beispiel durch eine Kombination aus Passwort und Benutzername oder durch Vorgaben an die IP umgesetzt.
Als Opaque Web bezeichnet man den Teil einer Website, der nicht durch den Crawler der Suchmaschine indexiert wird, weil er auf einer zu tiefen Ebene der Website liegt. Crawler haben nur ein bestimmtes Budget an Unterseiten einer Website, die indexiert werden. Dadurch werden sehr tiefe Ebenen unter Umständen gar nicht erreicht. Das kann auch daran liegen, dass diese Unterseiten gar nicht verlinkt sind.
Zum Propiertary Web gehören Webseiten, deren Indexierung theoretisch möglich ist, die aber nur nach der Zustimmung zu den Nutzungsbedingungen aufrufbar sind. Dabei handelt es sich zum Beispiel um kostenpflichtige Inhalte.
Zuletzt gibt es noch die beiden Arten des Invisble Web und Truly Invisble Web. Bei ersterem ist eine Indexierung theoretisch möglich, diese wird aber aus strategischen oder kaufmännischen Gründen unterbunden. Bei letzterem handelt es sich um Webinhalte, die aufgrund fehlender technischer Voraussetzungen nicht indexiert werden können. Das betrifft zum Beispiel Flash-Inhalte oder Webseiten, die gar nicht durch den Browser angezeigt werden können.
Das Deep Web und der TOR-Browser
Es gibt Seiten im Deep Web, die lassen sich nur unter der Verwendung eines speziellen Browsers aufrufen. Meistens wird dazu der TOR-Browser genutzt, der eine weitestgehend sichere Möglichkeit des anonymen Surfens im Internet darstellt. Mit ihm lassen sich im Deep Web zum Beispiel illegale Marktplätze aufrufen, auf denen Drogen gehandelt werden.
Die Relevanz des Deep Webs für die Suchmaschinenoptimierung
Da das Deep Web nicht indexiert wird, es dort aber dennoch relevante Inhalte gibt, arbeiten Suchmaschinenoptimierer daran, diese Inhalte auch über die Suchmaschine zugänglich zu machen. Dazu ein Beispiel: Ein Webmaster betreibt eine Website mit kostenpflichtigen Inhalten, die folglich nicht indexiert werden können. Aus diesem Grund erstellt der Webmaster eine Website, die indexierbar ist und die wesentlichen Informationen zum kostenpflichtigen Inhalt enthält. Der Nutzer gelangt durch die Suchergebnisse auf diese Informationsseite und von dort aus weiter zu den kostenpflichtigen Inhalten.
Zusammenfassung
Die meisten Nutzer nutzen das Deep Web, ohne es überhaupt zu wissen. Vielen ist nicht klar, dass zum Beispiel ein Forum, das sich nur nach Eingabe von Benutzername und Passwort aufrufen lässt, bereits zum Deep Web gehört. Zum Deep Web gehören also keineswegs nur die Bereiche, die sich via TOR-Browser aufrufen lassen und als Dark Web gelten. Insofern kann es schon hilfreich sein, den User über die Suchmaschine auf Inhalte des Deep Webs aufmerksam zu machen. Auf den Seiten, die sich nur via TOR-Browser aufrufen lassen, ist dann aber tatsächlich Vorsicht geboten, denn Cyberkriminalität und Schwarzmärkte sind dort allgegenwärtig.