Beinahe alle User, die im Internet auf der Suche nach Informationen, Dienstleistungen, Waren oder auch nach anderen Menschen sind, nutzen die Suchmaschine als Ausgangspunkt für ihre Suche. So ist es also auch nicht verwunderlich, dass sich aus dem anfänglichen Stiefkind des Internets, das noch Anfang der 1990ger Jahre müde belächelt wurde, heute ein schöner Schwan geworden ist, der im Mittelpunkt des Interesses steht. Internet ohne Suchmaschine, das wäre wie Rollschuhlaufen ohne Rollen. Nun sind heute nicht mehr nur eine Handvoll von Webseiten in der virtuellen Welt vertreten, heute spricht man von mehreren hundert Millionen, täglich werden es mehr. Damit nun die eigene Webseite unter diesen beinahe unvorstellbar vielen Internetauftritten auch gefunden wird, bedarf es eines Werkzeuges, der Suchmaschinenoptimierung. In den Anfangszeiten war es relativ einfach, so weiß auch Suchmaschinenoptimierung DiWe Media, die Webseite für die Suchmaschine und deren Crawler zu optimieren. Doch mit der Entstehung der Volltextsuchmaschinen hat sich auch das notwendige Vorgehen zur Optimierung der Webseiten stark verändert.
Das Ziel einer Suchmaschine besteht heute darin, ihrem User auf eine Suchanfrage eine möglichst hochwertige Antwort liefern zu können. Entsprechend umfangreich wurden die Maßnahmen, die seitens der Suchmaschinen ergriffen werden, um die Inhalte aus einer Webseite auslesen zu können. Zu diesem Zweck besuchen die Web Crawler, sie werden auch als Spider oder als Robots bezeichnet, die jeweilige Webseite. Der gesamte Inhalt wird heruntergeladen und ausgelesen. Im Anschluss daran erfolgt eine Analyse der Inhalte. Sind neue Links enthalten, die bei der Suchmaschine noch nicht indexiert sind, werden auch diese URLs von den Crawlern besucht, das Vorgehen ist das gleiche. Nun stehen der Suchmaschine nicht unendlich viele Ressourcen oder Speicherplatz zur Verfügung. Die Crawler setzen ihre Arbeiten so lange fort, bis eben diese Ressourcen, die zur Verfügung stehen, erschöpft sind. Wo genau die Unterschiede der einzelnen Suchmaschinen liegen, und worauf es ankommt, weiß Suchmaschinenoptimierung DiWe Media.