Suchmaschine WebCrawler

Die Suchmaschine WebCrawler wurde 1994 etwa zeitgleich mit der Umbenennung von Jerry\'s Guide to the World Wide Web in Yahoo! veröffentlicht. Es war die erste Suchmaschine, die eine Volltextsuche unterstützte, was bedeutet, dass jedes Wort einer Internetseite indiziert werden musste. Davor war es den verschiedenen Webcrawlern meist nur möglich, einzelne Abschnitte einer Internetseite zu sammeln bzw. diese später zu indizieren.

Ursprünglich handelte es sich um eine Desktopapplikation, die aber schnell mit einem Webinterface ausgestattet wurde. Durch die Möglichkeit, komplette Dokumente zu durchsuchen, wurde die Suchmaschine rasch beliebt. Dies führte unter Anderem dazu, dass die Bandbreite vor allem unter Tags oft dermaßen ausgelastet war, dass kaum ein Zugriff auf das Webinterface möglich war. Dies änderte sich erst, als WebCrawler 1995 von AOL übernommen wurde und von da an über deren Netzwerk lief.

Im Gegensatz zu den vorher beschriebenen Suchmaschinen wurden von WebCrawler nicht nur Webseiten durchsucht, sondern es wurde auch nach FTP- und Gopher-Seiten gesucht. Beschreibungen oder Zusammenfassungen einer Seite fehlten jedoch gänzlich. Dadurch war es oft schwierig zu erkennen, welche Relevanz ein Link zu einer Internetseite im Suchergebnis hatte. Als Ranking-Algorithmus wurde anfangs nur die Anzahl der Übereinstimmung vorkommender Wörter mit jeweiligen Suchanfrage benutzt.