RBSE-Spider

Der RBSE-Spider (Repository Based Software Engineering) wurde zum ersten Mal 1994 vorgestellt. Dieser Spider baute seine Datenbank - wie die meisten zwischen 1994 und 1995 entwickelten Suchmaschinen, über einen Webcrawler auf.

Der RBSE-Webcrawler verwendete dabei einen Suchmechanismus, der dem von WAIS ähnlich war. Im Gegensatz zu den meisten Webcrawler dieser Zeit - die nur Titel und Überschrift indizierten, indizierte der RBSE-Spider den gesamten Text der obersten Ebene einer Internetseite.

Das Ziel das hinter diesem Projekt steckte war es, die damaligen Nachteile anderer Webcrawler auszugleichen.

• Das Untersuchen der Struktur und die Indizierung sollten getrennt werden, damit bekannte Strukturen bei einem Update der Indizes erhalten bleiben
• Der RBSE-Spider sollte an jeder beliebigen Stelle des WWW neu gestartet werden können, damit bekannte Strukturen nicht nochmals besucht werden müssen
• Der RBSE-Spider sollte sich eindeutig als Webcrawler und nicht als Benutzer gegenüber den Servern identifizieren
• Durch das Suchen nach Internetseiten und das Indizieren dieser, sollte das WWW möglichst wenig beeinflusst werden. Außerdem soll die Suche auf HTML- Dokumente beschränkt sein

Die Anforderungen, welche an den RBSE-Spider gestellt wurden, waren ein wichtiger Schritt für die weitere Entwicklung effizienter und ressourcensparender Webcrawler, die für zukünftige Suchmaschinen unerlässlich waren.