1990 

An der McGill Universität in Montreal wurde Archie entwickelt. Archie soll vorhandene Informationen über FTP-Dateien auf anonymous-FTP-Servern automatisch sammeln, sortieren und den Benutzern aufbereitet zur Verfügung stellen.
Ab 1992 gehörte Archie zu einem der häufigst genutzten Internet-Dienste. Zu dieser Zeit konnte Archie nur über Telnet abgefragt werden.
Heute ist Archie jedoch praktisch bedeutungslos.

1991

An der University of Minessota wurde Gopher entickelt, um grosse Datenmengen über eine menügesteuerte Oberfläche abzufragen. Dieses Tool erhielt den Namen Veronica (Very Easy Rodent-Oriented Netwide Index to Computerized Archives) und ist vergleichbar mit den heutigen Suchmaschinen. Veronica durchsuchte monatlich alle Gopher-Vereichnisse, die bei dem Server der University of Minesota angemeldet waren. Bei Suchabfrage war die Verwendung der Boolschen Operatoren AND, OR und NOT möglich.
Jughead ist ein ähnliches Tool wie Veronica. Es durchsucht ebenfalls Gopher-Verzeichnisse, aber jeweils nur auf einem Server.

Brewster Kahle stellt WAIS (Wide Area Information Server) vor, der es ermöglicht, große Mengen an Daten zu indizieren und damit Suchabfragen zugänglich zu machen.

1993

Der erste Such-Robot für das gerade neu entstehende WorldWideWeb war der WorldWideWeb Wanderer (http://www.mit.edu/people/mkgray/net/background.html), der von dem MIT-Studenten Mathew Gray im Frühjahr 1993 programmiert wurde. Ursprünglich zählte The Wanderer nur WWW-Server. Erstes Ergebnis: 100 Server sind am Netz. Aber einige Monate später fügte Michael L. Maudlin ein Program namens "Wandex" hinzu, um die gesammelten Daten durchsuchen zu können. (Mauldin entwickelte später die Suchmaschine "Lycos".
Matthew Grays "Wanderer" zählt im Juni 130 Web-Sites, im Dezember über 620. The Wanderer durchsuchte und katalogisierte von Juni 1993 bis Januar 1996 zweimal pro Jahr das Netz.

Im Oktober wurde der Archie-Like Indexing of the Web (Aliweb) entwickelt. Die Betreiber von WWW-Servern müssen eine Beschreibung ihres Service in einem Standard-Format in einer Datei ablegen. Die Adresse dieser Datei wird Aliweb mitgeteilt. Aus diesen Informationen generiert Aliweb einen durchsuchbaren Index.

Im Dezember wurden die Suchmaschinen Jumpstation, WordWideWeb Worm und RBSE Spider online gestellt. Die beiden erstgenannten waren Robots, welche WWW-Seiten nach Title und URL indizierten. Der RBSE Spider war die ersten Suchmaschine, die die Trefferlisten nach einem Ranking-System sortiert anzeigte. Alle drei Suchmaschinen haben heute ihren Dienst eingestellt.

1994

Im April wurde die Suchmaschine WebCrawlwr online gestellt, die ebenfalls über eine nach Ranking sortierte Trefferliste verfügte. WebCrawler wurde 1995 an AOL verkauft und 1996 von AOL an Excite.

Im Mai begann Michael Mauldins mit der Arbeit an der Suchmaschine Lycos, die dann im Juli online gestellt wurde. Neu an dieser Suchmaschine war, dass nicht nur die Worthäufigkeit innerhalb einer Seite sondern auch die Nähe von Suchbegriffen untereinander einander ausgewertet wurde.

David Filo und Jerry Yang, Studierende des Bereichs "Electrical Engineering" an der Stanford University, starten eine Sammlung ihrer besten Web-Adressen unter dem Namen Yahoo! auf zwei Servern, die nach den Hawaiianischen Sumo-Ringern Akebono und Konishiki benannt sind.

1995

In diesem Jahr sind die ersten Suchmaschinen, die nicht von Universitäten, sondern von kommerziellen Firmen entwickelt wurden, im WWW:
- Infoseek
- Architext
- Alta Vista

Im Oktober ändert Architext seinen Namen auf excite.

1996

1996 wird die Inktomi Corp. gegründet. Die gleichnamige Suchmaschine wird zur Grundlage von Hotbot und anderen Search Sites. Der Name stammt aus einer Legende der Lakota-Indianer über eine kleine Spinne, die schlauer ist, als ihre größeren Artgenossen.

Tipp: Aktuelle Infos zum Internet und Internet News