By | August 2, 2022

Google は常に Web 検索市場を支配していたのですか? 検索エンジンの歴史に関する 3 回の記事の 2 回目では、最初の Web クローラーである WWW Wanderer を含む、初期の検索市場のパイオニアに注目します。 ディズニーがビジネスの最大のプレーヤーの1つであったことをご存知ですか? それとも、Altavista は多くの点で、1998 年には現在の Google よりも技術的に進歩していたのでしょうか? 読む!

先駆的な Web 検索エンジン

実際、最新の検索エンジンが最初に登場し始めたのは、1993 年の MOSAIC ブラウザの開発と普及の後です。雑誌に掲載されたリスト。 28.8Kbps モデムの価格は 399 ドルで、(ゆっくりではありますが) インターネットを大衆の手の届くところにもたらしました!

この時点で、そして次の 4 ~ 5 年間、最高のサイトの印刷物や Web ベースのディレクトリを作成し、これを消費者にとって有益な情報にすることはほとんど可能でした. しかし、www サイトの数が急速に増加したため (1993 年の 130 から 1996 年には 600,000 以上に)、この努力は、世界中のすべてのビジネス、メディア、図書館のイエロー ページを印刷するのと同じくらい無駄に思えるようになりました。

WAIS は永続的な成功を収めたわけではありませんが、複数のインターネット ホスト上の文書の全文を検索してクリックスルーできることの価値を際立たせました。 初期のインターネット マガジンと Web ディレクトリは、人間がカタログ化する能力よりも速く成長しているインターネットについていくことができるという課題をさらに浮き彫りにしました。

1993 年 6 月、MIT の Matthew Gray は、PERL ベースの Web クローラーである WWW Wanderer を開発しました。 当初、これは単に「サイトを収集する」ことによってワールド ワイド ウェブの成長を測定するためのツールとして考案されました。 しかしその後、グレイ (現在は Google に勤務) は、クロールされた結果を使用して「Wandex」というインデックスを作成し、検索フロントエンドを追加しました。 このようにして、グレイは世界初の Web 検索エンジンと最初の自律型 Web クローラー (すべての最新の検索エンジンに不可欠な機能) を開発しました。

Wanderer は Web サイトをクロールするためにロボットを送信した最初の企業でしたが、(WAIS のように) ドキュメントの全文をインデックス化していませんでした。 これら 2 つの必須要素を組み合わせた最初の検索エンジンは、1994 年にワシントン大学の Brian Pinkerton によって開発された WebCrawler でした。 WebCrawler は、私たち初期の先駆者の多くが最初に Web を精査した検索エンジンであり、その (当時の) 魅力的なグラフィカル インターフェイスと結果を返す驚くべき速さは、愛情を込めて記憶されるでしょう。 1994 年には、Infoseek と Lycos も発売されました。

しかし、Web の成長の規模により、平均的な大学の IT 部門の範囲を超えたインデックス作成が行われ始めていました。 次の大きなステップには設備投資が必要でした。 入って、右のステージ、(当時は巨大な) Digital Equipment Corporation (DEC) で、超高速の Alpha 8400 TurboLaser プロセッサです。 DEC は Web テクノロジーを早期に採用し、フォーチュン 500 企業として初めて Web サイトを開設しました。 その検索エンジン AltaVista は 1995 年に開始されました。

1957 年に設立された DEC は、1970 年代から 1980 年代にかけてミニコンピュータ市場をリードしてきました。 実際、初期の ARPANET ホストが実行されていたマシンのほとんどは DEC-PDP-10 と PDP-11 でした。 しかし、1990 年代初頭までに、DEC は経営難に陥っていました。 1977 年、当時の CEO であったケン オルセンは、「個人が自宅にコンピュータを所有する理由はない」という有名な言葉を残しました。 当時は多少文脈から外れていましたが、この引用は、パーソナル コンピューティングの出現と 1980 年代のクライアント サーバー革命に対する DEC の対応が遅かったことを示すものでもありました。

Altavista が開発される頃には、会社はあらゆる面で HP、Compaq、Dell、SUN、IBM に包囲され、流行遅れのように損失を出していました。 Louis Monier と DEC の彼の研究チームは、最終的な PR クーデターとして社内で「発見」されました。 1 台のコンピューターで Web 全体をキャプチャし、検索可能にします。 同社をイノベーターとして紹介し、新しい赤ちゃんの超高速と 64 ビット ストレージを実証するには、これ以上の方法はありません。

1995 年、Monier は 1000 の Web クローラーを若い Web に解き放ちました (当時としては前例のない成果です)。 12 月 (サイトの立ち上げ) までに、Altavista は数十億語からなる 1600 万以上のドキュメントをインデックス化しました。 本質的に、Altavista は最初の商用強度の Web ベースの検索エンジン システムでした。 AltaVista は、初日だけで約 300,000 のアクセスを記録し、9 か月以内に 1 日あたり 1,900 万のリクエストを処理しました。

実際、Altavista は技術的に時代をはるかに先取りしていました。 検索エンジンは、後に Google や他の企業が追いつくのに何年もかかった多くのテクノロジーの先駆けとなりました。 このサイトには、自然検索クエリ、ブール演算子、自動翻訳サービス (babelfish)、画像、動画、音声検索が含まれていました。 また、(少なくとも当初は) 非常に高速で、(他のエンジンとは異なり) 従来のインターネット リソース (特に当時まだ人気のあった UseNet ニュースグループ) のインデックス作成にうまく対応しました。

Altavista、Magellan、Excite (すべて 1995 年に開始) の後、Inktomi と Ask Jeeves (1996 年)、Northern Light と Snap (1997 年) など、多数の検索エンジン企業がデビューしました。 Google 自体は 1998 年に発足しました。

これらの初期のエンジンは、それぞれ熱狂的なファンを獲得し、当時の初期の検索市場でシェアを獲得しました。 また、それぞれに独自の相対的な長所と短所がありました。 たとえば、Northern Light は、検索結果を件名ごとにラベル付けされた特定のフォルダーに整理し (これはおそらく今日でも改善されるべきものです)、その結果、少数ながら熱狂的なファンを獲得しました。 Snap の先駆的な検索結果は、人々が何をクリックしたかによってランク付けされていました (Yahoo! と Google は現在、いじっているだけです!)

1999 年 1 月 (ドットコム ブームの初期)、最大のサイト (マーケット シェア) は Yahoo!、Excite、Altavista、Disney で、すべての検索エンジンからの参照の 88% を占めていました。 マーケット シェアは、インデックスに登録されたページ数とは密接な関係がありませんでした (Northern Light、Altavista、そして当時はあまり知られていなかった Google が群を抜いていました)。

検索エンジンの検索リファーラルのシェア (1999 年 12 月)

ヤフー! – 55.81%

Excite プロパティ (Excite、Magellan、WebCrawler) – 11.81%

アルタビスタ – 11.18%

ディズニー検索プロパティ (Infoseek & Go ネットワーク) – 8.91%

ライコス – 5.05%

Go To (現在は Overture) – 2.76%

スナップ / NBCi – 1.58%

MSN – 1.25%

ノーザン・ライト