به گزارش رهاتل به نقل از ایسنا، تا پیش از وجود جست وجوگرها، به علت گستره ی كوچك و محدود اینترنت، فهرست كاملی از تمام سرویس دهنده های وب وجود داشت. استفاده از این فهرست برای آگاهی از سرفصل ها و اطلاعات قابل دسترس در آن ها برای كاربران كفایت می كرد، اما بعد از شروع دوران شكوفایی اینترنت و عرضه كنندگان خدمات و افزایش غیرقابل تصور میزان محتوا و وبگاه های عرضه شده در این عرصه، دیگر فهرست های فوق الذكر پاسخ گوی نیازهای كاربران نبوده و وجود ابزاری جدید در این میان كاملا احساس می شد تا اطلاعات را به روز و جدید نگه داری كند.
یكی از ابتدایی ترین ابزارهای جست وجوی اینترنت Archie نام داشت كه از نام «archive» با حذف حرف «v» آن گرفته شده است.
بر اساس آنچه كه در كتاب تجارت الكترونیك با استفاده از بهینه سازی موتورهای جست وجو آمده است این ابزار در سال ۱۹۹۰ توسط آلن امتیج (Alan Emtage)، دانشجوی دانشگاه مك گیل در مونترال ابداع شد. این برنامه فهرست های كل فایل های قرار گرفته برروی وبگاه های FTP را جمع آوری كرده و پایگاه داده ای قابل جست وجویی از نام فایل ها تولید می كرد، یعنی جست وجوی Archie شامل محتویات وبگاه از جمله متن و اسناد موجود این مجموعه ها نبوده و آن ها را نمایه نمی كرد.
با ظهور گوفر (Gopher) در سال ۱۹۹۱ توسط مارك مك كاهیل در دانشگاه مینه سوتا دو برنامه ی جست وجوی جدید به نام های، ورونیكا (Veronica) و جاگهد (Jughead) پا به عرصه ی حیات گذاشتند. این برنامه ها همانند Archie نام فایل ها و عناوین ذخیره شده در سامانه های نمایه گوفر را جست وجو می كردند.
ورونیكا كه نام آن از سرواژه های عبارت انگلیسی (Very Easy Rodent _ Oriented Net _wide Index to Computerized Archives) ساخته شده است. جست وجوی كلیدی واژه ای برای اغلب عناوین منوها در تمام فهرست های گوفر را فراهم آورده بود و جاگهد كه نام آن از سرواژه های عبارت انگلیسی Jonzy Universal Gopher Hierarchy Excavation And Display ساخته شده است، ابزاری برای كسب اطلاعات منو از سرویس دهنده های خاص گوفر بود.
اولین جست وجوگر وب با استفاده از ربات های نرم افزاری وندكس (wandex) نام داشت، ماتیوگری یكی از دانشجویان دانشگاه MIT نخستین ربات جست وجوگر اینترنتی را با نام World Wide Web Wanderer برای شمارش سرویس دهنده های وب به منظور محاسبه ی رشد گستردگی وب طراحی كرد. گری به زودی با ارتقاء ربات خود آن را برای جمع آوری اطلاعات واقعی وبگاه در جست وجوگر وندكس به كار گرفت.
در سال ۱۹۹۳ مارتین كاستر در پاسخ به موتور جست وجوی وندكس، الی وب (ALIWEB: Archie Like Indexing of the Web) را طراحی كرد كه در آن به جای به كارگیری ربات ها از شیوه ی دیگری یعنی نمایه سازی وبگاه توسط مدیران و طراحان آن استفاده می شد، بدین سان افراد می توانستند خود به توصیف محتوای وبگاه خود بپردازند.
به دلیل فقدان آگاهی غالب كاربران از چگونگی تنظیم و ارسال اطلاعات مربوط به وبگاه خود استفاده از این شیوه محدودیت هایی را داشت، اما تا حدی جبران مشكلات ربات های نرم افزاری را می كرد، زیرا ربات ها حجم زیادی از پهنای شبكه را اشغال می كردند و این مساله گاهی سبب از كار افتادن سامانه ها می شد.
از این پس با رشد ناگهانی اینترنت و افزایش غیرقابل باور حجم وبگاه ها، از جانب دیگر اثبات سودآوری شبكه، اهمیت جست وجوگرها بیش از پیش آشكار شده و با شكل گیری فن آوری های جدید ربات های خزنده ی قوی تر و سامانه های جست وجوی پیشرفته تر، وبگاه های جست وجو رقابت با یكدیگر را به طورجدی در پیش گرفتند و از آنجایی كه تنها راه رویارویی با حجم فزاینده ی اطلاعات در محیط وب، ابزارهای جست وجو محسوب می شدند گسترش و پیشرفت آن ها اهمیت خاصی یافت به طوری كه این فن آوری با عمری كم تر از دو دهه، یكی از پركارترین ابزارهای مورد استفاده ی كاربران وب است.