با پیشرفت بشر در زمینه‌های مختلف علمی و افزایش سطح آگاهی انسان درباره پدیدههای مختلف و البته نیاز رو به گسترش ما به دانش و اطلاعات در این عصر زمینه برای بروز پدیدههای مختلفی که بتواند خواسته‌های علمی و اطلاع رسانی انسان را برای برآورده سازد افزایش یافته است . با ساخت کامپیوتر در اواسط قرن گذشته مقداری از نیازهای انسان برآورده شد با گذشت زمان این دستگاه در قسمتهای مختلف جامعه نفوذ کرد و تا امروز که در جاهایی مانند مراکز نظامی، پزشکی و اداری به وفور استفاده می‌شود .
در دهه‌های پایانی قرن گذشته با افزایش نیازبه اطلاعات بصورت روزانه گسترش ارتباط بین سازمانها و نهادها . نیاز به یک شبکه جهانی احساس شد که هم اطلاعات به روز شده و فراوانی بتواند در آن وجود داشته باشد و هم به سادگی و ارزان در اختیار مردم قرار گیرد . که اینترنت بر این اساس شکل گرفت . امروزه اینترنت به سرعت در حال وارد شدن به زندگی مردم است این رسانه با مطالب فراوان و متنوعی که دارد توانسته است قشرهای مختلف مردم را به خود جذب کند .
امروزه عده زیادی از مردم عادی، ادارات دولتی، سازمانها ، … در روز از اینترنت استفاده می‌کنند . به همین خاطر به مکانیزمی نیاز شد که کاربران بتوانند امکان جستجو داشته باشند در نتیجه موتورهای جستجوگر در این رسانه ایجاد شده است تا بتواند مطالب مورد نظر کاربر را به سرعت پیدا کنند .
موتورهای جستجو از ابتدای تشکیل خود با امکان جستجوی مطلب در بعضی از سایتهای اینترنتی قرار گرفتند. این سایتها با گذشت زمان توانستند مکانیزم جستجوی خود را بهینه و از طرفی گسترده‌تر کنند . با گسترش استفاده از اینترنت احتیاج به موتور جستجوی فارسی بشدت مشاهده می‌شد که این کار توسط GOOGLE انجام شده است . و می‌توان به کمک آن اطلاعات فراوانی را بصورت فارسی در زمینه‌های مختلف بدست آورد . گستردگی این مطالب بقدری زیاد است که پیشنهاد می‌شود که هر کاربر اسم خود را یک بار در موتور جستجو نوشته و نتیجه کار را مشاهده کنند .
سایتهای موتور جستجو در حال حاضر نیز در حال بهتر کردن الگوریتم جستجوی خود و اضافه کردن کارایی‌های دیگر به سایت خود هستند که در قسمت پایانی تحقیق آمده است . در این تحقیق سعی شده است مطالبی راجع به موتورهای جستجو و انواع آن و نسل
آینده آنها مطالبی آورده شده است .
موتور جستجوگر چگونه کار می کند ؟
وقتی جستجویی در یک موتور جستجوگر انجام و نتایج جستجو ارائه می‌شود، کاربر در واقع نتیجه کار بخش‌های متفاوت آن موتور جستجوگر را می‌بینند .
موتور جستجوگر قبلاً پایگاه داده‌اش «Database » را آماده کرده است و این گونه نیست که در همان لحظه جستجو، تمام وب را بگردد . بسیاری از خود می‌پرسند که چگونه امکان دارد گوگل « Google » در کمتر از یک ثانیه تمام سایتهای وب را بگردد و میلیون‌ها صفحه را در نتایج جستجوی خود ارائه کند ؟
نه گوگل و نه هیچ موتور جستجوگر دیگری توانایی انجام این کار را ندارد. همه آنها در زمان پاسخ‌گوی به کاربران، تنها در پایگاه داده‌ای که در اختیار دارند به جستجو می‌پردازند و نه در وب ! موتور جستجوگر به کمک بخش‌های متفاوت خود، اطلاعات مورد نیاز قبلاً جمع‌آوری، تجزیه و تحلیل می‌کند و آنرا در پایگاه داده‌اش ذخیره می‌نماید، بخش‌های مجزای یک موتور جستجوگر عبارتند از :
• Spider یا عنکبوت
• Crawler یا خزنده
• Indexer یا بایگانی کننده
• Database یا پایگاه داده
• Ranker یا سیستم رتبه بندی
الف Spider (عنکبوت)
اسپایدر یا روبوت « Robot » نرم افزاری است که کار جمع‌آوری اطلاعات مورد نیاز یک موتور جستجوگر را بر عهده دارد . اسپایدر به صفحات مختلف سر می‌زند، محتوای آنها را می‌خواند و اطلاعات مورد نیاز موتور جستجوگر را جمع‌آوری می‌کند و آنرا در اختیار سایر بخش‌های موتور جستجوگر قرار می‌دهد.
کار یک اسپایدر، بسیار شبیه کار کاربران وب است. همانطور که کاربران، صفحات مختلف را بازدید می‌کنند، اسپایدر هم این کار را انجام می‌دهد با این تفاوت که اسپایدر کدهای HTML صفحات را می‌بیند اما کاربران نتیجه حاصل از کنار هم قرار گرفتن این کدها را.
اسپایدر، به هنگام مشاهده صفحات، از خود بر روی سرورها « رد پا بر جای می‌گذارد . شما اگر اجازه دسترسی به آمار دید و بازدید‌های صورت گرفته از یک سایت و اتفاقات انجام شده در آنرا داشته باشید، می‌توانید مشخص کنید که اسپایدر کدام موتورهای جستجوگر صفحات سایت را مورد بازدید قرار داده‌اند .
اسپایدر‌ها کاربردهای دیگری نیز دارند، به عنوان مثال عده‌ای از آنها به سایتهای مختلف مراجعه می‌کنند و فقط به بررسی فعال بودن لینک‌های آنها می‌پردازند و یا به دنبال آدرس پست الکترونیکی « Email » افراد می‌گردند .