موتور جستجو چیست و چگونه کار می‌کنند؟ (+الگوریتم‌ها)
قبل از اینکه به چگونگی عملکرد موتور جستجو بپردازیم، در وهله اول باید بدانیم که اصلا موتور جستجو چیست و چگونه بوجود آمده است. موتور جستجو اساسا هر برنامه کامپیوتری است که برای پیدا کردن اطلاعاتی مشخص در هر پلتفرمی استفاده می‌شود. از نوار جستجوی موجود در لیست مخاطبین تلفن همراهتان گرفته تا شبکه‌ای از کامپیوترهای بهم پیوسته به نام اینترنت. اما امروزه وقتی افراد درباره موتورهای جستجو صحبت می‌کنند، معمولا اشاره به موتورهای جستجوی وب دارند.
موتورهای جستجو درحقیقت، ماشین‌های پاسخ‌دهی هستند. موتور جستجو یک سیستم نرم‌افزاری است که وظیفه اصلی آن پیدا کردن محتوا (اعم از محتوای متنی، صوتی، عکس، ویدئو و هر فایل دیگری) در شبکه جهانی وب (WWW) است؛ محتوایی که بیشترین مطابقت را با کوئری شما داشته باشد. (کوئری همان عبارتی است که کاربر جستجو می‌کند)
یک موتور جستجو از دو بخش اصلی تشکیل شده است: پایگاه داده اطلاعات و الگوریتم‌ها.
موتورهای جستجو چگونه بوجود آمدند؟
ایده فهرست کردن اطلاعات اولین بار در جولای سال 1945 در مقاله “ماهنامه آتلانتیک” نوشته Vannevar Bush با عنوان “همانطور که ممکن است فکر کنیم” مطرح شد. او در این مقاله بر اهمیت اطلاعات در آینده تاکید کرد و دانشمندان را به پیدا کردن راهی برای یکی کردن تمام اطلاعات ترغیب کرد. در نهایت، یک دانشمند انگلیسی به نام Tim Berners Lee شبکه جهانی وب را در سال 1989 اختراع کرد که از تکنولوژی به نام (Hypertext Transfer Protocol (HTTP استفاده می‌کرد. علاوه بر این، اوکسی بود که تمامی ابزارهای لازم برای راه‌اندازی وب ازجمله زبان HTML و URL را خلق کرد.
یک سال بعد، اولین موتور جستجو به نام آرچی (Archie) بوجود آمد که اگرچه از نظر فنی اولین موتور جستجو نام گرفت، اما در حقیقت توانایی نمایش دادن محتوای وب را نداشت و فقط عناوین را فهرست می‌کرد. به همین خاطر، برای استفاده از آن نیاز بود تا کاربران نام دقیق فایل مورد نظر خود را بدانند. دیتابیس آرچی در حقیقت فقط متشکل از نام فایل‌های قابل دانلودی بود که از سایت‌های FTP جمع‌آوری شده بودند. به دنبال موفقیت پروژه آرچی، دو موتور جستجوی مشابه به نام‌های ورونیکا (Veronica) و جاگ‌هد (Jughead) با هدف ایندکس کردن متن ساده بوجود آمدند.
در سال 1991، Tim Berners Lee موفق شد اولین وبسایت تاریخ را ایجاد کرده و در دسترس عموم قرار دهد. در این وبسایت توضیح داده شده بود که شبکه جهانی وب چیست، چگونه می‌توان یک سرور وب برپا کرد و چطور می‌شود یک مرورگر در اختیار داشت.
در سال 1993، اولین ربات (که ما آن را با نام عنکبوت نیز می‌شناسیم) به نام World Wide Web Wanderer ساخته شد. هدف از ایجاد این ربات، ارزیابی میزان رشد و پیشرفت وب بود. طولی نکشید که این ربات ارتقا پیدا کرد تا بتواند URLهای فعال را جمع‌آوری کرده و آن‌ها را در یک دیتابیس به نام وندکس (Wandex) نگهداری کند. اما رفته رفته ربات واندرر که قرار بود خود راه حل باشد، به مشکلی بزرگ تبدیل شد. واندرر، مرتبا سایت‌ها را مختل می‌کرد و دسترسی به آن‌ها را غیرممکن می‌ساخت. در این بین، موتور جستجویی به نام W3Catalog که می‌توان گفت اولین موتور جستجوی وب تاریخ است (همانطور که گفته شد، موتورهای جستجوی قبلی قابلیت نمایش محتوای وب را نداشتند)، در اواسط سال 1993 بوجود آمد. اگرچه W3Catalog سعی کرده بود تا علاوه بر استفاده از ربات‌ها، فهرستی باکیفیت از وبسایت‌های موجود داشته باشد، اما همچنان نتوانست مشکل اختلال ربات‌ها را حل کند.