ربات های خزنده گوگل نقش مهمی در کارکرد این موتور جستجو ایفا می‌کنند. عملکرد این ربات ها بسیار پیچیده بوده و اکثر سئوکاران به اصطلاح از سر و کله زدن با آنها هراسان هستند. همانطور که میدانید دنیای سئو و بهینه سازی سایت بسیار پیچیده و غیر قابل پیشبینی است. یکی از فاکتورهای بسیار تاثیرگذار بر روی همین پچیدگی، عدم آگاهی از نحوه کار ربات های خزنده گوگل است.
در این مطلب برای اینکه از دشواری سئو تا حد زیادی بکاهیم به توضیح و تشریح گوگل بات ها خواهیم پرداخت. پس درصورتی که هیچ آشنایتی با این بات ها ندارید، حتما تا آخر مقاله را مطالعه نمایید.
فهرست مطالب
فعالیت های اصلی ربات های خزنده گوگل
عملکردی که ربات های خزنده گوگل از خود نشان می‌دهند و نوع کارکردشان همواره جزئی از بحث های پر جنجال در دنیا وب محسوب می‌شود. به طور کلی نحوه کار Googlebotها شامل 3 فعالیت اصلی زیر است:
- کراول کردن (Crawling): هنگامی که محتوایی در سایتی منتشر می‌شود، این محتوا در صفحات اینترنتی بررسی می‌کنند.
- ایندکس کردن (Indexing): ربات های گوگل با توجه به موضوع و نوع مطلب، محتوا را ایندکس می‌کنند. درواقع عامل نمایش محتوا در صفحه نتایج جستجو، همین ربات ها هستند.
- رتبه بندی نتایج (Ranking): ربات ها کیفیت محتوای ایندکس شده را بررسی کرده و در مورد جایگاه این صفحه در نتایج گوگل تصمیم می‌گیرند.
در رابطه با وظیفه آخر، رتبه بندی نتایج بخشی از وظایف گوگل بات ها نیست بلکه آنها در مورد آن تصمیم می‌گیرند. به بیان دیگر، Googlebot وظیفه جابجا کردن نتایج جستجوها را به عهده ندارد و تنها درباره بهترین نحوه نمایش نتایج اظهار نظر می‌کند.
گوگل همانند یک کتابخانه بزرگ
برای درک صحیح تر از عملکرد ربات های خزنده گوگل فرض کنید این Googlebotها نقش کتابدار کتابخانه را دارند. یک کتابدار پیش از هرچیزی باید با کتاب های موجود در کتابخانه و موضوع آن ها آگاه باشد. این وضعیت همانند وظیفه Crawling ربات ها است. از جمله توقعاتی که از یک کتابدار وقع داریم این است که اطلاعاتی از کتاب ها داشته باشد. از این طریق بتوانند به مراجعین در انتخاب و پیدا کردن کتاب موردنظرشان کمک کنند. این مرحله نیز شبیه به وظیفه Indexing این ربات ها است.
کتاب هایی که مرتبط با یک موضوع یا ژانر هستند، همانند نتایج جستجو گوگل می‌باشند. همانطور که میدانید در صفحه نتایج گوگل، صفحات مرتبط با عنوان جسجو نمایش داده می‌شوند. معمولا این نتایج تغییر چندانی ندارند تا وقتی که نتایج جدید اضافه شوند. نتایج جدید همان کتاب های جدیدی هستند که به کتابخانه افزوده می‌شوند.
در آخر نیز کتابدار، کتاب هایی که فکر می‌کند برای مراجعه کننده مفید است، به ترتیب بهترین پیشنهادها معرفی می‌کند. این مرحله نیز شبیه به وظیفه Ranking این ربات ها است.
شباهت ربات های گوگل و مرورگر وب
با توجه به گفته های کارشناسان گوگل، ربات های خزنده گوگل تا حدی شبیه به مرورگرهای اینترنتی است. البته نه همه‌ی فعالیت، بلکه حداقل بخشی از عملکرد ربات ها را می‌توان به عملکرد مرورگرهای وب شبیه دانست.
Googlebotها همانند مرورگر وب وارد صفحات وب‌سایتتان می‌شوند. ایندکس شدن صفحات یک سایت بسیار مهم است و درصورتی که این اتفاق نیافتد، صفحات آن برای کاربران نمایش داده نخواهد شد. همانطور که اشاره شد یکی از وظایف اصلی گوگل‌بات ها، ایندکس کردن صفحات سایت است.
از جمله عواملی که موجب می‌شود این ربات ها زودتر به صفحه سایت شما مراجعه کنند، لینک های موجود در صفحات وب و درخواست ایندکس سایت در گوگل سرچ کنسول است. همچنین برای ارسال درخواست ایندکس صفحات سایت در گوگل سرچ کنسول می‌توانید از ابزار URL inspection tool استفاده نمایید.
همچنین درصورتی که تمایل ندارید فعلا صفحات سایتتان ایندکس شود، از طریق فایل robots.txt می توانید عدم تمایل به بررسی و ایندکس صفحات سایت در گوگل را اعلام نمایید. ربات های خزنده گوگل تا زمانی که درخواست ایندکس شدن مجدد این صفحات را ارسال کنید، به وبسایت شما باز نمی گردند.
دفعات سر زدن ربات های گوگل به سایت
فعالیت ربات های خزنده گوگل در بعضی روزها بیشتر و در بعضی روزها کمتر است. همچنین این موضوع در ساعت های طی یک شبانه روز صدق می‌کند. به عنوان مثال در روز black friday که روز پرکاری برای فروشگاه های اینترنتی است ربات های گوگل باید به صفحات زیادی سر بزنند.
این ربات ها برای بررسی محتوای سایت ها به بازه زمانی انتشار محتوا، نوع و موضوع محتوا توجه می‌کنند. برای مثال اگر شما در روزها و ساعات خاصی، محتوا در سایتتان منتشر می‌کنید، این ربات ها بیشتر در همان ساعت به سایتتان مراجعه می‌کنند.
محتوا، معیار بازدید گوگل بات ها
برای درک این موضوع، سه سایت با محتوای متفاوت را فرض کنید. یکی از آن ها سایتی خبری بوده که در طول روز برای بروز نگه داشتن سایت خود باید تعداد زیادی محتوا در آن منتشر کند. محتوای این صفحات اخبار روز هستند و باید به سرعت به دست کاربر برسند.
حالا یک فروشگاه اینترنتی را در نظر بگیرید که محتوای آن هر چند روز یا چند هفته یکبار بروز رسانی می‌شود. عموما سایت های فروشگاهی محتوای کمتری نسبت به یک سایت خبری دارند. سایت سوم نیز، سایت یک موزه است. احمالا محتوای آن هر چند ماه یکبار آپدیت می‌شود. تعداد محتوایی که به این سایت افزوده می‌شود بسیار کم است.
مسلما ربات های خزنده گوگل به سایت های خبری که همواره محتوای تازه و جدیدی را منتشر می‌کنند بیشتر سر می‌زنند تا سایت هایی ماننند موزه که هر چندماه یکبار محتوای خود را بروز رسانی می‌کنند. همچنین این ربات ها قادر به تشخیص سایت های اسپم نیز می‌باشند. میزان خزش آنها در این سایت بسیار کم شده و در برخی موارد به صفر می‌رسد.
