ربات های خزنده گوگل نقش بسیار مهم را در این موتور جستجو ایفا می‌کنند و به نوعی می‌توان گفت عملکرد الگوریتم های این غول جستجو توست این بات ها تعیین می‌شود. در مقاله پیشین گفتیم که Googlebotها دارای سه وظیفه اصلی می‌باشند که عبارتند از:
1. کروال کردن 2. ایندکس کردن 3. رتبه بندی نتایج
همچنین درباره شباهت ربات های خزنده گوگل و مرورگر وب صحبت کردم و به تفصیل به بررسی آن پرداختیم. در ادامه تصمیم داریم به دیگر نکات مرتبط با عملکر این ربات ها بپردازیم تا بتوانند در رباطه با عملکر آنها بدرستی نتیجه گیری نمایید.
فهرست مطالب
چگونگی ایندکس کردن فروشگاه های اینترنتی بزرگ توسط ربات های گوگل
یک سایت فروشگاهی باتوجه به محصولات متنوعی که دارد، تعداد صفحات زیادی را ارائه می‌دهد. ربات های گوگل قادر نخواهند بود تمام صفحات یک فروشگاه اینترنتی بزرگ را به یکباره ایندکس نمایند. این موضوع دو دلیل اصلی دارد:
- برای ایندیکس کردن تمام این صفحات به منابع بسیار زیادی احتیاج است.
- فشار زیادی به سرورهای فروشگاه اینترنتی موردنظر وارد خواهد شد.
اگر یک مشتری اینترنتی باشید، حتما به سایت های فروشگاه اینترنتی سر زده‌اید. چنین سایت هایی از چندین دسته تشکیل شده‌اند و هر دسته از متشکل از صدها صفحه هستند. اگر این Googlebotها بخواهند تمامی این صفحات را به یکباره ایندکس کنند، فشار بسیار زیادی به منابع سرور سایت فروشگاهی وارد خواهد شد و به دلیل مصرف زیاد پهنای باند سایت از دسترس خارج می‌گردد.
در سایت هایی که تعداد بسیار زیادی صفحه دارند، ربات های گوگل قبل از هرچیز پتانسیل سایت مورد نظر را ارزیابی می‌کنند. به بیان دیگر، این ربات ها برای بررسی و ثبت صفحات اندازه ای را در نظر می‌گیرند. این میزان که در بازه های زمانی مختلف، متغییر است را Crawl Budget می‌نامند.
با توجه به این میزان، ربات ها صفحات سایت را تا حدی بررسی می‌کنند فشاری بر منابع سرور فروشگاه اینترنتی وارد نشود. البته پیش از بررسی سایت های بزرگ با تعداد صفحات زیاد، توان ربات های در دسترس گوگل نیز ارزیابی می‌شود.
خطاهای کراول Crawl errors
همچنین موضوع دیگری که در میزان خزش ربات ها تاثیر گذار است، خطاهای کراول (Crawl errors) می‌باشد. بدین معنا که هرچه ربات های گوگل در هنگام کروال کردن سایت، بیشتر با خطا رو به رو شوند، بودجه خزش سایت شما کاهش پیدا می‌کند. اما در صورتی که با خطای کمتری مواجه شوند میزان خزش تا حد ممکن افزایش می‌یابد. گاهی اوقات میزان این خطاها آنچنان زیاد است که نرخ خزش این ربات ها را تا نزدیک صفر می‌رساند. خطاهای کروال در بخش Crawl errors ابزار گوگل سرچ کنسول قابل مشاهده هستند.
چگونگی ایندکس کردن سایت های جاواسکریپتی بواسطه ربات های گوگل
سایت های گوناگونی وجود دارند که با سیستم محتواهای مختلفی ساخته شده‌اند. از جمله این سیستم ها می‌توان جاوا اسکریپت اشاره کرد. گوگل برای خزش ربات هایش در سایت ها و وب اپلیکیشن هایی که بر اساس جاوا اسکریپت طراحی شده‌اند، از مرورگرهایی با نام WRS (Web Rendering Service) استفاده می‌کند.
این مرورگرها درواقع نوعی ربات های گوگل می‌باشند. با استفاده از توانایی رندر کردن کدهای جاوا اسکریپت، این مرورگرها قادر به خواندن این کدها خواهند بود. فرآیند مشاهده این لینک توسط ربات های گوگل بدین شرح خواهد بود:
- خواندن و اجرا شدن کدهای جاوا اسکریپت توسط Googlebotها
- تبدیل کدهایجاوا اسکریپت به کدهای html
- بررسی در آخرین مرحله لینک قرار گرفته در کد html توسط این ربات ها
فرآیند درک این صفحات توسط Googlebotها ممکن است مقداری طول بکشد. به منظور سرعت بخشیدن به این فرآیند استفاده از تکنیک داینامیک رندرینگ (Dynamic Rendering) توصیه می‌شود. از طریق این روش، هنگامی که گوگل بات ها برای بررسی یک صفحه از سایت یا اپلیکیشنی که با جاوا اسکریپت ساخته شده می‌آیند، سرور متوجه حضور آن ها شده و به جای نسخه جاوا اسکریپت، نسخه html همان صفحه را برای بررسی در دسترس ربات گوگل قرار می‌دهد.
تفاوت Mobile-first indexing و Mobile friendliness
دو مفهوم Mobile-first indexing و Mobile friendliness معمولا با یکدیگر اشتباه گرفته می‌شود. در حالت Mobile-first indexing ربات های گوگل نمایش صحیح محتوا در نسخه موبایل را بررسی می‌نمایند. این ربات ها که با نام Mobile Googlebot شناخته می شوند و وبسایت را با استفاده از تگ Viewport بررسی و ایندکس می‌کنند.
درواقع وظیفه اصلی آنها این است که مطمئن شوند محتوای صفحه برای کاربران موبایل به خوبی نمایش داده می‌شود. در Mobile-first indexing، معیار گوگل برای رتبه بندی صفحه، محتوای نمایش داده شده در نسخه موبایل است.
اما در Mobile friendliness مواردی نظیر کلیک آسان بر روی دکمه ها در نسخه موبایل، فونت مناسب و خوانا و … زیر بررسی می‌شود. این موارد، کیفیت محتوای صفحه (Quality Indicators) را بررسی و تعیین می‌کنند. با اینحال تنها یکی از 200 فاکتور تاثیرگذار در نتایج گوگل به شما می‌آیند.
ربات های گوگل این 200 فاکتور را به صورت متادیتا (Meta data) ایندکس می‌کند. سپس رتبه بندی سایت ها بر اساس این اطلاعات بدست آمده، انجام می‌شود. هر یک از فاکتورهای تاثیرگذار در کسب جایگاه همانند قدمی رو به جلو هستند که رتبه سایت شما را بهبود می‌بخشند. اما تاثیر این عوامل در حال تغییر است و معیار ثابتی برای آن ها وجود ندارد.
