کرال باجت (بودجه خزش) میزان سرعت و تعداد صفحاتی است که یک موتور جستجو در سایت شما کرال یا خزش می‌کند. این متغیر تحت تأثیر میزان منابعی است که یک کرالر یا خزنده در سایت شما استفاده می‌کند و میزان کرالی است که سرور شما پشتیبانی می‌کند.
کرال سایت به این معنی نیست که شما رتبه بهتری کسب خواهید کرد، اما اگر صفحات شما کرال و ایندکس نشده باشند، به هیچ وجه رتبه‌ای نخواهند داشت.
بیشتر سایت‌ها نگرانی در مورد کرال باجت ندارند، اما مواردی وجود دارد که باید بعنوان یک متخصص سئو به آنها توجه کنید. مواردی همچون:
- چه زمانی باید نگران کرال باجت باشید؟
- نحوه بررسی فعالیت کرالر؛ چه چیزی در کرال باجت حساب می‌شود؟
- گوگل چگونه کرال خود را تنظیم می‌کند؟
- چگونه می‌توانم گوگل را سریعتر به کرال وا دارم؟
- چگونه می‌توانم کرال گوگل را کندتر کنم؟
اهمیت کرال باجت
کرول باجت اهمیت زیادی در سئو دارد. اگر بودجه خزش یک سایت کم باشد، ربات‌های گوگل نمی‌توانند تمام صفحات سایت را به طور کامل بررسی کنند. این امر می‌تواند منجر به مشکلاتی مانند:
- ایندکس نشدن صفحات جدید یا به‌روزشده
- کاهش رتبه سایت در نتایج جستجو
- کاهش بازدید از سایت
عوامل موثر بر کرول باجت
عوامل مختلفی بر کرول باجت تاثیر می‌گذارند. برخی از مهم‌ترین این عوامل عبارتند از:
- اندازه سایت: هرچه یک سایت بزرگتر باشد، بودجه خزش بیشتری نیاز دارد.
- تعداد صفحات: هرچه تعداد صفحات یک سایت بیشتر باشد، بودجه خزش بیشتری نیاز دارد.
- کیفیت محتوا: محتوای باکیفیت و مرتبط با موضوع سایت، احتمال بیشتری دارد که توسط ربات‌های گوگل بررسی شود.
- ارتباط صفحات: صفحاتی که با یکدیگر مرتبط هستند، احتمال بیشتری دارد که همزمان توسط ربات‌های گوگل بررسی شوند.
چه زمانی باید نگران کرال باجت باشید؟
معمولاً لازم نیست نگران کرال باجت در صفحات باشید. معمولاً صفحاتی که جدیدتر هستند، یا به خوبی لینک داده نشده اند، یا تغییرات زیادی ندارند، اغلب کرال نمی‌شوند.
کرال باجت می‌تواند برای سایت‌های جدید، به ویژه آن‌هایی که صفحات زیادی دارند، موضوع نگران کننده‌ای باشد. سرور شما شاید بتواند کرال زیادی را پشتیبانی کند، اما از آنجایی که سایت جدید است و احتمالاً هنوز خیلی محبوب نیست، ممکن است موتور جستجو تمایل زیادی به خزیدن یا کرال سایت شما نداشته باشد. شما می‌خواهید صفحات شما خزیده و ایندکس شوند، اما گوگل نمی‌داند که صفحات شما ارزش ایندکس کردن دارد یا خیر و ممکن است مایل نباشد صفحاتی که می‌خواهید را کرال کند.
کرال باجت می‌تواند برای سایت‌های بزرگتر با میلیون‌ها صفحه یا سایت‌هایی که زودتر به‌روزرسانی می‌شوند، هم نگران‌کننده باشد. به طور کلی، اگر صفحات زیادی دارید که هر چند وقت یک بار می‌خواهید خزیده یا به روز می‌شوند، باید به دنبال افزایش سرعت کرال باشید. در ادامه مقاله در مورد نحوه انجام این کار صحبت خواهیم کرد.
نحوه بررسی فعالیت کرال یا خزش سایت
اگر می‌خواهید یک نمای کلی از نحوه فعالیت کرال گوگل و هر مشکلی که آنها شناسایی کرده‌اند ببینید، بهترین مکان برای بررسی، گزارش Crawl Stats در سرچ کنسول گوگل است.
گزارش‌های مختلفی در آنجا وجود دارد که به شما کمک می‌کند تغییرات در رفتار کرالر، مشکلات مربوط به کرال و اطلاعات زیادی درباره نحوه خزیدن گوگل در سایت شما را ببینید.
قطعاً می‌خواهید وضعیت‌های کرال علامت‌گذاری شده را مانند مواردی که در اینجا نشان داده شده است، بررسی کنید:
همچنین زمان آخرین خزیدن صفحات هم قابل تشخیص است.
اگر می‌خواهید بازدیدهای همه ربات‌ها و کاربران را ببینید، باید به فایل‌های گزارش خود دسترسی داشته باشید. بسته به میزبانی و راه اندازی، ممکن است به ابزارهایی مانند Awstats و Webalizer نیاز داشته باشید.
در تصویر هاست اشتراکی cPanel مشاهده می‌شود. این ابزارها برخی از داده‌های جمع آوری شده را از فایل‌های گزارش شما نشان می‌دهند.
برای تنظیمات بیشتر، باید به فایل‌های گزارش خام دسترسی داشته باشید و داده‌ها را ذخیره کنید، احتمالاً هم از چندین منبع.
همچنین ممکن است به ابزارهای تخصصی برای پروژه‌های بزرگتر مانند پشته ELK (elasticsearch، logstash، kibana) نیاز داشته باشید که امکان ذخیره سازی، پردازش و تجسم فایل‌های گزارش را فراهم می‌کند. ابزارهای تجزیه و تحلیل لاگ مانند Splunk نیز کاربردی هستند.
چه چیزی در کرال باجت حساب می‌شود؟
همه URLها و درخواست‌ها در کرال باجت شما حساب می‌شوند. این محاسبات حتی شامل نشانی‌های وب جایگزین مانند صفحات AMP یا m-dot ،hreflang ،CSS و جاوا اسکریپت از جمله درخواست‌های XHR می‌شود.
این URLها ممکن است با خزیدن و تجزیه صفحات یا از منابع مختلف دیگر از جمله نقشه‌های سایت، فیدهای RSS، ارسال URL برای پروفایل در Google Search Console یا استفاده از API نمایه‌سازی پیدا شوند.
همچنین چندین ربات گوگل هستند که کرال باجت را به اشتراک می‌گذارند. در گزارش Crawl Stats در GSC می‌توانید فهرستی از ربات‌های مختلف گوگل را ببینید.
گوگل نحوه خزیدن آنها را تنظیم می‌کند.
هر وب سایت دارای کرال باجت متفاوتی است که از چند ورودی مختلف تشکیل شده است.
تقاضای کرال
تقاضای کرال یا خزیدن به این معناست که گوگل چقدر می‌خواهد در وب سایت شما بخزد. صفحات محبوب‌تر و صفحاتی که تغییرات قابل توجهی را تجربه می‌کنند، بیشتر خزیده می‌شوند.
صفحات پرطرفدار یا آن‌هایی که لینک‌های بیشتری به آنها دارند، معمولاً نسبت به سایر صفحات اولویت دارند. به یاد داشته باشید که گوگل باید صفحات شما را برای کرال در اولویت قرار دهد، و لینک‌ها راه آسانی برای تعیین اینکه کدام صفحات در سایت شما محبوب‌تر هستند، خواهد بود. با این حال، فقط سایت شما نیست، بلکه اولیت‌بندی همه صفحات در تمام سایت‌های اینترنتی را گوگل باید بیابد.
با استفاده از ابزارهای ahrefs می‌توانید از گزارش بهترین لینک‌ها در Site Explorer به عنوان نشانه‌ای از اینکه کدام صفحات بیشتر خزیده می‌شوند، استفاده کنید. همچنین به شما نشان می‌دهد آخرین بار چه زمانی Ahrefs صفحات شما را خزیده است.
اگر گوگل ببیند که صفحه‌ای تغییر نمی‌کند، آن صفحه را کمتر می‌خزد. برای مثال، اگر یک صفحه را بخزد و بعد از یک روز هیچ تغییری نبینند، خزش دوم سه روز بعد، نوبت بعدی ده روز، ۳۰ روز، ۱۰۰ روز و طول بکشد. با این حال، اگر گوگل تغییرات بزرگی را در کل سایت ببیند یا یک سایت را جابجا کنید، میزان خزیدن را حداقل به طور موقت افزایش می‌دهد.
محدودیت سرعت خزیدن
محدودیت نرخ خزیدن به میزان کرال وب سایت شما وابسته می‌باشد. وب‌سایت‌ها می‌توانند قبل از بروز مشکلاتی در پایداری سرور مانند کاهش سرعت یا خطا، مقدار مشخصی کرال شوند. اکثر خزنده‌ها در صورت مشاهده این مشکلات از خزیدن خودداری می‌کنند تا به سایت آسیب نرسانند.
گوگل بر اساس سلامت سایت، خزیدن سایت تنظیم می‌کند. اگر سایت با کرال بیشتر خوب باشد، سرعت کرال را بالا خواهد برد. اگر سایت مشکل داشته باشد، گوگل سرعت خزیدن را کاهش می‌دهد.
راه‌های افزایش کرال باجت
اگر فکر می‌کنید کرول باجت سایت شما کم است، می‌توانید اقدامات زیر را انجام دهید:
- صفحات غیرضروری را حذف کنید: هرچه تعداد صفحات غیرضروری یک سایت کمتر باشد، بودجه خزش بیشتری برای بررسی صفحات مهم‌تر باقی می‌ماند.
- از ساختار URL مناسب استفاده کنید: ساختار URL مناسب به ربات‌های گوگل کمک می‌کند تا صفحات سایت را به راحتی پیدا کنند.
- از فایل robots.txt استفاده کنید: فایل robots.txt به ربات‌های گوگل می‌گوید که کدام صفحات سایت نباید بررسی شوند.
- از گوگل سرچ کنسول استفاده کنید: گوگل سرچ کنسول ابزاری است که به شما کمک می‌کند تا وضعیت خزش سایت خود را بررسی کنید.
چند کار دیگر هست که می‌توانید انجام دهید تا سایت شما بیشتر شود و تقاضای کرال سایت شما را افزایش دهد. برخی از کارها عبارتند از:
منابع سرور خود را افزایش دهید
روشی که گوگل صفحات را می‌خزند اساساً برای دانلود منابع و سپس پردازش در انتهای آنها است. سرعت صفحه شما همانطور که کاربر درک می‌کند کاملاً یکسان نیست. چیزی که بر کرال باجت تأثیر می‌گذارد این است که گوگل با چه سرعتی می‌تواند منابعی را که بیشتر به سرور و منابع مرتبط است متصل و دانلود کند.
لینک‌های بیشتر، خارجی و داخلی
به یاد داشته باشید که تقاضای خزیدن به طور کلی بر اساس محبوبیت یا لینک‌ها است. شما می‌توانید با افزایش تعداد لینک‌های خارجی و/یا لینک‌های داخلی، بودجه خود را افزایش دهید. از آنجایی که شما سایت را کنترل می‌کنید، لینک‌های داخلی آسان‌تر هستند. می‌توانید لینک‌های داخلی پیشنهادی را در گزارش فرصت‌های لینک‌سازی در آنالیز سایت توسط ابزار ahrefs بیابید.
لینک‌های شکسته و تغییر مسیر داده شده را برطرف کنید
فعال نگه داشتن لینک‌ها به صفحات شکسته یا تغییر مسیر داده شده در سایت شما تأثیر کمی بر کرال باجت خواهد داشت. به طور معمول، صفحات لینک داده شده در اینجا اولویت نسبتاً کمی دارند زیرا معمولاً مدتی تغییر نمی‌کنند، اما پاک کردن هر گونه مشکلی برای نگهداری وب سایت خوب است و به کرال باجت شما کمک می‌کند.
می‌توانید لینک‌های شکسته (4xx) و تغییر مسیر (3xx) را در سایت خود به راحتی در گزارش صفحات داخلی در آنالیز سایت پیدا کنید.
برای لینک‌های شکسته یا تغییر مسیر داده شده در نقشه سایت، گزارش همه مسائل را برای مشکلات «3XX redirect در سایت مپ» و «صفحه 4XX در نقشه سایت» بررسی کنید.
تا جایی که می‌توانید به جای POST از GET استفاده کنید
این مورد یکی مقدار فنی‌تر است زیرا شامل روش‌های درخواست HTTP می‌شود. در جایی که درخواست‌های GET کار می‌کنند از درخواست‌های POST استفاده نکنید. اساساً GET (کشش) در مقابل POST (فشار) است. درخواست‌های POST در حافظه پنهان ذخیره نمی‌شوند، بنابراین روی کرال باجت تأثیر می‌گذارند، اما درخواست‌های GET را می‌توان در حافظه پنهان ذخیره کرد.
از Indexing API استفاده کنید
اگر به خزیدن سریعتر صفحات نیاز دارید، بررسی کنید که آیا می‌توانید از Google’s Indexing API استفاده کنید یا خیر. در حال حاضر این آپشن فقط برای چند مورد مانند آگهی‌های شغلی یا ویدیوهای زنده در دسترس است.
موتور جستجوی Bing هم دارای یک API Indexing است که برای همه در دسترس است.
چه مواردی روی کرال باجت تائیر ندارد؟
چند چیز وجود دارد که کارشناسان سئو گاهی اوقات آنها را امتحان می‌کنند اما در واقع به کرال باجت شما کمکی نمی‌کند.
1- تغییرات کوچک در سایت
ایجاد تغییرات کوچک در صفحاتی مانند به روزرسانی تاریخ، فاصله، یا علائم نگارشی به این امید که صفحات بیشتر خزیده شوند. گوگل در تعیین مهم بودن یا نبودن تغییرات بسیار خوب عمل می‌کند، بنابراین این تغییرات کوچک تأثیری بر خزیدن ندارند.
2- دستور Crawl-Delay در robots.txt
این دستور سرعت بسیاری از ربات‌ها را کاهش می‌دهد. با این حال Googlebot از آن استفاده نمی‌کند بنابراین تأثیری نخواهد داشت. اما سایر ربات‌های سالم به این دستور احترام می‌گذارند، بنابراین اگر زمانی نیاز به کاهش سرعت خزیدن داشتید، می‌توانید یک تاخیر خزیدن در فایل robots.txt خود اضافه کنید.
3- حذف اسکریپت‌های شخص ثالث
اسکریپت‌های شخص ثالث در کرال باجت شما حساب نمی‌شود، بنابراین حذف آنها کمکی نمی‌کند.
لینک Nofollow این بار خوب نیست. در گذشته لینک‌های nofollow از کرال باجت استفاده نمی‌کردند. اما اکنون، nofollow به عنوان یک اشاره در نظر گرفته می‌شود، بنابراین Google ممکن است این لینک‌ها را
بخزد.
چگونه می‌توانم کرال گوگل را کندتر کنم؟
فقط چند راه برای کندتر کردن کرال گوگل وجود دارد. با چند تنظیم ساده می‌توانید از نظر فنی می‌توان سرعت کرال گوگل را کند کرد اما ما توصیه می‌کنم.
کنترل سرعت کرال بدون تضمین
کنترل اصلی که گوگل برای خزیدن کندتر به ما می‌دهد، یک محدود کننده نرخ در کنسول جستجوی گوگل است. می‌توانید با این ابزار سرعت کرال را کاهش دهید، اما ممکن است تا دو روز طول بکشد تا تاثیر داده شود.
تنظیم سریع، با ریسک بالا
اگر به راه حل فوری‌تری نیاز دارید، می‌توانید از تنظیمات نرخ کرال گوگل مربوط به سلامت سایت خود بهره ببرید. اگر کدهای وضعیت (503 Service Unavailable) یا (429 Too Many Requests) را در Googlebot در صفحات قرار دهید، کرال کندتر شروع می‌شود یا ممکن است خزیدن موقتاً متوقف شود. البته نباید این کار را بیش از چند روز انجام دهید چون ممکن است شروع به حذف صفحات از فهرست کنند.
جمع بندی
باز هم، ما تکرار می‌کنیم که کرال باجت چیزی نیست که مردم نگران آن باشند. اگر نگرانی دارید، امیدوارم این راهنما مفید بوده باشد.
ما معمولاً فقط زمانی به آن نگاه می‌کنیم که در مورد خزیدن و ایندکس نشدن صفحات مشکلاتی وجود داشته باشد. در گزارش آمار کرال در Google Search Console چیزی را کنترل کنید که به شما مربوط می‌شود.
