راهنمای جامع کرال باجت (crawl budget)

Home » بلاگ » مقالات » سئو سایت » راهنمای جامع کرال باجت (crawl budget)

کرال باجت

کرال باجت (بودجه خزش) میزان سرعت و تعداد صفحاتی است که یک موتور جستجو در سایت شما کرال یا خزش می‌کند. این متغیر تحت تأثیر میزان منابعی است که یک کرالر یا خزنده در سایت شما استفاده می‌کند و میزان کرالی است که سرور شما پشتیبانی می‌کند.

کرال سایت به این معنی نیست که شما رتبه بهتری کسب خواهید کرد، اما اگر صفحات شما کرال و ایندکس نشده باشند، به هیچ وجه رتبه‌ای نخواهند داشت.

بیشتر سایت‌ها نگرانی در مورد کرال باجت ندارند، اما مواردی وجود دارد که باید بعنوان یک متخصص سئو به آنها توجه کنید. مواردی همچون چه زمانی باید نگران کرال باجت باشید؟؛ نحوه بررسی فعالیت کرالر؛ چه چیزی در کرال باجت حساب می‌شود؟؛ گوگل چگونه کرال خود را تنظیم می‌کند؟؛ چگونه می‌توانم گوگل را سریع‌تر به کرال وا دارم؟ و چگونه می‌توانم کرال گوگل را کندتر کنم؟

چه زمانی باید نگران کرال باجت باشید؟

معمولاً لازم نیست نگران کرال باجت در صفحات باشید. معمولاً صفحاتی که جدیدتر هستند، یا به خوبی لینک داده نشده اند، یا تغییرات زیادی ندارند، اغلب کرال نمی‌شوند.

کرال باجت می‌تواند برای سایت‌های جدید، به ویژه آن‌هایی که صفحات زیادی دارند، موضوع نگران کننده‌ای باشد. سرور شما شاید بتواند کرال زیادی را پشتیبانی کند، اما از آنجایی که سایت جدید است و احتمالاً هنوز خیلی محبوب نیست، ممکن است موتور جستجو تمایل زیادی به خزیدن یا کرال سایت شما نداشته باشد. شما می‌خواهید صفحات شما خزیده و ایندکس شوند، اما گوگل نمی‌داند که صفحات شما ارزش ایندکس کردن دارد یا خیر و ممکن است مایل نباشد صفحاتی که می‌خواهید را کرال کند.

کرال باجت می‌تواند برای سایت‌های بزرگ‌تر با میلیون‌ها صفحه یا سایت‌هایی که زودتر به‌روزرسانی می‌شوند، هم نگران‌کننده باشد. به طور کلی، اگر صفحات زیادی دارید که هر چند وقت یک بار می‌خواهید خزیده یا به روز می‌شوند، باید به دنبال افزایش سرعت کرال باشید. در ادامه مقاله در مورد نحوه انجام این کار صحبت خواهیم کرد.

نحوه بررسی فعالیت کرال یا خزش سایت

اگر می‌خواهید یک نمای کلی از نحوه فعالیت کرال گوگل و هر مشکلی که آن‌ها شناسایی کرده‌اند ببینید، بهترین مکان برای بررسی، گزارش Crawl Stats در سرچ کنسول گوگل است.

گزارش Crawl Stats در سرچ کنسول گوگل

گزارش‌های مختلفی در آنجا وجود دارد که به شما کمک می‌کند تغییرات در رفتار کرالر، مشکلات مربوط به کرال و اطلاعات زیادی درباره نحوه خزیدن گوگل در سایت شما را ببینید.

قطعاً می‌خواهید وضعیت‌های کرال علامت‌گذاری شده را مانند مواردی که در اینجا نشان داده شده است، بررسی کنید:

 وضعیت‌ کرال

همچنین زمان آخرین خزیدن صفحات هم قابل تشخیص است.

زمان آخرین خزیدن صفحات

اگر می‌خواهید بازدیدهای همه ربات‌ها و کاربران را ببینید، باید به فایل‌های گزارش خود دسترسی داشته باشید. بسته به میزبانی و راه اندازی، ممکن است به ابزارهایی مانند Awstats و Webalizer نیاز داشته باشید.

در تصویر هاست اشتراکی cPanel مشاهده می‌شود. این ابزارها برخی از داده‌های جمع آوری شده را از فایل‌های گزارش شما نشان می‌دهند.

Webalizer

برای تنظیمات بیشتر، باید به فایل‌های گزارش خام دسترسی داشته باشید و داده‌ها را ذخیره کنید، احتمالاً هم از چندین منبع.

همچنین ممکن است به ابزارهای تخصصی برای پروژه‌های بزرگتر مانند پشته ELK (elasticsearch، logstash، kibana) نیاز داشته باشید که امکان ذخیره سازی، پردازش و تجسم فایل‌های گزارش را فراهم می‌کند. ابزارهای تجزیه و تحلیل لاگ مانند Splunk نیز کاربردی هستند.

چه چیزی در کرال باجت حساب می‌شود؟

همه URLها و درخواست‌ها در کرال باجت شما حساب می‌شوند. این محاسبات حتی شامل نشانی‌های وب جایگزین مانند صفحات AMP یا m-dot ،hreflang ،CSS و جاوا اسکریپت از جمله درخواست‌های XHR می‌شود.

این  URLها ممکن است با خزیدن و تجزیه صفحات یا از منابع مختلف دیگر از جمله نقشه‌های سایت، فیدهای RSS، ارسال URL برای پروفایل در Google Search Console یا استفاده از API نمایه‌سازی پیدا شوند.

همچنین چندین ربات گوگل هستند که کرال باجت را به اشتراک می‌گذارند. در گزارش Crawl Stats در GSC می‌توانید فهرستی از ربات‌های مختلف گوگل را ببینید.

گزارش Crawl Stats در GSC

گوگل نحوه خزیدن آن‌ها را تنظیم می‌کند.

هر وب سایت دارای کرال باجت متفاوتی است که از چند ورودی مختلف تشکیل شده است.

تقاضای کرال

تقاضای کرال یا خزیدن به این معناست که گوگل چقدر می‌خواهد در وب سایت شما بخزد. صفحات محبوب‌تر و صفحاتی که تغییرات قابل توجهی را تجربه می‌کنند، بیشتر خزیده می‌شوند.

صفحات پرطرفدار یا آن‌هایی که لینک‌های بیشتری به آن‌ها دارند، معمولاً نسبت به سایر صفحات اولویت دارند. به یاد داشته باشید که گوگل باید صفحات شما را برای کرال در اولویت قرار دهد، و لینک‌ها راه آسانی برای تعیین اینکه کدام صفحات در سایت شما محبوب‌تر هستند، خواهد بود. با این حال، فقط سایت شما نیست، بلکه اولیت‌بندی همه صفحات در تمام سایت‌های اینترنتی را گوگل باید بیابد.

با استفاده از ابزارهای ahrefs می‌توانید از گزارش بهترین لینک‌ها در Site Explorer به عنوان نشانه‌ای از اینکه کدام صفحات بیشتر خزیده می‌شوند، استفاده کنید. همچنین به شما نشان می‌دهد آخرین بار چه زمانی Ahrefs صفحات شما را خزیده است.

گزارش ahrefs

اگر گوگل ببیند که صفحه‌ای تغییر نمی‌کند، آن صفحه را کمتر می‌خزد. برای مثال، اگر یک صفحه را بخزد و بعد از یک روز هیچ تغییری نبینند، خزش دوم سه روز بعد، نوبت بعدی ده روز، ۳۰ روز، ۱۰۰ روز و طول بکشد. با این حال، اگر گوگل تغییرات بزرگی را در کل سایت ببیند یا یک سایت را جابجا کنید، میزان خزیدن را حداقل به طور موقت افزایش می‌دهد.

محدودیت سرعت خزیدن

محدودیت نرخ خزیدن به میزان کرال وب سایت شما وابسته می‌باشد. وب‌سایت‌ها می‌توانند قبل از بروز مشکلاتی در پایداری سرور مانند کاهش سرعت یا خطا، مقدار مشخصی کرال شوند. اکثر خزنده‌ها در صورت مشاهده این مشکلات از خزیدن خودداری می‌کنند تا به سایت آسیب نرسانند.

گوگل بر اساس سلامت سایت، خزیدن سایت تنظیم می‌کند. اگر سایت با کرال بیشتر خوب باشد، سرعت کرال را بالا خواهد برد. اگر سایت مشکل داشته باشد، گوگل سرعت خزیدن را کاهش می‌دهد.


خدمات سئو

سرویس خدمات سئو یکی از سرویس‌های شرکت ebgroup است. برای جستجوی کلمات کلیدی، بهینه سازی و استراتژی محتوا، رپورتاژ تنها چند مورد از خدمات سئو ebgroup است.

می‌خواهم گوگل سریع‌تر سایت را کرال کند

چند کار هست که می‌توانید انجام دهید تا سایت شما بیشتر شود و تقاضای کرال سایت شما را افزایش دهد. برخی از کارها عبارتند از:

منابع سرور خود را افزایش دهید

روشی که گوگل صفحات را می‌خزند اساساً برای دانلود منابع و سپس پردازش در انتهای آن‌ها است. سرعت صفحه شما همانطور که کاربر درک می‌کند کاملاً یکسان نیست. چیزی که بر کرال باجت تأثیر می‌گذارد این است که گوگل با چه سرعتی می‌تواند منابعی را که بیشتر به سرور و منابع مرتبط است متصل و دانلود کند.

لینک‌های بیشتر، خارجی و داخلی

به یاد داشته باشید که تقاضای خزیدن به طور کلی بر اساس محبوبیت یا لینک‌ها است. شما می‌توانید با افزایش تعداد لینک‌های خارجی و/یا لینک‌های داخلی، بودجه خود را افزایش دهید. از آنجایی که شما سایت را کنترل می‌کنید، لینک‌های داخلی آسان‌تر هستند. می‌توانید لینک‌های داخلی پیشنهادی را در گزارش فرصت‌های لینک‌سازی در آنالیز سایت توسط ابزار ahrefs بیابید.

گزارش فرصت‌های لینک‌سازی

لینک‌های شکسته و تغییر مسیر داده شده را برطرف کنید

فعال نگه داشتن لینک‌ها به صفحات شکسته یا تغییر مسیر داده شده در سایت شما تأثیر کمی بر کرال باجت خواهد داشت. به طور معمول، صفحات لینک داده شده در اینجا اولویت نسبتاً کمی دارند زیرا معمولاً مدتی تغییر نمی‌کنند، اما پاک کردن هر گونه مشکلی برای نگهداری وب سایت خوب است و به کرال باجت شما کمک می‌کند.

می‌توانید لینک‌های شکسته (4xx) و تغییر مسیر (3xx) را در سایت خود به راحتی در گزارش صفحات داخلی در آنالیز سایت پیدا کنید.

site audit in ahrefs

برای لینک‌های شکسته یا تغییر مسیر داده شده در نقشه سایت، گزارش همه مسائل را برای مشکلات «3XX redirect  در سایت مپ» و «صفحه 4XX  در نقشه سایت» بررسی کنید.

تا جایی که می‌توانید به جای POST از GET استفاده کنید

این مورد یکی مقدار فنی‌تر است زیرا شامل روش‌های درخواست HTTP می‌شود. در جایی که درخواست‌های GET کار می‌کنند از درخواست‌های POST استفاده نکنید. اساساً GET (کشش) در مقابل POST (فشار) است. درخواست‌های POST در حافظه پنهان ذخیره نمی‌شوند، بنابراین روی کرال باجت تأثیر می‌گذارند، اما درخواست‌های GET را می‌توان در حافظه پنهان ذخیره کرد.

از Indexing API استفاده کنید

اگر به خزیدن سریعتر صفحات نیاز دارید، بررسی کنید که آیا می‌توانید از Google’s Indexing API استفاده کنید یا خیر. در حال حاضر این آپشن فقط برای چند مورد مانند آگهی‌های شغلی یا ویدیوهای زنده در دسترس است.

موتور جستجوی Bing هم دارای یک API Indexing است که برای همه در دسترس است.

چه مواردی روی کرال باجت تائیر ندارد؟

چند چیز وجود دارد که کارشناسان سئو گاهی اوقات آن‌ها را امتحان می‌کنند اما در واقع به کرال باجت شما کمکی نمی‌کند.

1- تغییرات کوچک در سایت

ایجاد تغییرات کوچک در صفحاتی مانند به روزرسانی تاریخ، فاصله، یا علائم نگارشی به این امید که صفحات بیشتر خزیده شوند. گوگل در تعیین مهم بودن یا نبودن تغییرات بسیار خوب عمل می‌کند، بنابراین این تغییرات کوچک تأثیری بر خزیدن ندارند.

مقالات مرتبط

2- دستور Crawl-Delay در robots.txt

این دستور سرعت بسیاری از ربات‌ها را کاهش می‌دهد. با این حال Googlebot از آن استفاده نمی‌کند بنابراین تأثیری نخواهد داشت. اما سایر ربات‌های سالم به این دستور احترام می‌گذارند، بنابراین اگر زمانی نیاز به کاهش سرعت خزیدن داشتید، می‌توانید یک تاخیر خزیدن در فایل robots.txt خود اضافه کنید.

3- حذف اسکریپت‌های شخص ثالث

اسکریپت‌های شخص ثالث در کرال باجت شما حساب نمی‌شود، بنابراین حذف آن‌ها کمکی نمی‌کند.

لینک Nofollow این بار خوب نیست. در گذشته لینک‌های nofollow از کرال باجت استفاده نمی‌کردند. اما اکنون، nofollow  به عنوان یک اشاره در نظر گرفته می‌شود، بنابراین Google ممکن است این لینک‌ها را بخزد.

چگونه می‌توانم کرال گوگل را کندتر کنم؟

فقط چند راه برای کندتر کردن کرال گوگل وجود دارد. با چند تنظیم ساده می‌توانید از نظر فنی می‌توان سرعت کرال گوگل را کند کرد اما ما توصیه می‌کنم.

کنترل سرعت کرال بدون تضمین

کنترل اصلی که گوگل برای خزیدن کندتر به ما می‌دهد، یک محدود کننده نرخ در کنسول جستجوی گوگل است. می‌توانید با این ابزار سرعت کرال را کاهش دهید، اما ممکن است تا دو روز طول بکشد تا تاثیر داده شود.

کنترل سرعت

تنظیم سریع، با ریسک بالا

اگر به راه حل فوری‌تری نیاز دارید، می‌توانید از تنظیمات نرخ کرال گوگل مربوط به سلامت سایت خود بهره ببرید. اگر کدهای وضعیت (503 Service Unavailable) یا (429 Too Many Requests) را در Googlebot در صفحات قرار دهید، کرال کندتر شروع می‌شود یا ممکن است خزیدن موقتاً متوقف شود. البته نباید این کار را بیش از چند روز انجام دهید چون ممکن است شروع به حذف صفحات از فهرست کنند.

جمع بندی

باز هم، ما تکرار می‌کنیم که کرال باجت چیزی نیست که مردم نگران آن باشند. اگر نگرانی دارید، امیدوارم این راهنما مفید بوده باشد.

ما معمولاً فقط زمانی به آن نگاه می‌کنیم که در مورد خزیدن و ایندکس نشدن صفحات مشکلاتی وجود داشته باشد. در گزارش آمار کرال در Google Search Console چیزی را کنترل کنید که به شما مربوط می‌شود.

5/5 - (20 امتیاز)
اشتراک گذاری:

دیدگاهتان را بنویسید

نشانی ایمیل شما منتشر نخواهد شد.