کرال باجت یا بودجه خزش چیست؟
بودجه خزش یا Crawl Budget یعنی تعداد صفحاتی که رباتهای گوگل در بازهای مشخص آنها را بررسی میکنند. گوگل اعلام کرده که نباید نگران کرال باجت باشید اما تجربه متخصصین سئو چیز دیگری میگوید و به همین خاطر باورهای نادرست زیادی درباره رباتهای خزنده گوگل و Crawl Budget شکل گرفته است. در ادامه این مطلب پارامترهای تعیین کننده کرال باجت را بررسی کرده و راههای جلوگیری از هدر رفت بودجه خزش و درباره افزایش کراول باجت صحبت میکنیم.
رباتهای خزنده گوگل را بهتر بشناسید
همانطور که میدانید ایندکس شدن صفحات و دیده شدن سایت به خاطر خزندههای گوگل است. منظور از خزش یا Crawling، آگاهی پیدا کردن رباتهای گوگل از مطالب جدید صفحات مثل عکسها، فیلم، محصولات، مقالات و … است. بعد از اینکه تکلیف آنها روشن شد، رباتها با ایندکس کردن، این موارد را در اختیار کاربران گوگل قرار میدهند. اما اینکه رباتهای خزنده گوگل از کجا میفهمند که محتوای جدیدی به سایت اضافه شده و باید به آن سر بزنند یا اینکه برای کدام قسمتها نباید زیاد وقت بگذارند؟ سوالاتی هستند که تا انتهای این مطلب جواب خواهیم داد.
کرال باجت(Crawl Budget) چیست؟
تصویر زیر نمودار crawl stats یک سایت با سابقه است که از بخش settings سرچ کنسول تهیه شده ، این عکس را با دقت نگاه کنید.
Crawl Demand و Crawl Limit
این دو عامل تعیین کننده بودجه خزش است که گوگل برای سایتها مشخص میکند. Crawl Demand به معنی این است که کدام یک از صفحات سایت ارزش این را دارد که چندین بار کراول شوند. Crawl Limit هم به گوگل میگوید که منابع سرور سایت شما چه ظرفیتی برای پذیرش چه تعداد خزش دارد. در نهایت گوگل این دو پارامتر را در کنار یکدیگر قرار داده و بودجه خزش سایت را تعیین میکند.
اهمیت هاست و سرور برای کراول باجت
هر دفعه که رباتهای گوگل بخواهند صفحهای از سایت شما را بررسی کنند، این کار را با ارسال درخواست دسترسی به منابع سایت انجام میدهد. از طرفی در صورتی که تعداد درخواستها خیلی زیاد شود و سرور سایت ما توانایی پاسخگویی به آن را نداشته باشد، سایت از دسترس خارج خواهد شد. گوگل برای درک Crawl Limit سایت شما بررسی میکند که آیا سرور آن در زمان درخواستهای گوگل به مشکل میخورند؟ آیا برای سایت از هاست اشتراکی استفاده شده یا هاست آن اختصاصی است؟ و در نهایت سایت شما از نظر داشتن تعداد صفحات و محتوا چقدر بزرگ است؟ سایتهایی که هاست اشتراکی دارند، سرورهای آنها اختلالات بیش از حدی داشته و احتمالاً نمره کراول لیمیت پایینی خواهند داشت.
ارزش گذاری محتوا برای Crawl Demand
گوگل Crawl Demand را بر اساس پارامترهای مثل تازگی محتوا، محبوبیت و نوع صفحه ارزش گذاری میکند. برای صفحاتی که احتمال تغییر محتوای آنها بیشتر است، کراول دیمند بالاتر بوده و مثال ساده این موضوع را میتوان در مقایسه تغییرات محتوای صفحه محصول یک سایت فروشگاهی با صفحه قوانین و مقررات دید. صفحهای که محتوای آن زود به زود به روز رسانی میشود، جذابیت بیشتری برای خزندههای گوگل دارد، پس بیشتر به آن سر میزنند.
در نهایت توجه داشته باشید که صفحهای که از باقی صفحات سایت لینک گرفته است، نسبت به باقی صفحات، ارزش کراول کردن بیشتری دارد. در صورت آشنایی با این دو فاکتور میدانید که گوگل دقیقاً چه فرایندی را طی کرده و چه چیزهایی را برای تعیین بودجه خزش بررسی میکند.
در عکس پایین فیلترهای مختلف گوگل برای دسته بندی نرخ کرال صفحات بر اساس نوع فایل (html , css ,javascrip, و…) ، بر اساس وضعیت پاسخگویی صفحه ، نوع گوگل بات و هذف گوگل بات از کرال سایت را می توانید مشاهده کنید.
دلایل کاهش کراول باجت
حتماً شما هم تجربه کردهاید که بعد از اضافه کردن یک محتوای جدید مثل مقاله، محصول یا … حتی بعد از گذشت چند روز هم ایندکس نشده و حتی ممکنه از بعد چند هفته هم هیچ اثری از رباتهای خزنده گوگل برای کراول آن نباشد. همانطور که میدانید رباتهای خزنده گوگل به شدت مشغول هستند و بودجه خزش به رباتها میگوید که هر چند وقت یه بار باید به سایتی سر بزند. در این شرایط ممکن است که:
ایندکس همه سایتها به دلایل نامشخص افت کرده باشد
این یعنی همه صاحبان سایت از سرعت کند ایندکس شدن صفحات شاکی هستند و این قضیه انقدر سر صدا میکند که تقریباً همه از آن خبردار میشوند. اینجا میفهمید که مشکل از طرف سایت شما نیست و مربوط به خود گوگل است.
ممکن است Crawl Budget سایت را هدر داده باشید
این حالت را در زمان ارائه خدمات سئو، روی سایتهای کارفرمایان زیادی مشاهده کردهایم که ناآگاهانه کراول باجت سایت را به خاطر درگیر کردن رباتهای خزنده گوگل با صفحات بیارزش، هدر دادهاند. به همین دلیل خزندهها تقریباً هیچ فرصتی برای بررسی صفحات جدید یا مهم پیدا نمیکنند و بدون پیدا کردن چیز جدیدی سایت را ترک میکنند.
در این حالت اولین آسیب به سئو سایت میرسد. چون که به صفحات بیاهمیت سایت توجه شده اما صفحات مهمی که ارزش بالایی برای ایندکس شدن و ورود به نتایج گوگل داشتهاند، اصلاً توسط این موتور جستجو دیده نشدهاند. مقصر هم رفتارهایی است که به خاطر باورهای غلط درباره این مفهوم، باعث شده تا به خاطر مدیریت نکردن بهینه، کاری کنیم که بودجه خزش سایت هدر برود. توصیه میکنیم همین الان در سرچ کنسول سایت خود وضعیت بودجه خزش را در تنظیمات، در بخش Crawl States بررسی کنید.
نوی عکس زیر نرخ کرال صفحات 404 در حال افزایشه که نشون دهنده یه مشکل در سایته که اگه زودتر حل نشه فاتحه سایت خونده است 😑😰
کارهایی که باعث هدر رفتن کراول باجت میشوند
با اینکه خود گوگل گفته نگرانی از بابت بودجه قدش نداشته باشید، اما شما نباید با خیال راحت کراول و ایندکس شدن صفحات را به خدا بسپارید(!) و همه مشکلات را از چشم رباتهای گوگل ببینید. بودجه خزش باید برای دیده شدن صفحات مهم صرف شود اما گاهی با کارهای ناآگاهانه، این فرصت را از بین میبریم.
نادیده گرفتن تاثیر لینک سازی داخلی
همانطور که در آموزش سئو روی لینک سازی داخلی تاکید میکنیم، خوب است بدانید که همین لینکهای داخلی رباتهای خزنده گوگل را به سمت محتواهای با ارزش و صفحات تازه منتشر شده برای کراول کردن آنها هدایت میکنند. لینکها را مثل چراغ راهنمایی در نظر بگیرید که به خزندهها میگویند کجا بروند و از کدام صفحات بازدید کنند. وجود لینکهای داخلی، بیشتر از هر چیزی خزندهها را به سمت صفحات جدید جذب میکند. پس یک استراتژی بهینه برای لینک سازی داخلی داشته باشید و سعی کنید که به صورت طبیعی به صفحات مهم لینکهای داخلی بیشتری بدهید.
استفاده از پارامترهای فیلتر محصولات
یکی از اقدامات هوشمندانهای که در سئو سایتهای فروشگاهی برای راحتی کاربر انجام میشود، استفاده از پارامترهای فیلتر محصولات است. گوگل های این پارامترها را نادیده نگرفته و آنها را مثل باقی صفحات بررسی میکند؛ در نتیجه بدون اینکه بفهمید قسمت زیادی از Crawl Budget سایت صرف این حرکت میشود. برای حل این مشکل به سراغ فایل robots.txt رفته و این صفحات را نو ایندکس کنید. همچنین با اضافه کردن ویژگی نو ایندکس به این صفحات، کاری کنید که دیگر رباتهای گوگل وقت خود را برای بررسی این صفحات هدر ندهند.
تاثیر سرعت سایت روی بودجه خزش
در مشاوره سئو روی سرعت سایت تاکید زیادی میشود، چرا که سایتی با سرعت پایین از جنبههای بسیاری آسیب میبیند. نمونه آن را در کراول باجت میبینیم وقتی که سرورهای سایت به خوبی به درخواستهای رباتها پاسخ نداده و این سیگنال به گوگل ارسال میشود که زیاد برای این سایت وقت نگذارید. پس قبل از هر کاری فاکتورهای core web vitals را بررسی کرده و بعد از پیدا کردن مشکل، سرعت سایت را بهینه کنید. بهبود سرعت سایت نه تنها کراول و ایندکس شدن صفحات را سریعتر میکند، به مرور زمان کراول باجت سایت هم افزایش خواهد داد. (بریم یه نمونه از سایت های که وضعیت core web vitals اون رو تیم نوترون وب گلستون کرده رو باهم ببینیم 😉)
به زیان ساده طبق گفته سایت backlinko لود سریع صفحات = زمان بیشتر برای ایندکس سایر صفحات توسط گوگل
تصور اشتباه درباره کراول نشدن محتواهای بیارزش!
توجه داشته باشید که در مرحله کراول کردن، بیکیفیت بودن محتوا هیچ تاثیری روی ورود رباتها به آن صفحه ندارد. بلکه فقط زمان خود را با بررسی آن صفحه بیکیفیت هدر داده، در حالی که میتوانستند بودجه خزش را برای بررسی یک صفحه بهتر صرف کنند. از طرفی تاثیر ایندکس شدن صفحه بیکیفیت در سئو را میتوان در ناامید شدن و از دست رفتن اعتماد گوگل نسبت به محتوای سایت مشاهده کرد. در این حالت یا باید صفحات بیکیفیت و بیارزش را اگر کارایی نه برای گوگل و نه برای کاربر دارند، بعد از ایندکس کردن حذف کنید یا اینکه آنها را به یک صفحه مرتبط و با کیفیت ریدایرکت کنید.
تاثیر تکراری بودن صفحات روی رباتهای خزنده
سایتهای زیادی هستند که از نظر برچسبها، زیر عنوانها و عناوین اصلی، محتوا و … صفحات تکراری زیادی دارند. در این بین افراد تصور میکنند که رباتهای خزنده گوگل از این نکته آگاه بوده و صفحات تکراری سایت آنها را کراول و ایندکس نمیکند؛ اینجا است که بودجه خزش سایت به راحتی نابود شده و برای جلوگیری از آن باید بین صفحات مشابه، از تکنیک کنونیکال استفاده کنید. کنونیکال یک خواهش است که به گوگل میگوید بین دو صفحه مشابه کدام یک از نظر ما ارزش و لیاقت بیشتری برای قرارگیری در رتبههای برتر نتایج جستجو دارد.
راهکارهای بهبود Crawl Budget سایت
به صورت قطعی در این باره نمیتوان نظر داد. چون که بهترین کاری که از دست شما برمیآید همین راهکارهایی است که برای جلوگیری از هدر رفت آن گفتیم. پس بر اساس حرف گوگل اگر سایت شما فعال است و از نظر تکنیکی مشکلی ندارد، نیازی نیست نگران بهینه سازی بودجه خزش باشید. اما در سایتهای بزرگی که بیشتر از هزار صفحه دارند، توصیه میکنیم که کراول باجت سایت را با وسواس زیادی زیر نظر داشته باشند و تمرکز خود را بیشتر روی راهکارهای بهبود آن بگذارند.
جمعبندی
در این مطلب با مفهوم Crawl Budget آشنا شدید. امروز نقش رباتهای خزنده گوگل را نمیتوان نادیده گرفت چرا که یک تصور اشتباه درباره آنها و چند اقدام ناآگاهانه ساده، باعث هدر رفتن بودجه خزش سایت و از بین رفتن فرصت دیده شدن صفحات میشود. اگر شما هم تجربه یا نظری در این باره دارید حتماً در بخش کامنتها با ما در میان بگذارید.
محمد قاسمی هستم متخصص سئو و دیجیتال مارکتینگ که بیش از 5 ساله توی این حوزه فعالیت می کنم و در بخش تحریره تیم نوترون وب محتواهای مربوط به سئو و بازاریابی آنلاین را بررسی و منتشر می کنم.
اینم بگم که سال ها آموزش دیدم ، چند صد هزار کلمه محتوا نوشتم و میلیون کیلومتر اسکرول کردم تا به نوترون وب رسیدم 😎
دیدگاهتان را بنویسید