بودجه خزش و یا کرال باجت به این معنا است که موتورهای جستجو سایت شما را با چه سرعتی مورد بررسی قرار می دهد و همچنین چندین صفحه سایت را زیر نظر می گیرد. این روال ارزیابی را بودجه خزش می گویند. تعدادی از صفحات سایت شما که ربات گوگل در یک دوره معینی خزیده و آن را فهرست بندی کرده است را بودجه خزش می گویند. همچنین قدرت پشتیبانی از سرور هم در این نرخ دارای اهمیت می باشد.
داشتن نرخ کرال بالا مستلزم بدست آوردن رتبه بالا نیست ولی اگر صفحاتتان زیر نظر کرال های موتورهای جستجو نرود و دسته بندی و شاخص بندی نشود شما باید قید بدست آوردن رتبه را بزنید.
نگرانی در مورد بودجه خزش
صفحاتی که در بین کاربران محبوبیت دارند و همیشه پر بازدید هستند نباید نگران کرال باجت سایت باشند زیرا صفحاتشان قبلا رتبه بندی و بودجه خزش شده. ولی زمانی که صفحه ای جدید در سایت اضافه می شود که لینک دهی به آنها به درستی انجام نشده است و یا تغییرات چندانی در آن ایجاد نمی شود از سمت موتورهای جستجو کرال نمیشوند.
زمانی باید نگران شد که سایتی جدید که صفحات زیادی هم دارد ایجاد می شود. در این بین اگر سرور پشتیبانی خوبی را هم داشته باشد باز هم به دلیل جدید بودن آن و این که محبوبیتی بدست نیاورده موتور های جستجو تمایلی به بررسی این صفحات نشان نمی دهد. اما باید در نظر داشت که اگر سایت های پر بازدید هم با افت کرال باجت همراه شوند باید خزش سایت مورد بررسی قرار بگیرد. زیرا این بودجه خزش باعث می شود صفحات هر سایت وارد رتبه گیری شوند.
بررسی کرال باجت چگونه انجام می شود؟
اگر قصد داشته باشیم فعالیت های بودجه خزش را بررسی کنیم باید گزارش های CRAWL Stats را در سرچ کنسول گوگل بررسی کنید. در آنجا گزارش هایی وجود دارد که بتوانید تغییرات کرال را در آن مشاهده کنید و آنجا هم می توانیم تمامی اطلاعاتی که درمورد کرال سایت هست را بدست بیاوریم. البته تاریخ آخری که صفحات کرال شدند هم می تواند به شما کمک کند. شما می توانید با کمک ابزار هایی مانند astats و webalizer بازدید کاربران و ربات ها را هم مشخص نمایید. اما باز هم ابرار تخصصی تر هم در این بین وجود دارد به نام EKL که با استفاده از این ابزار می توانید فایل LOG ذخیره و پردازش کرد.
ارور هایی که باعث افت کرال باجت می شود
زمانی که با کمک ابزار های نام برده بودجه خزش سایت را بررسی می کنید. امکان دارد با یک سری از ارور ها هم روبرو شوید که این ارور ها در بیشتر مواقع جای نگرانی ندارند زیرا به سادگی قابل حل هستند.
- Not available: زمانی که txt به مدت یک روز غیر فعال باشد کرال هم متوقف می شود و باید این مشکل برطرف شود.
- Unauthorized (101/407): در این صفحه شما باید اجازه دهید به گوگل بات ولی توجه داشته باشید که اطلاعات محرمانه ای در آن وجود نداشته باشد.
- Server ereoe (5xx): زمانی که با این ارور روبرو شدید یعنی به شما هشدار دسترسی داده می شود و باید برطرف شود.
- Other client error (4xx): مرتبط به هر اروری می باشد که کار های کرال را به مشکلات مواجه می کند.
- DNS unresponsive: این سرور برای URL پاسخگو نمی باشد.
- DNS error: ارور هایی که DNS آنها را شناسایی نکرده است.
- Fetch error: شماره پرت درست نیست و IP بد و پاسخ هایی که اصولی نیستند و غیر قابل توجیه هستند.
- Page timeout: بیش از اندازه طول کشیدن در زمان لود.
- Redirect error: به دلیل ریدایرکت هایی که بیش از اندازه انجام شده اند و یا پوچ و گردشی هستند.
چه چیز هایی جلوی خزش در سایت را می گیرد؟
در برخی از مواقع ممکن است سایت ما کرال باجت کمی داشته باشد و اما قصد داریم همین بودجه کم را به سمت صفحات مهم تر هدایت کنیم. باید توجه داشته باشید که تمام URL ها و درخواست ها جز بودجه خزش به حساب می آید. در این بین کاری که باید به آن توجه داشته باشید محدود کردن صفحات است تا بتوانید صفحات مهم را جلوی چشم کرال قرار دهید.
- شکل دادن به منابع مانند نقشه سایت و RSS
- URL صفحات مهم را ارسال کنید تا ایندکس شود با استفاده از سرچ کنسول
- از API های گوگل بات که بودجه خزش ها را بتوانید به اشتراک بگذارید و این گزارشات را در Crawl stats مشاهده نمایید.
ورودی که برای کرال باجت موثر است
شاید برای شما این سوال پیش بیاید که چه فاکتورهای بودجه خزش را تغییر می دهد؟ یا این که کدام یک از ورودی ها بودجه خزش را کم یا زیاد می کند؟ در این بخش به پاسخ این سوالات می پردازیم.
مقدار تقاضا کرال از طرف گوگل
تقاضا کرال به این معناست که گوگل تا چه میزان می خواهد در وب سایت ورود داشته باشد. طبق یک اصول صفحاتی که در بین کاربران داری محبوبیت است و صفحاتی که دارای تغییرات قابل توجه ای هستند بیشتر مورد بودجه خزش قرار می گیرند. البته صفحه هایی که دارای لینک و پیوند بالا تری باشند هم مورد اولویت قرار داده می شوند.
گوگل دسته بندی های خود را طبق اولویت ها قرار می دهد و هر صفحه ای که دارای لینک های بیشتر و محبوبیت بالا تری بین کاربران داشته باشد مورد توجه قرار می گیرد. شما می توانید با استفاده از گزارشات site explorer متوجه شوید کدام یک از صفحات دارای کیفیت بیشتری می باشد.
باید به این موضوع توجه داشته باشید هر قدر صفحه ای کمترین تغییرات را داشته باشد دیرتر هم مورد کرال قرار می گیرد. به این معنا که یک صفحه به فاصله یک روز و در صورتی که تغییر نداشته باشد در طول مدت سه روز و بعد از و یک ماه و… کرال می شود و اگر این تغییرات کم باشد کرال صفحه قطع می شود.
محدودیت نرخ کرال باجت
محدودیت کرال به سایت ارتباط دارد یعنی این که سایت تا چه میزان قادر است پشتیبانی داشته باشد. بیشتر سایت ها در این مورد محدودیت دارند و بعد از گذشت زمان دچار مشکلاتی از نظر کندی در سرور و ارورها می شود.
بیشتر کرال ها زمانی که با این مشکلات مواجه می شوند برای این که به سایت آسیب نرسد کار خود را متوقف می نمایند . به این معنا که گوگل هوشمند است تا تنظیمات را طبق ظرفیت سایت انجام دهد. حال اگر یک وب سایت دارای ظرفیت بالا تری باشد میزان کرال در آن بیشتر می شود و هر زمان مشکلی ایجاد شود کرال کردن کند تر می شود. نه بیشتر می شود. بیشتر می شود ولی ه
چه کنیم تا فرایند خزش و یا کرال کردن تند تر شود؟
برای آن که فرایند خزش را در سایت سریع تر کنید می توانید از روش هایی استفاده نمایید تا این فرایند تند تر شود که در ادامه آن ها را مورد بررسی قرار می دهیم.
افزایش منابع و یا سرعت سرور
فرایند خزش به گونه ای است که ابتدا منابع دانلود می شود و بعد مورد پردازش قرار می گیرد. همان طور که کاربر سرعت سایت را می تواند تشخیص دهد گوگل هم می تواند این موضوع را تشخیص دهد و بودجه خزش را طبق این روال تنظیم کند.
طبق گفته ها هر قدر گوگل منابع را با سرعت بالا تری دانلود کند بودجه خزش هم برای سایت شما بالا تر میرود. حال اگر وب سایت شما دارای سرعت مناسبی نیست بهتر است به دنبال رفع این مشکل باشید.
لینک داخلی و خارجی بیشتر
دقت داشته باشید که خزش به دلیل با کیفیت بودن و یا محبوب بودن از نظر کاربران به یک صفحه و لینک های زیاد در آن صفحه ایجاد می شود. حال اگر قصد دارید کرال باجت سایت بیشتر شود باید از لینک های داخلی و خارجی بیشتری استفاده کنید.
هر قدر لینک ها بیشتر باشند خزش هم بیشتر می شود ولی دقت داشته باشید که هرگز این لینک ها شکسته نباشند زیرا لینک های شکسته تاثیرات منفی در این زمینه دارند.
لینک های nofollow در گذشته جز بودجه خزش به حساب نمی آمدند و در این مورد بی تاثیر بودند ولی اکنون راهنمایی برای خزش به حساب می آیند.
لینک های خراب و همچنین ریدایرکت را برطرف نمایید
وجود لینک هایی که خراب اند و یا به صفحاتی ریدایرکت شده اند تاثیر منی بر بودجه خزش دارند. زیرا چنین صفحاتی اولویت خزش به حساب نمی آیند. اگر این لینک ها برطرف شود تاثیر خوبی در بودجه خزش می گذارد.
به جای post از GET استفاده شود
این مورد فنی تر به حساب می آید زیرا دارای روش های HTTP می باشد. ولی دقت داشته باشید هر بخش را که بتوانید از درخواست GET استفاده کنید را با در خواست POST خراب نکنید. درخواست هایی که POST هستند کش نمی شوند و بر روی بودجه خزش بی تاثیر هستند. ولی درخواست های GET کاملا برعکس عمل می کنند.
استفاده از نمایه سازی و همچنین شاخص بندی
اگر قصد دارید صفحاتی از وب سایت شما زود تر کرال شود باید توجه کنید که آیا آن صفحه شرایط شاخص بندی و نمایه API را دارد؟ این نمایه در مورد چند موضوع مانند آگهی شغل و فیلم های زنده مورد استفاده می باشد.
چه کارهایی باعث افزایش کرال باجت نمی شود؟
بهتر است بدانید برخی از افراد روش هایی را در نظر می گیرند که در زمینه بودجه خزش بی تاثیر هست:
- تغییرات و به روز رسانی های کوچک مانند تغییر تاریخ و فاصله ها و… کار بی فایده ای است. زیرا گوگل بسیار هوشمند است و متوجه می شود چنین تغییراتی جدی نیست.
- دستورات VRAWL-DELAY که در TXT باعث می شود ربات ها کند عمل کنند و بر روی ربات ها گوگل کاملا بدون تاثیر می باشد.
- حذف اسکریپت شخص ثالث که کاملا بر بودجه خزش بدون تاثیر است.
چه کنیم که گوگل کار خزش را کند انجام دهد؟
چندین روش وجود دارد که می توانید سرعت خزش سایت را کند تر نمایید. البته تنظیمات فنی هم وجود دارد که بررسی و کند کردن آن می توانید این عمل را کند تر نمایید. البته در ادامه برخی از روش ها که باعث آسیب در سایت نشود را توصیه می کنیم.
تنظیمات آهسته ولی تضمینی
مهم ترین کنترل گوگل بر سرعت خزش که برای ما ایجاد کرده است کم کردن سرعت با استفاده از GOOGL SEARCH CONSOLE می باشد. که می توانید با این ابزار نرخ خزیدن را کاهش دهید ولی برای تاثیر دیدن در این موضوع دو روز نیاز به زمان دارد.
تنظیمات پر خطر
اگر قصد دارید کرال باجت سایت را با سرعت بیشتری کم کنید با استفاده از تنظیماتی که به سلامت سایت در ارتباط است می توانید این اقدام را انجام دهید ولی این روش سرعت را به شدت پایین می آورد و در برخی از مواقع کامل قطع می کند. اما باید توجه داشته باشید این کار را بیشتر از چند روز نباید انجام دهید زیرا باعث می شود در رتبه هم کاهش دیده شود.
کرال باجت و تاثیرات آن
بهتر است چندان نگران نشوید زیرا این موضوع را می توانید به سرعت و کمی بررسی حل نماید زیرا بیشتر قت ها ربات ها با استفاده از هوش گوگل کار شان را به خوبی انجام می دهند. زمانی لازم است برای کرال صفحات کاری انجام دهید که صفحه ها با کمک ابزار وب مستر چک شوند مشاهده داشته باشید صفحاتی کرال نشده و یا رتبه ای نگرفته است که در این بین می توانید با کمک راهنما این مشکلات را برطرف نمایید.
