باجت کراول چیست؟ | بودجه خزش هر سایت چگونه تعیین میشود؟

باجت کراول چیست؟

یکی از مهم ترین اهداف اصلی گوگل، نمایش دادن بهترین محتوا به کاربران است تا رضایت آن ها به بهترین شکل جلب شود. موتور جستجوی گوگل برای بررسی کردن محتوای صفحات مختلف یک سایت، از ربات های خزنده ای استفاده می کند. این ربات ها پس از ایندکس شدن صفحات در گوگل، شروع به بررسی کردن محتوای سایت، کیفیت آن، لینک های داخلی و خارجی و … می کنند. اما منظور از بودجه خزش یا Budget Crawl چیست؟ بودجه کراول به تعداد صفحاتی که ربات های گوگل طی یک بازه زمانی مشخص ایندکس می کنند، بودجه خزش می گویند. باجت کراول هر سایت با توجه به بزرگی آن سایت و تعداد لینک های ورودی به صفحات مختلف آن تعیین می شود. بنابراین می توان گفت اختصاص دادن یک بودجه برای خزش سایت، به گوگل کمک می کند تا بتواند میزان خزش هر سایت را بر اساس اهمیت صفحات، اولویت بندی کند. هر چه این الویت بندی صحیح تر انجام شود، امکان رقابت کردن سایت ها با موضوعات مشابه با یک دیگر آسان تر می شود. اگر یک سایت بزرگ با تعداد زیادی صفحه یا محصول و … دارید، تا انتهای این مقاله را  مطالعه کنید تا با مهم ترین نکات تخصصی باجت کراول آشنا شوید.

>>> برای خواندن مقاله سئو داخلی کلیک کنید<<<

مفهوم بودجه خزش از دید گوگل چیست؟

حتما با خواندن این مقاله نگران می شوید که محتوا پس از منتشر شدن، بلافاصله توسط ربات های گوگل مورد خزش و بررسی قرار می گیرد. اما این نگرانی در مورد نرخ خزش منطقی نیست. اگر یک سایت بسیار بزرگ با چند صد صفحه دارید، مطمئن باشید که این صفحات به طور کامل مورد بررسی ربات ها و خزنده های گوگل قرار می گیرد. اما نکته مهم در مورد این سایت ها این است که مشخص کنید چه صفحاتی در چه زمانی باید کراول شوند؟ به همین دلیل گوگل برای رفع این ابهامات و تعیین بودجه خزش دو معیار جدید را معرفی می کند که در ادامه به معرفی آن ها می پردازیم:

بودجه مورد نیاز هر سایت چگونه تعیین می شود؟

همان طور که در پاراگراف بالا اشاره شد، بودجه خزش سایت ها بر اساس محتوا، تعداد صفحات و …. تعیین می شود. با این وجود توجه داشته باشید که گوگل بر اساس دو مفهوم Crawl Limit و Crawl Demand بودجه مورد نیاز هر سایت را مشخص می کند.

1- Crawl limit / host load:

منابع سرور سایت چه میزان از خرش را در هر بار خزش می تواند تحمل کند؟

گوگل برای هر بار کراول کردن صفحات سایت، یک درخواست به سرور می فرستد. این درخواست مبنی بر دسترسی داشتن به منابع سایت است. زمانی که این درخواست ها به دلیل افزایش تعداد صفحات سایت از طرف ربات های گوگل افزایش یابد، منابع سرور نمی تواند به آن ها پاسخ دهد. در نتیجه سایت از کار می افتد یا اصطلاحا down می شود. به همین دلیل گوگل هم باید برای تعیین بودجه خزش معیارهایی داشته باشد. گوگل به دو روش زیر بودجه خزش سایت را تعیین می کند:

• نشانه های باگ سرور: درخواست های ربات های گوگل مبنی بر چند بار خزیدن سایت، توسط سرور با مشکل روبرو شده است.

تعداد سایت های فعال در هاست:

اگر سایت شما به صورت همزمان در حال اجرای روی یک هاست اشتراکی است، و تعداد زیادی از این سایت ها فعال هستند؛ سایت شما هم به عنوان یک سایت بزرگ شناخته می شود. در نتیجه نرخ کراول هم محدودیت زیادی خواهد داشت.

برای رفع این مشکل توصیه می شود از هاست اختصاصی استفاده کنید. با این کار هم نرخ خزش افزایش یافته و هم سرعت لود شدن سایت بهبود می یابد.

 Crawl demand / crawl scheduling:

کدام یک از صفحات سایت ارزش کراول شدن یا مجدد کراول شدن را دارد؟ این ارزش نیز بر اساس پارامترهای زیر بررسی و تعیین می شود:

• نوع صفحه سایت: صفحات دسته بندی سایت را بر اساس شرایط و ضوابط با یک دیگر مقایسه کنید. سپس متوجه تغییر محتوا در صفحات مختلف خواهید بود.
• تازگی محتوا: محتوای صفحات سایت چند وقت یک بار به روز رسانی و جدید می شود؟
• میزان محبوبیت صفحه: چه تعداد لینک های خارجی و داخلی با کیفیت به صفحه مورد نظر شما رسیده است؟ صفحه مورد نظر در چه کلمات کلیدی رتبه گرفته است؟

چرا باید به باجت کراول اهمیت داد؟

یکی از مهم ترین چالش هایی که بسیاری از سایت های فروشگاهی، سایت های آموزشی و حتی خدماتی با آن روبرو هستند، به روز رسانی محتوا است. بدیهی است که طبق اهمیت توجه به الگوریتم تازگی محتوا، برای جلب نظر گوگل باید طی مدت زمان های مختلفی محتوای صفحات مختلف را به روز رسانی کنید. اما نکته حائز اهمیت این است که گوگل در برخی مواقع پس از مدتی محتوا را ایندکس و بررسی می کند. چرا؟

در برخی شرایط هم به طور کلی این به روز رسانی از چشم گوگل مخفی مانده و هیچ وقت آن را ایندکس نمی کند. دلیل این کار وجود مشکل در بودجه خزش سایت است. به دو حالت زیر توجه کنید تا متوجه اهمیت باجت کراول شوید:

سناریوی بدترین حالت بودجه خزش:

اگر بودجه خزش سایت خود را بی هدف هدر دهید، گوگل دیگر نمی تواند به صورت موثر سایت شما را کراول (ایندکس یا بررسی) کند. برای مثال  ممکن است وقت خود را صرف صفحاتی کنید که اهمیت زیادی نسبت به سایر صفحات سایت ندارند.

سناریوی بهترین حالت بودجه خزش:

زمانی که یک محتوای جدید به سایت اضافه می کنید، انتظار می رود که گوگل سریعا محتوا را ایندکس و بررسی کند. حتی در برخی موارد ممکن است درخواست fetch کردن آن صفحه را به گوگل ندهید. هر چه ایندکس و کراول شدن این صفحات سریع تر آغاز شود، سریع تر می توانید از نتایج ویژه ای که محتوای تازه شده برای سایت به همراه دارد، بهره ببرید.

در واقع در حالت اول زمانی که برخی از صفحات سایت توسط سایت شناخته نشود، نمی تواند آن ها را ایندکس و کراول کند. در این صورت هم نمی توانید ترافیک هدفمند و مناسبی را برای این صفحات یا به طور کلی برای سایت دریافت کنید.  این موضوع یعنی روبرو شدن با بودجه خزش پایین که عواقب جبران ناپذیری برای سایت به همراه دارد و در ادامه به معرفی آن ها می پردازیم.

عواقب کم بودن بودجه خزش سایت

یکی از مشکلات برای سایت هایی با صفحات زیاد این است که ممکن است بودجه خزش سایت پایین باشد. منظور این است که ربات های گوگل به درستی و در بازه زمانی تعیین شده به خوبی صفحات را بررسی نکنند. زمانی که بودجه خزش سایت کم و پایین باشد، برای سایت عواقب مختلفی دارد که به شرح زیر است:

1- جذب بازدید بیشتر:

در سال 2020 میلادی کمپانی MOZ اعلام کرد که از یک الگوریتم جدید برای تعیین سطح وب سایت های مختلف استفاده می کند. در این زمان برخی از سایت ها که از این موضوع مطلع شدند به سرعت برای تولید محتوا یا به روز رسانی محتوا اقدام کردند. در چنین زمانی که یک الگوریتم جدید وارد عمل شده و کار ایندکس و بررسی سایت ها را بر عهده می گیرد، بودجه خزش  افزایش می یابد. بنابراین یکی از مهم ترین و تاثیر گذارترین روش های جذب رضایت الگوریتم های گوگل از طریق تعیین و افزایش بودجه خزش، تولید محتوای جدید و در نتیجه جذب بازدید بیشتر است.

اما در صورتی که باجت کراول پایین باشد، در برخی مواقع باعث می شود که ربات های گوگل به موقع از ایندکس شدن محتوای شما مطلع نشوند. این موضوع به صورت مستقیم در سایت هایی که بازدید  بالا و رقبای زیادی دارند، تاثیر زیادی دارد.

2- دزدی محتوا:

یکی از مهم ترین و بدترین اتفاقاتی که سایت های فروشگاهی ممکن است تجربه کنند، ایندکس نشدن محتوای آن ها پس از انتشار است. در چنین شرایطی رقبا می توانند سریعا محتوای شما را کپی کرده و منتشر کنند. این گونه سایت ها معمولا با بودجه خزش پایین روبرو هستند. در واقع در چنین شرلیطی سایت رقیب که سرعت باجت کراول بیشتری داشته، محتوای کپی شده آن سریع تر توسط ربات های گوگل دیده می شود. به همین دلیل بدیهی است که رتبه سایت رقیب به دلیل ایندکس سریع افزایش خواهد یافت. ربات های گوگل، محتوایی که در سایت رقیب سریع تر ایندکس شده را به عنوان محتوای اصلی و اول تشخیص می دهند. سپس سایتی که خودش تولید محتوا انجام داده، به عنوان سایت کپی کننده شناسایی می کنند.

روش های جلوگیری از کاهش بودجه خزش سایت

در پاراگراف بالا با برخی از عواقب کم بودن باجت کراول آشنا شدیم. اما در ادامه روش های مطمئن جلوگیری از کاهش بودجه خزش سایت را معرفی می کنیم. این روش ها از هدر رفتن بودجه خزش سایت جلوگیری می کند. سپس این بودجه صرفا برای بررسی کردن صفحات با ارزش و مهم صرف می شود. علاوه بر این، میزان بودجه خزش سایت، افزایش می یابد. بهترین روش های جلوگیری از کاهش بودجه خزش سایت به شرح زیر است:

1. حذف کردن صفحات کپی:

هنوز هم برخی از سئو کاران یا به اصطلاح کسانی که کار تولید محتوا انجام می دهند، با اصطلاح و مفاهیم سئو محتوا آشنایی ندارند. این موضوع باعث می شود بدون این که اطلاع داشته باشند، زمان زیادی را صرف صفحات با محتوای تکراری و کپی یا به اصطلاح duplicate Content کنند. علاوه بر این، برخی از سئو کاران به اشتباه پس از هر مقاله چندین برچسب برای صفحه خود می سازند. به همین دلیل چندین صفحه با محتوای تکراری در سایت خواهند داشت. بنابراین در اولین اقدام توصیه می شود سریعا برچسب ها را حذف کنید. سپس محتواهای تکراری و کپی شده را به روز رسانی کرده و مجددا بنویسید.

2. جلوگیری از ایندکس شدن صفحات پارامتری:

همان طور که می دانید برخی از شرکت های بزرگ، برای طراحی سایت اقدام طراحی با استفاده از کد نویسی می کنند. یکی از مشکلات عمده ای که ممکن است برای برخی از این گونه سایت ها رخ دهد، مشکل ایندکس شدن url های پارامتری است. در واقع آدرس صفحات مختلف این گونه سایت ها به کلی اشتباه شده ولی گوگل آن ها را ایندکس می کند. چنین صفحاتی تاثیر زیادی در کاهش بودجه خزش سایت دارند. در واقع بودجه اصلی که باید برای پیمایش صفحات با ارزش صرف شود، صرف این گونه صفحات می شود.

3. حذف کردن صفحات زامبی:

صفحات زامبی به صفحاتی گفته می شود که محتوای آن ها به شدت بی ارزش برای گوگل و سئو است. برای مثال لازم نیست برای محصول یا خدمات یا کلماتی که کاربر به هیچ وجه آن ها را جستجو نمی کند، مقاله بنویسید. این کار باعث کاهش قدرت سئوی سایت می شود. در اقدامی بهتر می توانید این گونه صفحات را یا حذف یا no index کنید. در نهایت از کاهش بودجه خزش سایت جلوگیری می شود.

4. از سردرگم شدن ربات های گوگل جلوگیری کنید:

زمانی که لینک سازی داخلی در سایت، ساختار نامناسبی داشته باشد، ربات های گوگل سردر گم می شوند. این کار نیز به شدت باعث کاهش باجت کراول سایت می شود. منظور از ساختار نامناسب لینک سازی، روبرو شدن ربات ها با لینک های شکسته ای است که با صفحه 404 روبرو می شود. همچنین زمانی که تعداد ریدایرکت های زیادی روی صفحات مختلف داشته باشید، ربات ها سر در گم می شوند. علاوه بر این، وجود لینک های شکسته زیاد، و لینک دادن به صفحات بی ارزش و 404 در نقشه گوگل باعث کاهش نرخ بودجه خزش سایت می شود.

>>>برای آشنایی با سئو تکنیکال کلیک کنید<<<

روش های افزایش بودجه خزش

تا این قسمت از مقاله با مفهوم باجت کراول،  و عواقبی که کاهش یافتن آن برای سایت به همراه دارد، آشنا شدیم. اما در این قسمت با اجرای روش های افزایش بودجه خزش می توانید تا حد قابل توجهی سئو سایت را بهبود دهید. همچنین با برخی از مهم ترین روش های افزایش سرعت ایندکس شدن سایت آشنا می شویم.

1. افزایش سرعت سایت

یکی از تاثیر گذارترین عوامل روی افزایش باجت کراول سایت، سرعت سایت و صفحات مختلف آن است. اگر سرعت سایت پایین است، در آینده نه چندان دور با مشکل ایندکس شدن و کاهش بودجه خزش روبرو خواهید بود. برای رفع این مشکل می توانید سایر روش های افزایش سرعت سایت را اجرا کنید. "در مقاله ای مجزا به این موضوع پرداخته خواهد شد."

2. خرید سرور اختصاصی

همان طور که در ابتدای مقاله ذکر شد، زمانی که تعداد منابع و سایت های روی سایت زیاد باشد، باعث کاهش باجت کراول می شود. بنابراین اگر افزایش سرعت ایندکس شدن مطالب  و محتوای سایت برای شما اهمیت زیادی دارد، سرور اختصاصی تهیه کنید.

3. لینک سازی خارجی

لینک سازی خارجی (Link Building) یکی از بهترین تکنیک های کلاه خاکستری است. این کار تاثیر زیادی روی بهبود سئو سایت و افزایش اعتبار دامنه دارد. در نتیجه بودجه خزش سایت نیز تا حد قابل توجهی افزایش می یابد. بنابراین اگر 2 الی 3 ماه از طراحی سایت و راه اندازی آن می گذرد، سریعا برای لینک سازی خارجی اقدام کنید.

4. لینک های داخلی

با استفاده از لینک سازی داخلی به صورت اصولی می توانید قدرت سایت را افزایش داده و مهم تر از ان، بین صفحات مختلف سایت با یک دیگر ارتباط بیشتری برقرار کنید. برای مثال زمانی که زمان لینک سازی روی صفحت دسته بندی تمرکز داشته باشید، خزنده ها اهمیت بیشتری به این صفحات می دهند. در نتیجه بودجه خزش این صفحات نیز افزایش می یابد.

5. ایجاد و راه اندازی site map

همان طور که در مقاله "site map چیست؟" ذکر شد، نقشه سایت یک فایل متنی xml است که در هاست سایت قرار می گیرد. استفاده از سایت مپ مزایای ویژه ای دارد که در مقاله ای جداگانه به آن پرداخته شده است. در سایت مپ آدرس کلیه صفحات سایت قرار داده شده، به همین جهت خزنده ها و ربات های گوگل می توانند سریع تر صفحتتان را ایندکس و بررسی کنند. زمانی که سایت شما نقشه نداشته باشد، احتمال کاهش باجت کراول سایت بیشتر خواهد بود.

6. تولید محتوای منظم و مستمر

بهترین روش موثر برای بهبود سئو سایت، تولید محتوا است. علاوه بر این، تولید محتوا یکی از بهترین روش های افزایش بودجه خزش سایت محسوب می شود. زمانی که ربات های خزنده گوگل به صورت مداوم با محتوای جدید و منظم روبرو شوند، برای بررسی و ایندکس شدن صفحات دیگر ترغیب می شوند. علاوه بر این، می توانید روی به روز رسانی کردن محتواهای قدیمی سایت نیز اقدام کنید.