وقتی صفحه جدیدی را در وبسایت‌تان ایجاد می‌کنید، منتظرید ایندکس شود تا بتواند به صفحه نتایج موتور جستجو راه پیدا کند! در واقع، گوگل زمانی صفحه‌های جدید وبسایت شما را به رسمیت می‌شناسد که آن‌ها را ایندکس کرده باشد. در این‌جا، بحث کرال باجت یا بودجه خزش مطرح می‌شود. کرال باجت همان زمان و منابعی است که موتور جستجو به کرال کردن و ایندکس کردن وبسایت شما اختصاص می‌دهد. اما گوگل کدام وبسایت‌ها و صفحه‌ها را در اولویت کرال کردن قرار می‌دهد؟ چگونه بودجه کرال را افزایش دهیم؟ در ادامه این مطلب، هر آنچه باید در مورد کرال باجت بدانید برای‌تان خواهیم گفت. با سگمنت آکادمی همراه باشید!
کرال باجت چیست؟
کرال باجت (Crawl Budget) یا بودجه خزش تعداد URLهای (صفحه‌ها) یک وبسایت است که موتور جستجو در بازه زمانی مشخصی کرال (کشف) و ایندکس می‌کند. موتورهای جستجو بودجه خزش را بر اساس دو معیار محاسبه می‌کند:
- محدودیت کرال (Crawl Limit): یک وبسایت چندبار می‌تواند کرال شود و ترجیح دارنده آن چیست.
- تقاضای کرال (Crawl Demand): کدام URLها (صفحه‌ها) ارزش کرال شدن دارند. این ارزشمندی بر اساس محبوبیت صفحه و تعداد دفعه‌های به‌روزرسانی صفحه‌های تعیین می‌شود.
کرال باجت از پرکاربردترین عبارت‌های در خدمات سئو است و گاهی آن را فضای کرال (Crawl Space) یا زمان کرال (Crawl Time) نیز می‌نامند. اگر بودجه کرال را هدر دهید، موتورهای جستجو نمی‌توانند وبسایت شما را به صورت کارآمد کرال کنند و در نتیجه، سئو سایت آسیب می‌بیند.
چرا موتورهای جستجو کرال باجت دارند؟
منابع موتورهای جستجو نامحدود نیست و همین منابع باید میان میلیون‌ها وبسایت تقسیم شود. کرال باجت راهی برای اولویت‌بندی خزش است.
آیا کرال باجت فقط مربوط به صفحه‌های یک وبسایت است؟
کرال باجت فقط مربوط به صفحه‌های وبسایت نمی‌شود. موتورهای جستجو همه عناصر و اسناد موجود در سایت شما را کرال می‌کنند. برای مثال:
- فایل‌های CSS و JavaScript
- تگهای Hreflang
- فایل‌های PDF
بنابراین هر آنچه در وبسایت شما وجود دارد کرال می‌شود.
چرا کرال باجت در سئو سایت مهم است؟
اگر موتور گوگل صفحه‌ای را ایندکس نکند، آن صفحه رتبه‌ای در صفحه نتایج جستجو گوگل نخواهد گرفت. همین ایندکس نشدن و رتبه نگرفتن به سئو سایت شما آسیب می‌زند. بنابراین اگر تعداد صفحه‌های موجود در وبسایت‌تان بیش از بودجه خرش باشد، تعداد صفجه‌های ایندکس‌نشده در وبسایت‌تان افزایش خواهد یافت.
اما چاره چیست؟ اگر می‌خواهید با توجه به بودجه خزش پیش بروید، حواس‌تان به چند نکته مهم باشد:
- وبسایت بزرگی دارید: اگر وبسایتی (مثل وبسایت فروشگاهی) با بیش از 10 هزار صفجه دارید، گوگل در یافتن همه این صفحه‌ها دچار مشکل خواهد شد.
- چندین صفحه را یکباره اضافه کرده‌اید: اگر اخیراً بخش جدیدی را به وبسایت‌تان اضافه کرده‌اید و به سرعت، صدها صفحه را نیز به آن افزوده‌اید، مطمئن شوید که آیا کرال باجت کافی برای ایندکس شدن همه آن‌ها دارید یا خیر.
- ریدایرکت‌های زیاد: ریدایرکت‌های (Redirect) غیرضروری و زنجیره ریدایرکت‌ها (Redirect Chain) بودجه خزش شما را هدر خواهند داد.
روش‌های افزایش کرال باجت وبسایت
تا به این‌جا، با اهمیت کرال باجت آشنا شدید. هر چه باجت شما بیشتر باشد، صفجه‌های وبسایت‌تان سریع‌تر ایندکس می‌شوند و شانس‌شان برای ورود به صفحه اول گوگل بیشتر می‌شود. اما چگونه کرال باجت را افزایش دهیم؟ روش‌های مختلفی برای افزایش کرال باجت وجود دارد. در ادامه، برخی از این روش‌ها را برای‌تان گفته‌ایم.
افزایش سرعت وبسایت
سرعت سایت اهمیت بسیار زیادی در سئو دارد. هر چه سرعت وبسایت‌تان بالاتر باشد، گوگل بات (Googlebot) و دیگر بات‌های موتور جستجو URLهای بیشتری را در سایت شما کرال و ایندکس می‌کنند.
در واقع، گوگل می‌گوید:
سرعت بالای وبسایت باعث بهبود تجربه کاری و افزایش نرخ کرال می‌شود.
به عبارت دیگر، پایین بودن سرعت بارگذاری صفجه‌های وبسایت وقت گوگل بات را هدر می‌دهد. بنابراین هر چه سرعت وبسایت‌تان بالاتر باشد، گوگل بات نیز وقت بیشتری برای سر زدن به صفحه‌های مختلف وبسایت شما دارد و در نتیجه، صفحه‌های بیشتری را ایندکس می‌کند.
استفاده از لینک‌سازی
لینک‌سازی را جدی بگیرید. لینک‌سازی داخلی و لینک‌سازی خارجی هر دو مهم هستند. گوگل بات صفحه‌هایی را در اولویت قرار می‌دهد که لینک‌های داخلی و خارجی زیادی به آن‌ها ارجاع داده‌اند. بنابراین به شما توصیه می‌کنیم برای تک تک صفحه‌های وبسایت‌تان بک لینک (Backlink) دریافت کنید.
لینک‌سازی داخلی گوگل بات را به سوی صفحه‌های مختلف وبسایت هدایت می‌کند و در نتیجه، گوگل بات ان‌ها را سریع‌تر پیدا می‌کند و بدین ترتیب، سرعت ایندکس شدن صفحه‌ها بالا می‌رود.
هیچ صفحه یتیمی (Orphan Page) را در سایت‌تان باقی نگذارید. صفحه‌های یتیم همان صفحه‌هایی از وبسایت هستند که هیچ لینک داخلی یا خارجی‌ای به آن‌ها داده نشده است. گوگل چندان اهمیتی به این صفحه‌ها نمی‌دهد و زمانی را برای کرال کردن‌شان اختصاص نمی‌دهد. بنابراین اگر می‌خواهید حداکثر بهره را از کرال باجت‌تان ببرید، باید مطمئن شوید که برای هر صفحه حداقل یک لینک‌سازی داخلی یا خارجی انجام شده است.
حذف لینک‌های شکسته
لینک‌های شکسته (Broken Link) را حذف کنید. لینک‌های شکسته همان لینک‌هایی هستند که به صفحه‌های موجود در وبسایت ارجاع نمی‌دهند و اگر روی آن‌ها کلیک کنید با خطای 404 مواجه خواهید شد. اگر تعداد لینک‌های شکبته در وبسایت‌تان زیاد باشد، بودجه خزش وبسایت‌تان هدر خواهد رفت. به علاوه، این لینک‌ها موجب نارضایتی کاربران نیز خواهد شد و همانطور که می‌دانید گوگل اهمیت زیادی به رضایت کاربران می‌دهد.
اجتناب از محتوای تکراری
در وبسایت‌تان محتوای تکراری (Duplicate Content) قرار ندهید! گوگل منابعش را برای ایندکس کردن چندین صفحه با محتوای مشابه هدر نمی‌دهد. بنابراین باید مطمئن شوید که در صفحه‌های مختلف وبسایت‌تان، محتوای باکیفیت و منحصر به فرد وجود دارد.
تولید محتوای تازه برای وبسایت‌های بزرگ با ده‌ها هزار صفحه اصلاً کار ساده‌ای نیست، اما در هر صورت، در تدوین تقویم محتوا ، باید به این نکته توجه داشته باشید تا بتوانید حداکثر بهره را از بودجه خزش‌تان ببرید.
سخن آخر
کرال باجت یا همان بودجه خزش اهمیت بسیار زیادی در سئو سایت دارد. اگر صفحه‌ای کرال نشود، ایندکس نیز نخواهد شد. بنابراین هیچ امیدی برای رتبه گرفتن یک صفحه ایندکس نشده وجود ندارد. روش‌های مختلفی برای افزایش کرال باجت وجود دارد. مثلاً با انجام لینک‌سازی، تولید محتوای باکیفیت و تازه، به‌روزرسانی محتوای صفحه‌های مختلف وبسایت، افزایش سرعت سایت، حذف لینک‌های شکسته می‌توانید گوگل بات را متقاعد کنید تا به صفحه‌های مختلف وبسایت‌تان سر بزند و آن‌ها را ایندکس کند. بدین ترتیب، شانس صفحه‌های مختلف وبسایت‌تان برای رسیدن به رتبه اول گوگل به مراتب بیشتر خواهد شد.