دلایل ایندکس نشدن سایت

تگ نو ایندکس در هدر سایت

پس از طراحی سایت، تولید محتوا، و حتی سئو کردن آن، ممکن است سایت با مشکلات فنی زیادی روبرو باشد. این وظیفه کارشناس سئو هر سایت است که در بازه های زمانی مشخص پارامترهای مهم و اساسی در سایت را بررسی کند. یکی از مشکلاتی که ممکن است اکثر سایت ها با آن روبرو باشند، ایندکس نشدن سایت در موتورهای جستجو از جمله موتور جستجوی گوگل است. اگر با مبحث ایندکس نشدن سایت آشنا نیستید، باید گفت که قدم اول و مهم برای دریافت کردن بازدید از سایت از طرف موتور جستجوی گوگل، ایندکس نشدن آن است. در واقع اگر این اتفاق رخ ندهد، ممکن است حتی سایت در نتایج آخر جستجوی گوگل هم نمایش داده نشود. یکی از بهترین روش هایی که کارشناسان سئو برای بررسی ایندکس شدن یا نشدن سایت آن را امتحان می کنند، بررسی و تحلیل سرچ کنسول سایت است. برای این کار لازم است که ابتدا سایت را در پنل سرچ کنسول ثبت نمایید. این کار ممکن است برای سایت  های تازه تاسیس کمی زمان بر باشد. چون مدت زمان زیادی از طراحی سایت یا ثبت آن در سرچ کنسول نگذشته باشد. به همین دلیل باید پس از ثبت کردن سایت، مدت زمان دست کم یک ماه صبر کنید. سپس در قسمت Coverage ، ارورهای سایت را مشاهده کنید. کلیه ارورهایی که در این بخش مشاهده می شود، تاثیر زیادی در عملکرد کلی سایت دارند. به گونه ای که تا حد قابل توجهی میزان ورودی سایت را کاهش داده و باعث کاهش و افت رتبه سایت می شود. در این مقاله با مهم ترین دلایل و مشکلات ایندکس نشدن سایت در گوگل آشنا خواهید شد.

فایل ربات  TXT

یکی از مهم ترین دلایلی که از ایندکس شدن سایت در گوگل جلوگیری می کند، وجود داشتن قطعه کد زیر در قسمت head سایت است:

اگر به تازگی با طراحی سایت یا کد نویسی آشنا شده اید، در ادامه روش بررسی کردن وجود یا عدم وجود این قطعه کد را بررسی کنید. برای این کار با استفاده از مرورگر کروم وارد سایت شوید. سپس روی قسمتی از سایت راست کلیک کرده و روی گزینه View page source کلیک کنید. همچنین می توانید از کلید میان بر ctrl+u استفاده کنید. در این صفحه جدید می توانید کدهای وب سایت را مشاهده و بررسی کنید. برای بررسی کردن کدهای ربات  TXT را جستجو کنید. پس از جستجوی فایل Robot.txt می توانید مقادیری که در این متا تگ وجود دارد را بررسی کنید. اگر عبارت no index را در این صفحه مشاهده کردید، باید از طریق ویرایش کردن فایل های وب سایت، یا تنظیمات افزونه سئو، ویرایش لازم را اعمال کنید.

علاوه بر این، در برخی شرایط ممکن است دستورات اشتباه در فایل robots.txt باعث ایندکس نشدن سایت در گوگل شود. فایل robots.txt در قسمت ریشه سایت وجود دارد. برای بررسی کردن متا تگ فابل ربات، آدرس yoursite.com/robots.txt را وارد کنید. سپس محتویات آن را مشاهده نمایید. در صورتی که در این فایل، دستورات disallow وجود داشته باشد، بررسی کنید که چه مسیری برای این دستور استفاده شده است. اگر از دستور disallow به درستی استفاده نشده باشد، باعث می شود که سایت در گوگل index نشود.

نبودن آدرس در سایت مپ

یکی از بهترین روش هایی که باعث افزایش سرعت و روند ایندکس شدن سایت در گوگل می شود، این است که یک سایت مپ برای سایت بسازید. در صورتی که نقشه سایت ساخته باشید اما به درستی بارگذاری نشده باشد ، یک دلیل مهم و اساسی برای ایندکس نشدن سایت در گوگل محسوب می شود. علاوه بر این، در صورتی که سایت مپ را آپلود کنید، باید به ربات های گوگل دستور و درخواست خزیدن گوگل برای ایندکس شدن و crawl کردن را به گوگل ارسال کنید. پس از این که این درخواست را بررسی نمایید، گوگل اقدام به ایندکس کردن صفحات مختلف سایت می کند.

ریمو شدن URL در سرچ کنسول

همان طور که در پاراگراف اول ذکر شد، یکی از روش های افزایش سرعت و روند ایندکس شدن سایت، ثبت کردن url آن در سرچ کنسول است. اما در صورتی که URL در سرچ کنسول حذف شده باشد، ممکن است گوگل نتواند سایت را ایندکس کند. به همین جهت باید سایر ارورهایی که سرچ کنسول نشان می دهد را بررسی کنید و اطمینان حاصل کنید که آدرس سایت در آن حذف نشده باشد. یکی از ابزارهای  تخصصی که سرچ کنسول گوگل به وب مستران و کارشناسان سئو ارائه داده، Remove ULRs  است. این ابزار به عنوان یکی از مهم ترین زیر مجموعه های Google Index محسوب می شود. با استفاده از این ابزار می توانید صفحات مختلفی از سایت را از صفحه نتایج گوگل حذف کنید. علاوه بر این، در صورتی که قصد دارید، مجددا سایت شما یا صفحاتی خاص از آن توسط گوگل بررسی شود، باید مجددا آدرس آن را در سرچ کنسول ثبت کنید.

مشکل تکراری بودن محتوا

یکی از دلایل رایجی که ممکن است در ابتدای انجام پروژه سئو از آن مطلع نباشید، این است که تکراری بودن محتوا نیز از مهم ترین دلایل ایندکس نشدن سایت در گوگل محسوب می شود. این مشکل زمانی رخ می دهد که صفحات مختلف وب دارای محتوای یکسان بوده اما با url های مختلفی در سایت وجود داشته باشد. بنابراین گوگل نیز صفحاتی که محتوای تکراری داشته باشند را crawl و ایندکس نمی کند. چون این اتفاق باعث اشغال شدن فضای سایت با یک محتوای کم کیفیت و تکراری می شود. برای این که گوگل تشخیص دهد که کدام یک از صفحات را ایندکس کند، می توانید آن صفحه که دارای استانداردهای لازم سئو است را در سرچ کنسول معرفی کنید. اما در صورتی که خودتان این کار را انجام ندهید، گوگل دست به کار شده و بهترین صفحه ای که مطابق با قوانین و قواعد سئو است را ایندکس می کند.

نداشتن محتوای کافی و بی کیفیت

اصلی ترین و مهم ترین دلیلی که گوگل قواعد و قوانین خود را بر اساس آن تنظیم کرده، به دست آوردن و افزایش رضایت کاربران است. به همین دلیل صرفا صفحاتی را ایندکس و بررسی می کند که محتوای آن ها به طور کامل پاسخگوی نیاز و سوالات احتمالی کاربران باشد. در غیر این صورت صفحات را ایندکس نمی کند. کاربران زمانی که وارد سایت می شوند، نیاز و انتظار دارند که محتوای یک صفحه به طور کامل به سوالات آن ها پاسخ دهد. در غیر این صورت وارد سایت دیگری خواهد شد. بنابراین گوگل بعد از این که محتوای صفحات مختلف سایت را بررسی و crawl کرد، و محتوای کافی یا بی کیفیتی مشاهده کرد؛ آن را ایندکس نخواهد کرد. بنابراین در قدم اول باید محتوای صفحات مختلف را آپدیت و کامل کنید.

رفع مشکل ایندکس نشدن سایت

در این مقاله مهم ترین مواردی که ممکن است باعث ایندکس نشدن سایت در موتور جستجوی گوگل و سایر موتورهای جستجو شود، بررسی و معرفی شد. اولین قدم برای بررسی شدن سایت توسط گوگل، این است که خودتان سایت را به گوگل معرفی کنید. برای این کار یکی از روش های مطمئن ثبت کردن سایت در سرچ کنسول و معرفی کردن صفحاتی است که باید توسط گوگل ایندکس و بررسی شود.

قدم دوم ساخت نقشه سایت (site map)  و قرار دادن آن در سایت و سپس معرفی کردن و قرار دادن آن در سرچ کنسول گوگل است.

روش دیگر و قدم سوم برای بررسی کردن ایندکس شدن یا نشدن سایت توسط گوگل این است که متا تگ robots.txt را بررسی کنید. در صورتی که این متا به صورت صحیح انجام نشده باشد، باید تغییرات و ویرایش های لازم را در آن وارد و اعمال کنید.

روش سوم و مهم این است که بررسی کنید که محتوای سایت تکراری و کپی نباشد. این موضوع زمانی اهمیت پیدا می کند که تولید محتوا را برون سپاری کرده و از کارشناسان تولید محتوا کمک بگیرید. برای این کار می توانید از ابزار تخصصی duplicheker  و سایر ابزار مشابه استفاده کنید. با این کار علاوه بر حذف محتواهای تکراری و یکسان باعث  افزایش رضایت کاربران خواهید شد. همچنین گوگل نیز با سرعت بیشتری صفحات جدیدی که آپدیت شده اند را ایندکس و رتبه بندی می کند.

نتیجه گیری

یکی از مهم ترین دلایل و اساس این که سایت در نتایج جستجوی گوگل نمایش داده شود، این است که در قدم اول گوگل توسط ربات های گوگل crawl شده و سپس ایندکس شوند. در صورتی که گوگل به هر دلیلی نتواند صفحات مختلف را ایندکس کند، مدت زمان بررسی شدن سایت و سپس رتبه بندی شدن آن به تعویق خواهد افتاد. در این مقاله به طور کامل مهم ترین موارد تاثیر گذار در ایندکس نشدن سایت، همچنین روش های رفع این مشکلات بررسی و معرفی شد. پس از مطالعه این مقاله و اجرای آموزش های ارائه شده می توانید سایت خود را برای ایندکس شدن در موتور جستجوی گوگل آماده نمایید.