آیا تا به حال با خطای Submitted URL marked noindex در سرچ کنسول مواجه شده‌اید؟ این خطا به این معنی است که گوگل یکی از صفحات موجود در نقشه وبسایت شما را که قصد داشتید ایندکس شود، به دلیل وجود تگ noindex، از نتایج جستجو حذف کرده است یا اصلا آن را از ابتدا ایندکس نکرده.
فهرست موضوعات در این آموزش
submitted url marked noindex در سرچ کنسول
بروز این خطا گاها موجب از دست رفتن بخش زیادی از ترافیک سایت می‌شود. مثلا اگر صفحه ای پر بازدید در نتایج برتر گوگل داشته باشید و بعد از مدتی به دلایل نا معلوم، این صفحه از ایندکس خارج شود تاثیر منفی برای سو سایت شما دارد. اما این خطا همیشه هم خطرناک نیست و اغلب صفحاتی نو ایندکس هستند که ارزش چندانی ندارند. و این نکته مهم را هم باید بدانیم که ایندکس نشدن یا از ایندکس خارج شدن،؛ صرفا بهخ دلیل وجود تگ NO INDEX در ساختار HTML نیست و این مساله می‌تواند منشا دیگری داشته باشد.
دلایل اصلی عدم ایندکس شدن محتوا در گوگل
قبل از هر اقدامی باید این را بدانید که دلیل ایندکس نشدن صفحه چیست. شاید خودتان بصورت دستی آن را از ایندکس خارج کرده باشید یا شاید دسترسی روبات های گوگل به این بخش را بسته باشید. یا ممکن است صفحه به دلیل وجود محتوای تکراری از ایندکس خارج شده باشد. پس قبل از رفع این خطا باید دلایل وقوع آن را بدانیم.
- وجود تگ noindex
تگ noindex به منزله یک دستور مستقیم به موتورهای جستجو است تا از ایندکس کردن یک صفحه خاص خودداری کنند. این تگ ممکن است به صورت تصادفی یا عمدی به کد صفحه اضافه شود. در نتیجه، حتی اگر محتوای شما باکیفیت و ارزشمند باشد، به دلیل وجود این تگ، از نتایج جستجو حذف خواهد شد.
موضوع مقاله امروز ما هم همانطور که در ابتدا گفتیم در مورد حضور تگ نو ایندکس در صفحاتی است که در نقشه سایت وجود دارند.
- موانع موجود در فایل robots.txt
تنظیم نادرست فایل robots.txt می‌تواند عواقب جدی برای سئوی وبسایت داشته باشد. این فایل که به عنوان یک پل بین سایت و خزنده‌های گوگل عمل می‌کند، در صورت تنظیم نادرست، می‌تواند مانع از دسترسی خزنده‌ها به بخش‌های مهم وبسایت شده و در نتیجه، باعث کاهش قابل توجه رتبه‌بندی سایت در نتایج جستجو شود.
- 3. محتوای تکراری
وجود محتوای تکراری در صفحات مختلف یک سایت، یکی دیگر از دلایل رایج عدم ایندکس شدن محتوا است. موتورهای جستجو، به ویژه گوگل، از وجود محتوای تکراری خوششان نمی‌آید و ترجیح می‌دهند تنها یک نسخه از آن را ایندکس کنند. این امر باعث می‌شود که صفحات تکراری دیگر شانس کمتری برای نمایش در نتایج جستجو داشته باشند.
- کیفیت پایین محتوا
محتوای باکیفیت، محتوایی است که برای کاربران مفید و ارزشمند باشد و به خوبی سئو شده باشد. محتوای کوتاه، تکراری، بدون کلمات کلیدی مناسب و یا محتوایی که ارزش افزوده‌ای برای کاربر ایجاد نمی‌کند، به احتمال زیاد توسط گوگل ایندکس نخواهد شد.
- مشکلات فنی زیرساخت سایت
مشکلات فنی مانند خطاهای 404، سرعت بارگذاری پایین سایت، مشکلات امنیتی و غیره می‌توانند مانع از دسترسی خزنده‌های گوگل به صفحات سایت شما شوند. در نتیجه، این صفحات ایندکس نخواهند شد و در نتایج جستجو نمایش داده نخواهند شد.
- عدم وجود لینک‌های داخلی و خارجی
لینک‌های داخلی و خارجی، پل‌هایی هستند که صفحات مختلف سایت شما را به هم متصل می‌کنند و به گوگل کمک می‌کنند تا ساختار سایت شما را بهتر درک کند. نبود لینک‌های کافی می‌تواند باعث شود که صفحات جدید سایت شما به سختی توسط گوگل پیدا شوند.
- جوان بودن سایت
سایت‌های جدید به زمان بیشتری برای ایندکس شدن نیاز دارند. گوگل برای ایندکس کردن سایت‌های جدید به زمان نیاز دارد تا بتواند محتوای آن‌ها را ارزیابی کند و آن‌ها را در نتایج جستجو قرار دهد.
- مسائل مربوط به سرور
مشکلات مربوط به سرور مانند خرابی سرور، محدودیت‌های دسترسی و … می‌توانند مانع از دسترسی خزنده‌های گوگل به صفحات سایت شما شوند. در نتیجه، این صفحات ایندکس نخواهند شد.
- جریمه شدن توسط گوگل
اگر سایت شما علیه قوانین گوگل تخلف کند، ممکن است توسط گوگل جریمه شود و از نتایج جستجو حذف شود. جریمه گوگل می‌تواند دلایل مختلفی داشته باشد، از جمله ایجاد بک لینک‌های اسپم، استفاده از کلمات کلیدی بیش از حد و …
همچنین بخوانید : رفع خطای alternate page with proper canonical tag
دلایل اصلی عدم ایندکس شدن محتوا در گوگل چیست
روش رفع خطای نو ایندکس
با استفده از موارد زیر به راحتی از شرایط سایت خود اگاه شوید و این خطا را رفع کنید:
رفع خطای “Submitted URL marked noindex” در سرچ کنسول: راهنمای جامع و تخصصی
- بررسی و حذف تگ noindex
اولین و مهم‌ترین قدم برای رفع این خطا، بررسی دقیق کدهای HTML صفحه مورد نظر است. تگ noindex معمولاً در بخش <head> صفحه قرار می‌گیرد و به گوگل اعلام می‌کند که این صفحه نباید ایندکس شود. با استفاده از ابزارهای توسعه‌دهنده مرورگر یا یک ویرایشگر HTML، کد منبع صفحه را به دقت بررسی کنید تا اطمینان حاصل کنید که هیچ تگ noindex در آن وجود ندارد. همچنین، فایل‌های قالب سایت مانند header.php را نیز بررسی کنید؛ زیرا ممکن است تگ noindex در این فایل‌ها قرار گرفته باشد. در صورت یافتن تگ noindex، آن را به طور کامل حذف کنید.
برای پیدا کردن این تگ تنها کافیست سورس صفحه(ctrl+ u) را باز کنید و در آن دنبال تگ NO INDEX بگردید(ctrl+ f). اگر همچین موردی بود به راحتی می‌توانید با برداشتن تگ از کد های سایت صفحه را به نتایج باز گردانید.
یادتون نره بعد از انجام کار های لازم و برداشتن تگ باید به سرچ کنسول بروید و validate fix را بزنید تا گوگل را از این تغیرات با خبر کنید.
- بررسی فایل robots.txt
فایل robots.txt به عنوان یک راهنمای برای خزنده‌های گوگل عمل می‌کند و به آن‌ها می‌گوید که کدام بخش‌های سایت شما قابل دسترسی است. اگر در این فایل دستوری وجود داشته باشد که از ایندکس شدن صفحه مورد نظر جلوگیری کند، باید آن را اصلاح کنید. به طور مثال، ممکن است به اشتباه یک دستورالعمل noindex برای آن صفحه در فایل robots.txt تعریف شده باشد که مانع از ایندکس شدن آن می‌شود.
درک ساختار فایل: فایل robots.txt از دستورالعمل‌های ساده‌ای تشکیل شده است. دو دستورالعمل مهم عبارتند از:
- User-agent: مشخص می‌کند که این دستورالعمل برای کدام خزنده (مثلاً گوگل، بینگ) اعمال می‌شود.
- Disallow: مشخص می‌کند که کدام بخش‌ها از دسترسی خزنده‌ها منع شده‌اند.
بررسی دستورالعمل‌های Disallow: به دقت دستورالعمل‌های Disallow را بررسی کنید تا مطمئن شوید که هیچ صفحه‌ای که می‌خواهید ایندکس شود، به اشتباه در این بخش قرار نگرفته باشد.
بررسی دستورالعمل‌های Allow: اگر از دستورالعمل Allow استفاده می‌کنید، اطمینان حاصل کنید که به درستی تعریف شده است و هیچ محدودیتی برای صفحات مورد نظر ایجاد نمی‌کند.
- بررسی افزونه‌های سئو
برخی از افزونه‌های سئو به طور خودکار ممکن است تگ noindex را به برخی از صفحات اضافه کنند. برای اطمینان از اینکه هیچ افزونه‌ای باعث ایجاد این مشکل نشده است، تمام افزونه‌های سئو را به صورت موقت غیرفعال کنید و سپس آن‌ها را یکی یکی فعال کنید تا متوجه شوید کدام افزونه باعث ایجاد مشکل شده است. پس از شناسایی افزونه مشکل‌ساز، تنظیمات آن را بررسی کرده و مطمئن شوید که به صورت خودکار تگ noindex به صفحات اضافه نمی‌شود.
- بررسی نقشه سایت XML
نقشه سایت XML به گوگل کمک می‌کند تا صفحات سایت شما را به راحتی پیدا کند. اگر URL مورد نظر به اشتباه در نقشه سایت XML شما قرار گرفته است و در عین حال تگ noindex دارد، باید آن را از نقشه سایت حذف کنید. پس از ایجاد هرگونه تغییری در نقشه سایت، حتماً آن را مجدداً به گوگل ارسال کنید.
- صبر و حوصله
حتی پس از رفع مشکل، ممکن است چند روز طول بکشد تا گوگل تغییرات را شناسایی کرده و صفحات شما را مجدداً ایندکس کند. بنابراین، پس از انجام تغییرات لازم، صبور باشید و به گوگل زمان دهید تا تغییرات شما را اعمال کند.
روش رفع خطای نو ایندکس چیست
جمع‌بندی
رفع خطای “Submitted URL marked noindex” نیازمند یک بررسی دقیق و همه جانبه از تمام جوانب فنی سایت است. با بررسی دقیق کدهای HTML، فایل robots.txt، افزونه‌های سئو، نقشه سایت XML و مشکلات فنی سایت، می‌توانید به راحتی این مشکل را شناسایی و برطرف کنید. همچنین، استفاده از ابزارهای سئو می‌تواند به شما در این فرآیند کمک شایانی کند.
