3 تا 5 درصد URL های سرچ کنسول می توانند 404 باشند
این مطلب تصحیح شده:
مطابق گفته گوگل:
ارور های 404 بخشی طبیعی از کرالینگ وب هستند و حتی ممکن است 5٪ از URL های سایت در سرچ کنسول را تشکیل دهند.
جان مولر از شرکت گوگل می گوید اگر 3٪ URL های گزارش شده از سرچ کنسول سایت، به صورت 404 باشند، طبیعی است و اشکالی ندارد. این موضوع در تاریخ 25 فوریه عنوان شد، زمانی که گفته شد جلوگیری از تلاش گوگل برای کرال کردن یوآرال هایی که دیگر وجود ندارند، امری غیر ممکن است؛ به طوری که پس از سال ها حذف یوآرالی از وب سایت، گوگل ممکن است همچنان به کرال کردن آن ها بپردازد و هیچ کاری از دست صاحبان سایت برای جلوگیری از وقوع آن بر نمی آید. بنابراین تلاش برای از بین بردن ارور های 404 سرچ کنسول، حتی برای بهترین سئوکاران نیز، امری اجتناب ناپذیر است.
سئوکاری به نام راب یانگ در این خصوص سوالی مطرح کرد: یانگ سایتی دارد که در آن یورآرال هایی که بیش از 8 سال فعالیت نداشته اند، به حالت 404 باز میگردند. این ارور های 404 ابتدا به صورت 410 بوده اند و هیچ لینکی به آن ها داده نشده بود. سوال یانگ از جان مولر این است که آیا این اتفاق طبیعی است و یا خیر؟
کرال کردن URL های قدیمی سایت توسط googlebot
جان مولر در پاسخ به یانگ می گوید:
8 سال برای کرال کردن یوآرال هایی که دیگر موجود نیستند، زمان زیادی است و این موضوع امکان پذیر نیست. چنانچه گوگل یوآرالی را در گذشته فعال بیابد، ممکن است هر از چند گاهی سعی کند آن یوآرال را کرال کند. اگر مطمئن هستید که این url دیگر موجود نیست، گزارشات مربوط به آن را در سرچ کنسول نادیده بگیرید. به این صورت است که گوگل پس از مشاهده یوآرال هایی با ارور 404 می گوید: اوه، این url کار نمی کند!” و شما نیز خواهید گفت: خب این url نیست کار کند!” و تمام. هیچ مشکلی وجود نخواهد داشت.
کرال کردن یوآرال های سایت توسط خزنده های گوگل
سوال دیگر یانگ از مولر این است که آیا می توان با ارسال سیگنال هایی قوی تر به گوگل فهماند که این url ها دیگر وجود ندارند؟ آیا Google تلاش برای کرال کردن URL های حذف شده را متوقف خواهد کرد؟
“هیچ تضمینی وجود ندارد که ما حداقل تلاشی برای کرال کردن آن یوآرال ها نخواهیم کرد. این مورد یکی ازدیگر مواردی است که ما در سیستممان داریم، و می دانیم که این url ها زمانی مفید واقع شده اند، بنابراین اگر وقت داشته باشیم، مجدد برای کرال کردن آن ها تلاش خواهیم کرد. این کار هیچ مشکلی ایجاد نمی کند، ما فقط یک بررسی مجدد می کنیم و گزارشی برای شما ارسال می کنیم که متن آن حاوی “اوه ما این یوآرال را دوباره امتحان کردیم و نتیجه ای نداد.” است.
نگرانی دیگر یانگ در خصوص حجم URL های موجود در سرچ کنسول های گوگل است؛ او از مولر می پرسد که تعداد ارور های 404 موجود در گزارش سرچ کنسول در حدود 3 تا 5 درصد هستند، این موضوع مشکلی ایجاد نمی کند؟
“هیچ مشکلی ندارد. این موضوع کاملاً طبیعی است، مخصوصاً برای سایتی که دارای ریزش زیادی بوده است. اگر سایتتان دارای دسته بندی هایی است، که این دسته ها تنها برای یک ماه اعتبار دارند و پس از این مدت آن ها را حذف خواهید کرد؛ ما، مانند همیشه، تعداد زیادی از این URL ها را جمع آوری کرده و طی زمان هایی آن ها را کرال خواهیم کرد، چنانچه تبدیل به 404 یا 410 شده باشند، مانند هر مطلب دیگری، هیچ ایرادی ندارد.
ما این موارد را به صورت یک سیگنال کیفیت از سایت و یا یک موضوع غیرعادی نمی بینیم. از نظر ما، تنها زمانی این ارور های 404 مشکل ساز می شوند که صفحه اصلی سایت ارور 404 داشته باشد. این زمان است که ما می گوییم”معلوم نیست که این سایت هنوز فعال است یا خیر؛ اما اگر قسمت هایی از سایت 404 باشند، مانند هر مورد دیگری، یم مشکل فنی محسوب شده و مهم نیست”.
گوگل مدت ها پس از حذف URL ها هم می تواند آن ها را به خاطر سپرده و هر زمان که بخواهد مجدد کرالشان کند. با این حال، دیدن خطاهای 404 در سرچ کنسول سایت برای یوآرال هایی که دیگر قرار نیست، وجود داشته باشند، دیگر برای گوگل اهمیتی ندارد.
