crawling چیست؟

crawling چیست؟

در این آموزش خواهیم آموخت که crawling چیست؟ crawling در کلمه به معنای دنبال کردن راه یا مسیر است، ولی این اصطلاح در سئو به معنای این است که وقتی گوگل می خواهد سایت مارا بررسی کند و از آن بازدید نماید ربات هایی را به این منظور می فرستد و سایت را مورد بررسی قرار می دهد، (این ربات ها در نقش تیم تجسس هستند) این فرآیند هر روز توسط گوگل انجام می شود و ربات هایش را هر روز پخش می کند و به همه ی سایت ها می فرستد تا اطلاعات جدیدی راجع به سایت ها بدست آورد؛

که به این فرآیند crawling و به ربات های آن crawler (خزنده عنکبوت)می گویند. این فرآیند فقط محدود به متن ها و محتواهای سایت شما نمی شود بلکه گوگل با این کار حتی سایت هایی که شما به آنها لینک داده باشید را نیز مورد بررسی قرار می دهند.

منظور از crawling چیست؟

نحوه کار crawler ها

crawler ها یا همان خزندهای گوگل روزانه وارد سایت ها می شوند و تک تک سایت ها و صفحات آنها را مورد بررسی قرار می دهند و اطلاعاتی را به صورت دیتا خارج می کنند و به همراه خود برای گوگل می برند؛ هرچقدر بازدید crawler ها بیشتر باشد اتفاق خوبی است، ولی نکته قابل توجه این است اگر در یک روز بازدید این خزنده ها به صورت ناگهان چند برابر شود اتفاق نگران کننده ای است شاید با خودتان بگویید چرا؟ در پاسخ به این سوال باید گفت:

اگر بازدید کرولرها به صورت ناگهان چند برابر شود ممکن است به خاطر این باشد که به مورد مشکوکی برخورد کرده باشند یا بخشی از سایت مشکلی پیدا کرده باشد که برای درک مشکل، گوگل انقدر به مقدار ربات هایش اضافه می کند تا علت مشکل را متوجه شود و شک خود را رفع کند. همچنین این ربات ها وقتی به یک لینک جدید می رسند آن را به لیست خود اضافه می کنند تا آنرا بررسی کنند؛ بررسی لینک ها به این موضوع نیز برمیگردد که آن لینک فالو بوده یا نوفالو. (تفاوت لینک فالو و نوفالو) اگر این خزنده ها متوجه تغییر در لینک یا خرابی آن شوند صفحه ایندکس شده را آپدیت می کند، که اغلب این موضوع برای سئو صفحات مضرر میباشد.

گوگل چه چیز های را crawl میکند؟

گوگل در سال 2022 اعلام کرد همه چیز را خزش میکند، از فایل های متنی ساده گرفته تا کدهای جاوا اسکریپت و حتی کدهایی که نیاز به اجرا شدن دارند (اگر زیر چند ثانیه، حدود 6 ثانیه اجرا شوند) را خزش و بررسی میکند.

نحوه عملکرد crawler ها

تاثیر crawling گوگل بر سئو

شاید در ذهنتان این سوال پیش بیاید که اصلا کرال گوگل چه کمکی می تواند در رتبه سایتمان به ما بکند؛جواب این سوال ساده است هر چه شما محتوا های با ارزشی در سایت خود قرار دهید ربات های گوگل اطلاعات دارای ارزش را همراه خود می برند این سبب می شود که از نظر گوگل سایت شما دارای ارزش بالایی است بنابراین با خزنده های خود بیشتر به شما سر می زنند و اطلاعات بیشتری می برند و این موضوع سبب می شود که سایت شما روز به روز رتبه ی بهتری در گوگل کسب کند.

تاثیرات crawlکردن گوگل بر سئو

انواع crawler ها

• بات های مثبت:بات های مثبت به سایت ها سر می زنند و موجب ایندکس شدن مطالب می شوند، و تاثیر مستقیمی بر پیشرفت سایت و رتبه ی آن در گوگل می شود.
• بات های تشخیص دهنده ی spam:این دسته از ربات ها اگر مطلب کپی و یا لینک خراب در سایت شما پیدا کنند شما را مورد جریمه و spam قرار می دهند که ربات های منفی به حساب می آیند،اگر با مشکل جدی روبه رو شوند و آن را تایید کنند پای الگوریتم های گوگل را به سایت شما باز می کنند.
• ربات ها یابنده: وقتی یک سایت جدید ساخته می شود یا وارد دنیای گوگل می شود گوگل برای کشف کردن و پیدا کردن این سایت ها از این ربات ها استفاده می کند،ممکن است این ربات ها از طریق لینک و بک لینک ها این سایت ها را کشف کنند یا از طریق ادمین سایت که به وسیله ی وبمستر به گوگل درخواست داده است کشف می کنند.
  

  انواع crawler ها

وظایف crawler ها

1. Crawling(کراول کردن): در مرحله ی اول محتواهای ما و مطالب ما مورد بررسی قرار داده می شود.
2. Indexing(ایندکس کردن): در مرحله دوم ربات ها به مطلب و ارزش مطلب ما دقت می کنند و آن را ایندکس می کنند.
3. Ranking(رتبه بندی): و در مرحله سوم محتوای ایندکس شده را در رتبه و جایگاه درست قرار می دهد.

بودجه crawler برای هر سایت

گوگل برای هر سایت مقدار خاصی از خزنده های خود را برای بررسی آن سایت ارسال میکند، اینکه گوگل چه میزان خزنده برای تحلیل سایت شما ارسال کند، به دو عامل زیر بستگی دارد:

• crawl limit: در مرحله اول اینکه سایت شما نیاز به چه میزان درخواست از طرف ربات های گوگل دارد، چون هر بار که گوگل صفحات سایت شما را بررسی می کند یک بخشی از دیتای سایت شما را خارج می کند اگر این مقدار اطلاعات بیش از حد و فراتر از نیاز سایت شما باشد، خود خزنده ها تشخیص میدهند که دیتای جدیدی بدست نیاوره و بیش از نیاز سایت شما خزش شده.

• Crawl Demand: اینکه سایت شما ارزش crawl شدن دارد یا خیر؟ این موضوع به عوامل مختلفی ربط دارد، مانند: محتواهای شما با کیفیت و به صورت مستمر باشد، به لینک های خارجی و داخلی که به شما داده شده، مقدار کلمات کلیدی و…. و بر اساس کیفیت محتوا ها و بک لینک ها نیز میتوانید میزان خزشی که میگیرید را افزایش دهید. همچنین میزان freshness یا بروزرسانی صفحات سایت نیز به شدت موثر است.
  

  بودجه خرنده های گوگل

برای افزایش crawling سایت چه کنیم؟

قطعا سایت های بزرگ تر که زود به زود محتواهای آنها بروز میشود بیشتر خزش میشوند، اما موارد زیر حتما به رشد خزش سایت کمک خواهد کرد:

1. افزایش حجم تولید محتوا
2. آپدیت کردن محتوا های قدیمی سایت
3. گرفتن بک لینک از سایت های بزرگ
4. انتشار محتوای سایت در سایت هایی که رفرنس هستند، مانند تابناک، خبرآنلاین و ..
5. اضافه کردن بخش هایی به سایت که در آن بروزرسانی رخ میدهد، مانند اعلام قیمت دلار و یا …
6. گاها مشاهده شده استفاده از روش هایی مانند ipts نیز نرخ خزش سایت را افزایش داده اند

ویدئو آموزش و شناخت crawler های گوگل

در پایان تقاضا داریم اگر سئوالی در مورد خزنده های گوگل (crawler ها) و یا روش خزش آنها (crawling) دارید زیر همین آموزش مطرح نمایید تا چیزی در این باره ناگفته نماند و بتوان به دوستانی که میخواهند سئو سایت بهتری داشته باشند کمک شود.