چگونه خطاهای Crawl Errors گوگل وبمستر تولز را رفع کنیم؟

گوگل وبمستر تولز یا کنسول جستجوی گوگل (گوگل در سال 2015 نام این سرویس را از Google Webmaster Tools به Search Console تغییر داد) به شما کمک می‌کند نحوه عملکرد گوگل نسبت به سایت خود را بررسی کنید، وضعیت فعلی خود در جستجوها را ببینید و با رفع اشکالات سایت خود، رتبه بهتری را در گوگل بدست آورید. در این ابزار کارآمد، بخشی تحت عنوان Crawl Errors وجود دارد که در آن خطاهایی که خزنده‌های گوگل هنگام بررسی سایت شما با آن‌ها مواجه شده است را به نمایش می‌گذارد.

در این راهنما قصد دارم علل به وجود آمدن خطاهای گوگل وب مستر را همراه با آموزش کامل رفع هر کدام از آن‌ها بیان کنم. این مقاله با هدف ایجاد ذک مرجع کامل برای خطاهای گوگل وب مستر نوشته شده است. بنابراین پیشنهاد می‌کنم حتماً این مقاله را در مرورگر خود بوکمارک کنید (با استفاده از دکمه‌های Ctrl + D) تا هر موقع با مشکلی در وبمستر روبرو شدید، بتوانید به آن سری بزنید.

رفع خطاهای Crawl Errors

برای مشاهده خطاهای سایت خود پس از ورود به صفحه اصلی کنسول جستجوی گوگل به مسیر Crawl > Crawl Errors بروید. همان‌گونه که در این بخش می‌بینید خطاها در گوگل وبمستر به دو بخش خطاهای کلی سایت (Site Errors) و خطاهای آدرس‌ها (URL Errors) تقسیم می‌شوند. در ادامه با من همراه باشید تا به رفع این خطاها بپردازیم.

1. خطاهای سایت در گوگل وبمستر تولز (Site Errors)

site errors خطاهای کلی سایت شما را در 90 روز گذشته نشان می‌دهد. اگر سایت خود را به تازگی راه‌اندازی کرده‌اید وجود خطا در این قسمت عادی می‌باشد. اما اگر بیش از یک ماه از تولد سایت‌تان گذشته، بهتر است خطاهای این بخش گوگل وبمستر را جدی بگیرید و طبق این آموزش آن‌ها را بر طرف نمایید. اهمیت این موضوع آن‌چنان بالاست که اگر گوگل کوچک‌ترین ایرادی در این بخش احساس کند، برای شما یک پیغام در Site Messages ارسال خواهد کرد. بنابراین همواره سعی کنید به طور مستمر این بخش را چک کنید.

در صورتی که سایت شما خطایی نداشته باشد، تصویری مانند زیر در کنسول جستجوی گوگل شما (با سه تیک سبز رنگ) نمایش داده می‌شود که یعنی هیچ‌گونه خطایی در گوگل وبمسترتان وجود ندارد و بی نقص کار خود را انجام داده‌اید:

همانطور که مشاهده می‌کنید بخش site errors شامل سه قسمت Server connectivity ،DNS و Robots.txt fetch است که در ادامه خطاهای مربوط به هر یک را همراه با راه حل بیان خواهیم کرد.

1.1 خطای DNS

اگر به‌صورت متوالی خطای DNS در گوگل وبمستر برای‌تان گزارش می‌شود، بهتر است آن را جدی بگیرید. چرا که احتمال وجود مشکل در تنظیمات سرور سایت و یا ضعف سرور سایت‌تان وجود دارد. اما در صورتی که به تازگی هاست سایت خود را تغییر داده‌اید، معمولاً این خطا تا چند روز به دلیل تغییر DNS نمایش داده می‌شود و سپس به صورت خودکار رفع می‌گردد.

البته لازم به ذکر است که خطای DNS، مشکلی در سئوی سایت شما به وجود نخواهد آورد؛ به این دلیل که ربات‌های خزنده گوگل همواره می‌توانند ارتباط‌شان را با سایت‌تان حفظ کنند. اما بروز چنین خطاهایی به این معنی است که کاربران نمی‌توانند وارد سایت شوند، بنابراین بهتر است هرچه سریع‌تر اقدام به رفع این مشکل نمایید.

اصلا DNS چیست که خطایش چه باشد؟

در زمانی که اینترنت به شکل امروز گسترده نبود؛ اگر می‌خواستید به سایتی مراجعه کنید، باید آدرس وب‌سرور آن را می‌دانستید. آدرس وب‌سرور با IP مشخص می‌شود. بدین ترتیب که هر سایتی آی‌پی مختص به خود را دارد و شما می‌توانید آن را در نوار جستجوی مرورگر خود وارد کنید تا به سایت مربوطه بروید. اما از آن‌جایی که به خاطر سپردن آی‌پی کار دشواریست، پای دامنه‌ها به میان می‌آید. کاراکترهای قابل فهمی که حفظ کردنشان ساده‌تر است، البته برای انسان!

انتقال داده‌ها در کامپیوتر نه از طریق دامنه‌ها، بلکه به همان روش قدیمی آی‌پی‌ها صورت می‌گیرد. یعنی اگر شما در مرورگر دامنه سایتی را تایپ کنید(همان کاری که در حال حاضر انجام می‌دهید)، مرورگر به آدرس IP وب‌سایت متصل می‌گردد. این تبدیل توسط سرویسی به نام Domain Name System یا به اختصار DNS انجام می‌شود. به‌طور خلاصه می‌توان گفت تمام اطلاعات آدرس‌ آی‌پی‌ها و نام دامنه‌ها در ابرکامپیوترهایی به نام دی‌ان‌اس سرور ذخیره و ثبت شده‌اند که وظیفه اصلی آن‌ها تبدیل دامنه به آی‌پی‌های متناظر و بالعکس می‌باشد.

جهت طراحی سایت به صورت حرفه ای به شرکت طراحی سایت نوپرداز مراجعه نمایید.

چه زمانی DNS Error  رخ می‌دهد؟

هنگامی که سایت شما نتواند با سرورهای دی‌ان‌اس ارتباط برقرار کنند، خطای DNS Error در صفحه گوگل وبمستر شما نمایش داده خواهد شد. این اتفاق عموماً به دو دلیل رخ می‌دهد:

• DNS Timeout: گوگل نمی‌تواند به سایت شما دسترسی پیدا کند زیرا دی‌ان‌اس سرور شما پاسخگو نمی‌باشد.
• DNS Lookup: گوگل نمی‌تواند به سایت شما دسترسی پیدا کند زیرا دی‌ان‌اس سرورتان با دامنه شما ارتباط برقرار نمی‌کند.

اولین پیشنهاد گوگل وبمستر در زمان مواجه شدن با این خطا استفاده از ابراز Fetch as Google است. این ابزار کارآمد نشان می‌دهد که آیا ربات‌های خزنده‌ گوگل می‌توانند صفحات شما را پردازش کنند یا خیر. همچنین می‌توانید با کمک سایت Web-Sniffer.net متوجه شوید که مشکل در برقراری با سرور سایت‌تان در کدام قسمت است.

سایت من دچار خطای DNS Error شده است، چگونه می‌توانم آن را رفع کنم؟

1.   ابتدا وارد صفحه اصلی گوگل وبمستر شوید و از منوی crawl بروی گزینه Fetch as Google کلیک نمایید. سپس در کادر جستجو URL صفحه مد نظر خود را وارد کنید و گزینه FETCH AND RENDER را بزنید. پس از مدت کوتاهی گوگل نتایج بررسی را برای‌تان نشان می‌دهد. در صورتی که مشکلی در این قسمت یافت شود در مقابل آدرس صفحه‌ای که وارد کردید، تیک قرمز خواهد خورد. همچنین توجه داشته باشید اگر گوگل توانست با صفحه نخست سایت‌تان بدون مشکل ارتباط برقرار کند، به این معنی است که هیچ گونه مشکلی در این وب‌سایت شما وجود ندارد.

1. مطمئن شوید صفحات سایت‌تان با خطای 500 یا 404 مواجه نشده باشد. گاهی ممکن است دلیل قطع ارتباط یکی از این خطاها باشد (بدین منظور می‌توانید در گوگل وبمستر خود به مسیر Crawl Errors > URL Errors بروید و وارد تب Not found شوید).
2. تنظیمات دی‌ان‌اس سرور خود را بررسی کنید. اگر مشکل خاصی متوجه نشدید آن را با شرکت ارائه دهنده هاست سایت خود در میان بگذارید.

1.2 خطاهای سرور (Server Errors)

همان‌گونه که از نام آن پیداست خطاهای سرور در گوگل وبمستر زمانی رخ می‌دهند که ربات‌های خزنده‌ گوگل نتوانسته باشند با سرورهای سایت شما ارتباط برقرار کنند. برای خطاهای سرور نیز باید فوراً اقدام کنید چرا که ممکن است آسیب بزرگی به سایت شما برساند.

چه زمانی خطای سرور رخ می‌دهد؟

هنگامی که ربات‌های خزنده‌ گوگل در صفحات سایت شما می‌خزند، مدت زمان خاصی را برای بارگذاری اختصاص می‌دهند. اگر در این مدت بنا به دلایلی که در ادامه بررسی خواهیم کرد، سرور سایت‌تان پاسخگو نباشد، علمیات خزش متوقف می‌شود و خطای سرور گزارش داده خواهد شد. اصلی‌ترین دلایل رخ دادن خطای سرور در گوگل وبمستر، جاری شدن سیل عظیم ترافیک می‌باشد. انواع خطاهایی که سرور اتفاق می‌افتد به شرح زیر است:

• Timeout: وقفه‌ای در ارتباط به وجود آمده و سرور شما در زمان مقرر به درخواست گوگل پاسخ نداده است.
• Truncated headers: گوگل می‌تواند به سرور شما متصل شود اما اتصال قبل از ارسال‌های headers قطع شد.
• Connection reset: سرور شما با موفقیت درخواست گوگل را پردازش کرد. اما هیچ محتوایی را باز نمی‌کند زیرا ارتباط با سرور ریست شده است.
• Truncated response: سرور شما قبل از اینکه گوگل بتواند اطلاعات را کامل دریافت کند، قطع شده است.
• Connection refused: گوگل نمی‌تواند به سرور سایت شما دسترسی پیدا کند زیرا هاست شما ممکن است Googlebot را مسدود کرده باشد و یا مشکلی با تنظیمات فایروال داشته باشد.
• Connect failed: گوگل قادر به اتصال به سرور سایت شما نمی‌باشد چون شبکه غیر قابل دسترس است.
• Connect timeout: گوگل نمی‌تواند با سرور سایت شما اتصال برقرار کند.
• No response: گوگل می‌تواند به سرور شما وصل گردد اما قبل از ارسال داده‌های مورد نیاز!

 

منبه : نوین