هایلات این خبر

این خبر در مورد تغییرات جدید در روبات‌های گوگل و اعمال تغییرات در فایل robots.txt برای بهبود نحوه فرایند اسکن و شناسایی صفحات وب سایت شما است. این تغییرات بهبودی را در نحوه رتبه بندی وب سایت شما در نتایج جستجوی گوگل ایجاد می کند.

در این صفحه به توضیحاتی در مورد اعمال تغییرات در فایل robots.txt و کاربردهای آن برای بهبود روند اسکن و شناسایی صفحات وب سایت شما پرداخته شده است. همچنین در این صفحه به بررسی و توضیح تغییرات اخیر در روبات‌های گوگل و نحوه پردازش صفحات وب توسط آنها پرداخته شده است.

جان مولر از Google توضیحی درباره نحوه و زمان پردازش درخواست‌های حذف (removal requests, or exclusion requests)، یا درخواست‌های محرومیت که توسط ما در robots.txt ارسال میشود توضیح میدهد.

زمانی که Google متوجه تغییر در robots.txt شما شد، این اقدام انجام نمی‌شود، بلکه پس از اینکه ابتدا robots.txt پردازش شد و سپس URL‌های خاصی که تحت تأثیر قرار گرفته‌اند به‌صورت جداگانه توسط جستجوی Google پردازش مجدد می‌شوند.

هر دو باید اتفاق بیفتد. ابتدا، Google باید تغییرات شما را در robots.tx شما بررسی کند و سپس Google باید URL های فردی را به صورت URL به URL پردازش کند تا هرگونه تغییر در جستجوی Google اتفاق بیفتد. بسته به سرعت پردازش مجدد URL های خاص توسط Google، این می تواند سریع باشد یا نه.

جان مولر این مطلب را در Mastodon ارسال کرد و گفت: “نکته ای که باید در نظر داشت این است که این مربوط به زمانی نیست که ما تغییر را در robots.txt می بینیم، بلکه مربوط به زمانی است که می خواهیم URL را دوباره پردازش کنیم. اگر disallow: / امروز قرار داده اید، و گوگل فردا آن را می بیند، فردا همه URL ها را مطابق با درخواستی که نوشته اید به ربات ها منتقل نمیکند ، فقط بر اساس هر URL که میبیند شروع به انجام این کار می کند. اما در عوض بر اساس هر آدرس اینترنتی به ترتیب و در گذشت زمان اتفاق می افتد.اگر کل سایت شما دچار خطای 404 شود، کل محتوای سایت شما در ایندکس گوگل از بین نمیرود بلکه لینک ها به ترتیب چک میشوند. “

سخن آخر

در واقع، بسیاری از الگوریتم‌های رتبه‌بندی به این ترتیب کار می‌کنند، به همین دلیل است که وقتی یک به‌روزرسانی منتشر می‌شود، گاهی اوقات حدود دو هفته طول می‌کشد تا به طور کامل عرضه شود، زیرا این مدت زمانی طول می‌کشد که اکثر URL‌های مهم در اینترنت پردازش مجدد آن‌ها را توسط گوگل انجام دهد. برخی از URL ها در اینترنت ممکن است ماه ها طول بکشد تا دوباره پردازش شوند.

منبع