جان مولر از Google توضیحی درباره نحوه و زمان پردازش درخواست‌های حذف (removal requests, or exclusion requests)، یا درخواست‌های محرومیت که توسط ما در robots.txt ارسال میشود توضیح میدهد.

زمانی که Google متوجه تغییر در robots.txt شما شد، این اقدام انجام نمی‌شود، بلکه پس از اینکه ابتدا robots.txt پردازش شد و سپس URL‌های خاصی که تحت تأثیر قرار گرفته‌اند به‌صورت جداگانه توسط جستجوی Google پردازش مجدد می‌شوند.

هر دو باید اتفاق بیفتد. ابتدا، Google باید تغییرات شما را در robots.tx شما بررسی کند و سپس Google باید URL های فردی را به صورت URL به URL پردازش کند تا هرگونه تغییر در جستجوی Google اتفاق بیفتد. بسته به سرعت پردازش مجدد URL های خاص توسط Google، این می تواند سریع باشد یا نه.

جان مولر این مطلب را در Mastodon ارسال کرد و گفت: “نکته ای که باید در نظر داشت این است که این مربوط به زمانی نیست که ما تغییر را در robots.txt می بینیم، بلکه مربوط به زمانی است که می خواهیم URL را دوباره پردازش کنیم. اگر disallow: / امروز قرار داده اید، و گوگل فردا آن را می بیند، فردا همه URL ها را مطابق با درخواستی که نوشته اید به ربات ها منتقل نمیکند ، فقط بر اساس هر URL که میبیند شروع به انجام این کار می کند. اما در عوض بر اساس هر آدرس اینترنتی به ترتیب و در گذشت زمان اتفاق می افتد.اگر کل سایت شما دچار خطای 404 شود، کل محتوای سایت شما در ایندکس گوگل از بین نمیرود بلکه لینک ها به ترتیب چک میشوند. “