Mit einer robots.txt können Seitenbetreiber die Zugriffsberechtigungen von Crawler regeln und ggf. einschränken. So lässt sich der zugriff von Crawler und Bots auf einzelne Seiten einer Website ausschließen. Doch nun ändert Google wie das Crawling zukünftig geregelt wird.

Derzeit gilt das Robots Exclusion Protocol (REP) als Standard der sich bislang jedoch nur bedingt durchsetzen konnte und laut Google zu Fehlern führt. Daher plant Google nun einen eigenen Standard zu etablieren und gab Anfang Juli bekannt, dass Google ihren Parser „production robote.txt“ zukünftig als Open-Source anbietet.

Was Website Betreiber und Webmaster zukünftig beachten bzw. anders machen müssen, wenn sie Crawler einschränken möchten, erfährst Du in diesem Blogbeitrag.

Weiterlesen