KOSTENLOSES WERKZEUG
Robots.txt Generator
Visuell Suchmaschinen-Crawler-Regeln konfigurieren 鈥?Standard-robots.txt-Dateien mit einem Klick generieren
Visuell Suchmaschinen-Crawler-Regeln konfigurieren 鈥?Standard-robots.txt-Dateien mit einem Klick generieren
Robots.txt ist eine Textdatei im Stammverzeichnis einer Website, die Suchmaschinen-Crawlern mitteilt, welche Seiten sie crawlen duerfen und welche nicht. Sie ist die grundlegende Art, wie Websites mit Suchmaschinen kommunizieren, und ein wesentlicher Bestandteil der SEO-Optimierung. Eine richtig konfigurierte robots.txt hilft Suchmaschinen, Ihre Website effizienter zu crawlen.
Neuer Website-Start: schnell eine Standard-robots.txt-Datei generieren. SEO-Optimierung: Crawl-Bereich kontrollieren, um Ranking-Gewicht zu konzentrieren. Admin-Schutz: Crawler von Admin- und sensiblen Seiten blockieren. Bandbreite sparen: Crawling von Bildern, CSS, JS und anderen statischen Ressourcen blockieren. Multi-Site-Verwaltung: schnell Konfigurationen fuer verschiedene Websites generieren.
Waehlen Sie den zu konfigurierenden Crawler (User-agent) 鈥?Standard sind alle Crawler. Fuegen Sie Disallow- (blockieren) oder Allow- (erlauben) Regeln hinzu und geben Sie Pfade ein. Optional koennen Sie Crawl-Verzoegerung und Sitemap-URL konfigurieren. Der robots.txt-Inhalt wird in Echtzeit rechts generiert. Klicken Sie auf "Kopieren" oder "Herunterladen", um die Datei zu erhalten und laden Sie sie in das Stammverzeichnis Ihrer Website hoch.
Robots.txt muss im Stammverzeichnis Ihrer Website mit dem kleingeschriebenen Dateinamen robots.txt platziert werden. Zum Beispiel: https://www.example.com/robots.txt. Suchmaschinen-Crawler rufen diese Adresse automatisch ab, um Crawl-Regeln zu erhalten.
Disallow sagt Crawlern, dass sie bestimmte Pfade nicht crawlen sollen. Allow sagt Crawlern, dass sie bestimmte Pfade crawlen duerfen. Allow hat Vorrang vor Disallow, oft verwendet fuer "ganzes Verzeichnis blockieren aber eine Datei erlauben"-Szenarien. Z.B., Disallow: /admin/ aber Allow: /admin/login.php.
Nein. Robots.txt sagt Crawlern, dass sie nicht crawlen sollen, aber wenn andere Seiten auf diese Seiten verlinken, koennen Suchmaschinen deren URLs trotzdem indizieren. Um die Indizierung komplett zu verhindern, verwenden Sie stattdessen das noindex-Meta-Tag oder den X-Robots-Tag-Antwort-Header.
Crawl-delay sagt Crawlern, wie viele Sekunden sie zwischen jedem Abruf warten sollen, um die Serverlast zu reduzieren. Googlebot unterstuetzt diese Anweisung jedoch nicht 鈥?die Google-Crawl-Geschwindigkeit muss in der Search Console eingestellt werden. Andere Crawler wie Bing und Yandex unterstuetzen sie.
Ja. * passt zu beliebigen Zeichenfolgen, $ passt zum Ende einer URL. Zum Beispiel blockiert Disallow: /*.pdf$ alle PDF-Dateien, Disallow: /?* blockiert URLs mit Abfrageparametern. Beachten Sie, dass nicht alle Crawler Wildcards vollstaendig unterstuetzen.