Was ist robots.txt?
Webseiten werden von sogenannten Crawlern indexiert. Dabei handelt es sich um ein Computerprogramm, das Webseiten im Internet erfasst und durchsucht. Web-Crawler werden beispielsweise von Suchmaschinen wie Google verwendet, um neue Webseiten für die Suchergebnisse zu finden. Mithilfe der Datei robots.txt können Webseitenbetreibende die crawlenden Bots kontrollieren.
Eine robots.txt-Datei gibt einem Bot Anweisungen, wie er auf der eigenen Webseite vorzugehen hat. Damit wird festgelegt, welche Bereiche einer Webseite gecrawlt werden dürfen und in Suchmaschinen aufgenommen werden. Enthält eine Seite eine robots.txt-Datei wird sie ausgeschlossen. Die Datei ist in der Domain selbst hinterlegt und wird von einem Bot als allererstes besucht.
Häufige Fehler bei der robots.txt-Datei
Oft wird robots.txt bei der Erstellung neuer Webseiten angewendet. Ist eine Webseite noch nicht ganz fertig und bereit von der \Öffentlichkeit betrachtet zu werden, wird sie vorerst mit einer robots.txt-Datei versehen. Wer vergisst diese nach der Veröffentlichung zu entfernen, wird merken, dass sie in den Suchergebnissen nicht erscheint.
Fehler beim Einsatz der robots.txt-Dateien können zu Ranking-Problemen führen. Es ist also umso wichtiger, einen Überblick darüber zu behalten, welche Seiten Sie bewusst vom Ranking ausgeschlossen haben.
Bing launcht neues robots.txt Tool
Dabei will die Suchmaschine Bing ihren Nutzerinnen und Nutzern jetzt behilflich sein. Sie führt ein neues Testing-Tool ein mit dem Webmaster ihre robots.txt-Dateien analysieren können. So können Sie das Crawling Ihrer Unternehmenswebseite durch Bing und andere Bots optimieren.
Das Tool funktioniert genau wie ein Bingbot. Webmaster können eine URL eingeben und prüfen, ob die robots.txt-Datei vorhanden ist und die Seite tatsächlich ausgeschlossen wurde.
Was kann das neue Bing Tool?
Die Anzahl an verschiedener Suchmaschinen sowie Suchparameter können Webseitenbetreibende schonmal verzweifeln lassen. Webmaster müssen teilweise tausende Ordner auf ihren Servern durchsuchen und diese ohne Hilfestellung bearbeiten. Der neue Tester von Bing soll Klarheit schaffen.
Mit dem Tool können robots.txt-Dateien analysiert und bestehende Probleme identifiziert werden. User werden Schritt für Schritt durch die Fehlerbehebung geführt und erhalten Hilfestellungen zum Upload-Prozess. Dateien können schnell und einfach überprüft werden.
Kennen Sie sich mit der zweitgrößten Suchmaschine noch nicht ganz so gut aus? Erfahren Sie, welche Rankingfaktoren für Bing wichtig sind.