SRE

betekenis & definitie

- Standard for Robot Exclusion Set afspraken voor het gebruik van robots, zoals webcrawlers. Hierin is onder meer vastgelegd dat een webcrawler geen bestanden mag indexeren die door de Webserver zijn uitgesloten van indexering, dat de crawler niet achter een firewall mag zoeken en dat het indexeren van een Webserver niet ten koste mag gaan van de performance van de server.