Pasos a seguir para borrar url
Para Eliminar su sitio web de nuestra base de datos y asegurar que nunca más la volvamos a registrar. Deberá realizar los siguientes pasos
1.Introduzca en el archivo robots.txt (*) radicado en la raíz de su servidor el siguiente texto:User-agent: treviaBot
Disallow: /
2. Compruebe haber modificado el archivo robots.txt, vaya a sudominio.com/robots.txt y vea que se muestra el siguiente código:
User-agent: treviaBot
Disallow: /
3. Una vez haya modificado el archivo robots.txt, escriba el dominio que quiera dar de baja de nuestra base de datos:
4. Si no ha implementado el punto 1 y su archivo robots.txt no refleja esos cambios el dominio no será borrado. Es la única forma de borrar ese dominio de nuestros resultados. Los correos insultando o amenazando son directamente enviados a la papelera. Si su dominio tiene una redirección 301 tendrá que usar el robots.txt del dominio redireccionado.
Los datos que aparecen en nuestras páginas son totalmente públicos y han sido inferidos de fuentes públicas y de libre uso. No se muestra ningún tipo de dato de uso personal.
(*) Información sobre robots.txt
Un archivo robots.txt es un archivo de texto que impide que un rastreador web como, por ejemplo, el robot de Google, rastree páginas determinadas de tu sitio. El archivo es básicamente una lista de comandos, como Allow y Disallow, que le indica a los rastreadores web las URL que pueden recuperar y las que no. Por lo tanto, si bloqueas una URL en tu archivo robots.txt, dicha URL y su contenido no aparecerán en los resultados de conseguidos por ese rastreador.
