Los dueños de páginas web utilizan el archivo /robots.txt para dar instrucciones acerca de su sitio a los robots o bots de motores de búsquedas como Google, Yahoo, Bing, etc. El sistema trabaja simple, si un robot quiere visitar la URL por ejemplo: http://www.ejemplode.com/ antes de hacerlo, revisa a http://www.ejemplode.com/robots.txt y se fija su contenido.…