A continuacion, les dejo un detalle con la mejor explicacion que he encontrado hasta el momento sobre los archivos robots.txt con todos los detalles, opciones y configuraciones posibles, ademas de como repercute en cada caso.