El archivo robots.txt es el recurso fundamental para cualquier sitio que pretende ser bien posicionada por los buscadores como Google . Sirve como un directorio para los crawlers , indicándoles qué áreas de tu plataforma pueden ser crawleadas y cuáles se deben excluir . La adecuada configuración de este documento ayuda a evitar problemas de ra