Generador de Robots.txt Online


Predeterminado - Todos los robots son:  
    
Retardo de rastreo:
    
Mapa del sitio: (deje en blanco si no tiene) 
     
Robots de búsqueda: Google
  Google Image
  Google Mobile
  MSN Search
  Yahoo
  Yahoo MM
  Yahoo Blogs
  Ask/Teoma
  GigaBlast
  DMOZ Checker
  Nutch
  Alexa/Wayback
  Baidu
  Naver
  MSN PicSearch
   
Directorios restringidos: La ruta es relativa a la raíz y debe contener una barra diagonal. "/"
 
 
 
 
 
 
   



Ahora, cree el archivo 'robots.txt' en su directorio raíz. Copia el texto anterior y pégalo en el archivo de texto.


Acerca de Generador de Robots.txt Online

¿Qué es Robots.txt Generator?

Ahora, cree el archivo 'robots.txt' en su directorio raíz. Copia el texto anterior y pégalo en el archivo de texto.

Robots.txt Generator genera un archivo muy opuesto al mapa del sitio que indica las páginas que se incluirán, por lo tanto, la sintaxis de robots.txt es de gran importancia para cualquier sitio web. Cuando un motor de búsqueda rastrea un sitio web, primero busca el archivo robots.txt que se encuentra en el nivel de la raíz del dominio. Cuando se identifique, el rastreador leerá el archivo y luego identificará los archivos y directorios que pueden estar bloqueados.

 

¿Por qué debería utilizar nuestra herramienta Generador Robots.txt ?

Es una herramienta muy útil que ha facilitado la vida de muchos webmasters al ayudarlos a hacer que sus sitios web sean compatibles con Googlebot. Es una herramienta generadora de archivos robot.txt que puede generar el archivo requerido al realizar la tarea difícil en ningún momento y de forma totalmente gratuita. Nuestra herramienta viene con una interfaz fácil de usar que le ofrece las opciones para incluir o excluir las cosas en el archivo robots.txt.

 

¿Cómo utilizar nuestra herramienta del generador Robots.txt ?

Usando nuestra increíble herramienta, puede generar un archivo robots.txt para su sitio web siguiendo estos sencillos y sencillos pasos:

  • De forma predeterminada, todos los robots tienen permiso para acceder a los archivos de su sitio, puede elegir los robots que desea permitir o rechazar el acceso.
  • Elija el retardo de rastreo, que indica la cantidad de retardo que debe haber en los rastreos, lo que le permite elegir entre su duración de retardo preferida de 5 a 120 segundos. Se establece en 'sin demora' por defecto.
  • Si ya existe un mapa del sitio para su sitio web, puede pegarlo en el cuadro de texto. Por otro lado, puedes dejarlo en blanco, si no lo tienes.
  • Se proporciona la lista de robots de búsqueda, puede seleccionar los que desea rastrear su sitio y puede rechazar los robots que no desea rastrear sus archivos.
  • El último paso es restringir los directorios. La ruta debe contener una barra inclinada "/", ya que la ruta es relativa a la raíz.
  • Al final, cuando haya terminado de generar el archivo robots.txt compatible con Googlebot con la ayuda de nuestra herramienta Robots .txt Generator, ahora puede cargarlo en el directorio raíz del sitio web.