firecafe36

Resumen

En este documento se explica cómo interpreta Google los ficheros robots.txt, con los que puedes supervisar cómo rastrean y también indexan los rastreadores de Google los sitios de acceso público.

Novedades

El 1 de julio del 2019,que se está trabajando parael protocolo robots.txt. Los cambios realizados en este sentido se describen en este documento.

Lista de novedades

Estos son los cambios:

• Se ha eliminado la sección sobre el idioma de los requisitos de este documento pues el idioma es específico del boceto de Internet.
• El archivo robots.txt ahora admite todos y cada uno de los protocolos.
• Google prosigue por lo menos cinco redirecciones. Como todavía no se ha obtenido ninguna regla, se siguen por lo menos cinco redirecciones; si no se halla el fichero robots.txt, Google considera que se ha producido un fallo 404. No se aconseja gestionar redirecciones lógicas en el fichero robots.txt según el contenido HTML que devuelva códigos de resultado 2xx (redirecciones de actualizaciones de metaetiquetas, de JavaScript o bien de marcos). El contenido de la primera página se usa para hallar reglas aplicables.
• En el en el caso de que se devuelva un error 5xx, si el robot de Google no puede acceder al archivo robots.txt a lo largo de más de treinta días, se utilizará la copia en caché más reciente del archivo; si no existe ninguna, Google considera que no existe ninguna restricción de rastreo.
• Google estima que las peticiones que no se efectúan adecuadamente y los datos incompletos son errores del servidor.
• Los "registros" ahora se denominan "líneas" o bien "reglas", según corresponda.
• Google no puede procesar los elementos
  <field>que incluyan errores simples o tipográficos; por ejemplo, "useragent" en lugar de "user-agent".
• En estos instantes, Google solo lee 500(KiB) del fichero robots.txt, por lo que, si es más grande, ignora el contenido que exceda este límite.
• Se ha actualizado la sintaxis formal para transformarla en una notación aumentada de Backus-Naur (ABNF) válida segúny para que se puedan usar caracteres UTF-ocho en el archivo robots.txt.
• Se ha actualizado la definición de "grupos" para hacerla más breve y precisa. Se ha añadido un ejemplo de grupo vacío.
• Se han eliminado las referencias al esquema de rastreo obsoleto de Ajax.

Definiciones básicas

Aplicaciones

Todos los rastreadores automatizados de Google prosiguen las indicaciones que se indican en este documento. Sin embargo, estas indicaciones no se aplican cuando un agente accede a las URL en nombre de un usuario para, por servirnos de un ejemplo, traducir la página, acceder a feeds de suscripción manual o bien examinar contenido en pos de software malicioso.

Ubicación del archivo y periodo de validez

El fichero robots.txt debe incluirse en el directorio de nivel superior del host, y se debe poder acceder a él a través del protocolo y del número de puerto apropiados. Todos y cada uno de los protocolos que suelen admitirse para acceder a este fichero sey, en concreto en el caso de la Búsqueda de Google, (por ejemplo, para rastrear de sitios web) son "http" y "https". Cuando se utilizan estos dos protocolos, el fichero robots.txt se consigue mediante una solicitud HTTP GET no condicional.

Elementos específicos de Google: Google también admite y rastrea archivos robots.txt en sitios FTP. A los ficheros robots.txt basados en FTP se accede mediante este protocolo, utilizando unas credenciales de acceso anónimas.

Las directivas que se incluyen en el archivo robots.txt se aplican únicamente al host, al protocolo y al número de puerto en el que se aloja el archivo.

Ejemplos de URLs del archivo robots.txt válidas

• 
  /

  
• 
  /folder/file
  

• 
  /

  
• 
  /

  
• 
  :8181/
  

Válida para:
/


No válida para:

• 
  /

  
• 
  /

  
• 
  /

  

• 
  üller.eu/
  
• 
  --mller-kva.eu/
  

No válida para:
/


Válida para:
ftp://example.com/

No válida para:
/


Valor específico de Google: utilizamos el fichero robots.txt también con recursos FTP.

Válida para:
/


No válida para:
/
(si bien esté alojado en veinti mil doscientos noventa y seis.21)

Válida para:

• 
  :80/
  
• 
  /

  

No válida para:
:81/

Válida para:
:8181/

No válida para:
/


Uso de los códigos de resultado HTTP

Por lo general, al acceder a los ficheros robots.txt, se obtienen tres resultados diferentes:

• full allow (permiso completo): se puede rastrear todo el contenido.
• full disallow (ningún permiso): no se puede rastrear ningún contenido.
• conditional allow (permiso condicional): las directivas incluidas en el archivo robots.txt determinan si se puede rastrear un contenido determinado.

Los fallos del servidor se consideran errores temporales que devuelven el resultado "full disallow". La solicitud se marcha enviando hasta que se obtiene un código de resultado HTTP sin fallo del servidor. Por ejemplo, los errores 503 (Servicio no disponible) suelen provocar este comportamiento. Si el robot de Google no puede acceder al fichero robots.txt a lo largo de más de 30 días, se utilizará la copia en caché más reciente del fichero. Si no hay ninguna, Google considera que no hay ninguna restricción de rastreo. Para suspender de forma temporal el rastreo, se aconseja enseñar un código de resultado HTTP 503.

Elemento específico de Google: si observamos que un sitio se ha configurado de forma incorrecta y, cuando faltan páginas, devuelve un error 5xx y no uno cuatrocientos cuatro, vamos a tratar el error 5xx de ese sitio como si fuera un fallo 404.

Formato de archivo

Se esperan archivos de texto sin formato con codificación. Las distintas líneas del fichero han de estar separadas por CR, CR/LF o LF.

Solo se tienen presente las líneas válidas; el resto del contenido se ignora. Por ejemplo, si el documento es una página HTML, solo se tendrán en cuenta las líneas de texto válidas; las demás se ignorarán y no se mostrará ningún mensaje de advertencia o bien de fallo.

Es posible que el contenido del archivo no se analice adecuadamente si se emplea una codificación que genere caracteres que no representen un subconjunto de UTF-8.

Si hay una marca de orden de bytesUnicode opcional al principio del fichero robots.txt, se ignora.

Para que una línea sea válida, ha de estar formada por un campo, 2 puntos (:) y un valor. Los espacios son opcionales, aunque recomendamos utilizarlos para mejorar la legibilidad del archivo. Se pueden incluir comentarios en cualquier una parte del fichero precedidos del carácter "#". Todo el contenido que se inserta entre el comienzo de un comentario y el final de la línea se considera como tal y se ignora. El formato general es
<field>:<value><#optional-comment>. Los espacios en blanco al comienzo y al final de una línea se ignoran.

El elemento
<field>no distingue entre mayúsculas y minúsculas. En cambio, el factor <value>puede que sí distinga entre mayúsculas y minúsculas, en función del elemento <field>.

No se pueden procesar los elementos
<field>que incluyan errores simples o tipográficos; por poner un ejemplo, "useragent" en lugar de "user-agent". empresas de publicidad y marketing en barcelona /p>

Se puede incorporar un tamaño de archivo máximo en todos y cada rastreador. wordpress castellón el tamaño máximo de archivo se ignorará. En estos instantes, Google aplica un límite de tamaño de 500(KiB). Si tu fichero robots.txt es demasiado grande, combina directivas para reducir su tamaño. Por ejemplo, pone el material que quieres excluir en otro directorio.

Definición y sintaxis formal

A continuación, se describe la notación aumentada de Backus-Naur (ABNF), tal y como se describe en.

Agrupación de líneas y reglas

Una o bien múltiples líneas de user-agent seguidas de una o múltiples reglas. Los grupos terminan con una línea de usuario-agent o cuando se llega al final del archivo. Es posible que el último conjunto no tenga ninguna regla, lo que implica que lo deja todo.

Grupos de ejemplo:

Se indican cuatro grupos diferentes: el primero afecta a "a"; el segundo, a "b", y el tercero a "e" y a "f" al unísono. Salvo el último conjunto, todos tienen su propia línea de miembros de grupo. El último grupo está vacío. Fíjate que, de forma opcional, se han incluido espacios en blanco y líneas vacías para mejorar la legibilidad.

Orden de prioridad de los user-agent

A cada rastreador solo se le puede aplicar un conjunto. Para determinar qué conjunto es el adecuado, el rastreador busca el grupo que coincida que tenga el user-agent más específico e ignora el resto. El campo User-agent distingue entre mayúsculas y minúsculas. La parte de texto que no coincida se ignora (por servirnos de un ejemplo, tanto
googlebot/1.2como
googlebot*son equivalentes a
googlebot). No importa el orden en el que aparezcan los grupos dentro del archivo robots.txt.

Si hay más de un grupo que afecta a un user-agent concreto, a ese user-agent se le aplicarán todas las reglas de esos conjuntos.

Ejemplo

Si tenemos el próximo fichero robots.txt:

Los rastreadores elegirían el conjunto pertinente del siguiente modo:

Consulta también información sobre los.

Reglas de miembros de grupos

En esta sección, solo se tratan las reglas estándar de los miembros de conjuntos. En el caso de los rastreadores, estas reglas también se llaman "directivas". Estas directivas se detallan con el formato
directive: [path], en el que el valor
[path]es opcional. De forma predeterminada, no se aplican restricciones de rastreo a los rastreadores detallados. Las directivas que no tengan
[path]se ignoran.

Si se especifica, se considera que el valor
[path]es relativo a la raíz del sitio a cuyo archivo robots.txt se ha accedido, con el mismo protocolo, número de puerto y nombres de dominio y de host. El valor de la ruta debe iniciar por "/", que señala la raíz. La senda distingue entre mayúsculas y minúsculas. Para obtener más información, se puede preguntar la sección "Coincidencias de URL en función de los valores de ruta" que aparece a continuación.

Directiva disallow

La directiva
disallowespecifica las rutas a las que los rastreadores indicados no deben acceder. Cuando no se especifica ninguna senda, se ignora la directiva.

Uso:

Directiva allow

La directiva
allowespecifica las rutas a las que los rastreadores indicados pueden acceder. Cuando no se detalla ninguna ruta, se ignora la directiva.

Uso:

Coincidencias de URL en función de los valores de ruta

El valor de ruta se emplea como base para determinar si una regla se aplica o no a una URL concreta de un sitio web. A excepción de los comodines, la ruta se usa a fin de que coincida con el principio de una URL (y con cualquier URL válida que empiece por exactamente la misma ruta). Los caracteres ASCII que no sean de 7 bits que aparezcan en una ruta se pueden incluir como caracteres UTF-8 o bien como caracteres UTF-8 codificados con tanto por ciento como carácter de escape según.

Google, Bing y otros motores de búsqueda principales admiten emplear "comodines" limitados en los valores de senda. Se trata de los siguientes:

• 
  *indica 0 o más casos de cualquier carácter válido.
• 
  $ indica el final de la URL.

Coincide con estas rutas:

• 
  /fish
  
• 
  /fish.html
  
• 
  /fish/salmon.html
  
• 
  /fishheads
  
• 
  /fishheads/yummy.html
  
• 
  /fish.php?id=anything
  

No coincide con estas rutas:

• 
  /Fish.asp
  
• 
  /catfish
  
• 
  /?id=fish
  

Es equivalente a
/fish. El comodín final se ignora.

Coincide con estas rutas:

• 
  /fish
  
• 
  /fish.html
  
• 
  /fish/salmon.html
  
• 
  /fishheads
  
• 
  /fishheads/yummy.html
  
• 
  /fish.php?id=anything
  

No coincide con estas rutas:

• 
  /Fish.asp
  
• 
  /catfish
  
• 
  /?id=fish
  

La barra inclinada siguiente señala que esta senda coincide con cualquiera incluida en esta carpeta.

Coincide con estas rutas:

• 
  /fish/
  
• 
  /fish/?id=anything
  
• 
  /fish/salmon.htm
  

No coincide con estas rutas:

• 
  /fish
  
• 
  /fish.html
  
• 
  /Fish/Salmon.asp
  

Coincide con estas rutas:

• 
  /filename.php
  
• 
  /folder/filename.php
  
• 
  /folder/filename.php?parameters
  
• 
  /folder/any.php.file.html
  
• 
  /filename.php/
  

No coincide con estas rutas:

• 
  /
(si bien se asigne a /index.php)
• 
  /windows.PHP
  

Coincide con estas rutas:

• 
  /filename.php
  
• 
  /folder/filename.php
  

No coincide con estas rutas:

• 
  /filename.php?parameters
  
• 
  /filename.php/
  
• 
  /filename.php5
  
• 
  /windows.PHP
  

Coincide con estas rutas:

• 
  /fish.php
  
• 
  /fishheads/catfish.php?parameters
  

No coincide con estas rutas:
/Fish.PHP

Líneas de miembros que no pertenecen al conjunto que Google admite

Google, Bing y otros buscadores web primordiales aceptan
sitemap, tal como se define en.

Uso:

[absoluteURL]debe llevar a un sitemap, a un índice de sitemap o a una URL equivalente. No es preciso que la URL esté en exactamente el mismo host que el fichero robots.txt. Pueden existir varias entradas
sitemap. Como se trata de líneas de miembros que no pertenecen al grupo, estos no están vinculados a ningún usuario-agent específico, y todos y cada uno de los rastreadores pueden seguirlos, siempre que esté tolerado.

Orden de prioridad de líneas de miembros de grupos

A nivel de miembro de grupo, particularmente para las directivas
allowy
disallow, la regla más específica en función de la longitud de la entrada
[path]prevalece sobre la menos específica (más corta). En caso de reglas en enfrentamiento, incluyendo las que tienen comodines, se emplea la regla menos restrictiva.

allow
:
/p

disallow
:
/


< sem y seo :
allow

allow
:
/folder

disallow
:
/folder

Resultado:
allow

allow
:
/page

disallow
:
/*.htm

Resultado:
undefined

allow
:
/$

disallow
:
/


Resultado:
allow

allow
:
/ dólares americanos

disallow
:
/


Resultado:
disallow