REP válido para todos los robots (Google, Yahoo y MSN)
Parece que por fín Google, Yahoo y MSN han llegado a un acuerdo sobre los protocolos de exclusión de Robots, lo cual nos va a facilitar muchísimo el trabajo a los SEO ya que no tendremos que decidir cuál es el REP (Robots Exclusion Protocol) que más nos interesa incluir.
A continuación os hago una traducción del texto publicado en el Blog Oficial de Google para Webmasters y que podeís leer en su idioma original (Inglés) desde aquí:
DIRECTIVAS REP COMÚNES
La siguiente lista son las principales directivas REP implementadas por Google, Microsoft y Yahoo. Con cada directiva, verá lo que hace y cómo debería comunicarla. Cada una de ellas se puede especificar para todos los robots o para robots determinados al dirigirlas a agentes de usuarios específicos, que es cómo son identifican los robots.- Aparte de la identificación a través de agentes de usuarios, los robots también tiene una autenticación basada en DNS que permite verificar su identificación.
1. Directivas Robots.txt
|
DIRECTIVA |
EFECTO |
USOS |
|
Le dice al robot que no indexe tu sitio web—el archivo robots.txt de tu sitio tiene que ser analizado por el robot para encontrar esta directiva, aunque las páginas omitidas no podrán explorarse |
Para que el robot no explore una determinada página de un sitio. Esta directiva en la sintaxis por defecto evita que el robot explore una determinada ruta de un sitio. |
|
|
Le dice al robot qué páginas específicas de si sitio web quieres indexar. Esta directiva se puede utilizar de forma conjunta con Disallow |
Esta es útil en particular junto con las cláusulas Disallow, en la que una gran sección del sitio está omitida salvo una pequeña sección dentro de ella. |
|
|
Le dice al robot que copie todo desde el final de una URL – un gran número de directorios sin especificar las páginas |
Ordena al robot que no explore archivos con un patrón determinado, por ejemplo archivos que tengan una extensión determinada como los pdf |
|
|
Le dice al robot que copie una secuencia de caracteres |
Ordena al robot que no explore las URLs con determinados patrones, por ejemplo las URLs omitidas con Identificadores de sesión u otros parámetros menos relevantes |
|
|
Le dice al robot dónde se encuentran los Sitemaps |
Redirige a otras ubicaciones en las que hay información para ayudar a los robots a encontrar las URLs de un sitio |
2. Directivas HTML META
|
DIRECTIVA |
EFECTO |
USOS |
|
Le dice al robot que no indexe una determinada página |
Ordena al robot que no indexe la página. |
|
|
Le dice al robot que no siga un enlace con otro contenido en una determinada página |
Evita que las áreas de las páginas con publicidad sean accesibles por los spammers que buscan enlaces para sus emails. Esta directiva informa al robot que no debe tener en cuenta los enlaces salientes de esta página. |
|
|
Le dice al robot que no muestre los Snippets (secciones de códigos? En los resultados de búsqueda para una determinada página |
Indica al robot que no debe presentar los snippets de la página en los resultados de búsqueda |
|
|
Le dice al un motor de búsqueda que no muestre en enlace en “caché” para una determinada página |
No permite a los usuarios ver una copia de la página almacenada en el caché de resultados de búsqueda |
|
|
Le dice al robot que no utilice un título o snippet del Proyecto de directorio abierto para una determinada página |
Ordena no utilizar el título ODP (Open Directory Project) y el snippet para esta página |
Estas directivas se aplican a todas los tipos de contenidos. Pueden insertarse tanto en el código HTML de una página o en la cabecera HTTP para un contenido que no sea HTML, es decir, un archivo PDF, vídeo, etc. Utilizando una etiqueta X-Robots-Tag. Puede obtener más información en: X-Robots-Tag Post o en nuestros posts sobre el uso de los robots y las Meta Tags.
Otras directivas REP
Las directivas especificadas anteriormente las utiliza Microsoft, Google y Yahoo!, pero no pueden ser implementadas por el resto de motores de búsqueda. Asimismo, las siguientes directivas son compatibles con Google, pero no con los otros tres motores de búsqueda:
Si te ha gustado este artículo , por favor déjanos un comentario o suscríbete a nuestro blog y recibirás todos los artículos en tu mail.
Comentarios
Este artículo no tiene comentarios aún, deja el tuyo.
Escriba su comentario