Hoy vamos a hablar del contenido duplicado interno y cómo controlarlo en parte con el archivo Robots.txt

 

Google y el contenido duplicado

 

El contenido duplicado  interno se produce cuando una página o artículo de un blog, aparecen en internet bajo varias url´s diferentes, pero que muestran lo mismo.

Podría ocurrir que alguien haya copiado nuestros posts sin haber puesto un backlink adecuado hacia nuestro sitio. Pero eso no es lo que más nos afecta en este caso. Nos vamos a centrar en el contenido duplicado interno.

 
 

En Google webmasters

   
podremos investigar los errores que arroja nuestro sitio web, las url que están dando problemas.. así sabremos dónde atacar.

Google Webmaster Tools

Hay algunos plugins de WordPress para convertir nuestra web en una versión móvil,que pueden provocar que nuestras url´s se reproduzcan desagradablemente , creando contenido duplicado.
 

¿El contenido duplicado SEO .. tiene Solución?

De nuevo vamos a ver qué podemos hacer con el archivo robots.txt

El archivo robots.txt nos facilitará la exclusión de cierto tipo de url´s, es decir..

con el robots.txt, le diremos a Google qué paginas o posts puede indexar, y cuáles no

Podemos utilizarlo para bloquear una página web concreta, o un tipo de archivos concretos

También es interesante bloquear ciertos directorios de nuestra web. Por ejemplo, podemos bloquear el directorio de plugins, o un directorio de imágenes privadas…

Por supuesto en Google Webmasters nos animan a utilizar este archivo. Iremos a la pestaña Salud, la desplegamos y clickamos sobre URL Bloqueadas

Bloquear url en google webmasters

ACTUALIZACIÓN: Ahora las páginas bloqueadas las podemos ver en Indice de Google/estado de Indexación
y ahí marcaremos la pestaña: Páginas bloqueadas por robots

Evitar Contenido duplicado | comprobar estado indexación

Cuando accedamos a Google Webmasters, veremos el archivo robots.txt por defecto , que pinta tal que así:

User-agent: *
Disallow:

User-Agent: Define el robot, o los robots a los que se aplicarán las reglas que posteriormente creemos.

Disallow: Aquí se pone la URL que queremos bloquear.

Para evitar que los robots de Google accedan a ese contenido duplicado, usaremos Disallow.
Para ilustrarnos adecuadamente, vamos a ver el primer ejemplo. Tenemos un problema, creado por uno de los plugins de conversión móvil. Este plugin resulta que ha creado varias copias de nuestras url´s , acabando todas de esta forma:

DOMINIO/nivel1/?wpmp_switcher=mobile

Pues esto lo solucionaremos con robots.txt
Hemos de decirle a las arañas de Google que no accedan a esas url. Ahora bien , hemos de conocer también 2 parámetros del robots.txt muy útiles:

*       Se utiliza para especificar la concordancia con un conjunto de carácteres.

$     Indica que la url acaba con los carácteres que pongamos (concordancia con el final de la url)

Por ejemplo:

User-agent: *
Disallow: /*.xls$

Bloqueará todas las url que acaban con .xls

Esta línea bloqueará concrétamente el acceso a las url que estén construidas: nombre de dominio, seguido de cadena de carácteres, y que acaba con .xls 

Así que para solucionar nuestro problema con las url que mostrábamos al principio del post, lo haremos de esta manera:

Disallow: /*?wpmp_switcher=mobile$

De esta forma bloquearemos todas las url que acaben con ?wpmp_switcher=mobile
Otro ejemplos:

– Queremos bloquear el directorio “pruebas”

Disallow: /pruebas/

– Para bloquear una página concreta :

Disallow: /nombre_archivo.php

Como podéis ver, el archivo robots.txt puede ayudarnos a controlar esas url´s rebeldes que no dejan de atormentarnos, y el contenido duplicado que generan.

Para más info podéis consultar la ayuda de Google Webmasters para el archivo robots.txt
 


Etiquetas del articulo: , ,


Suscríbete para acceder a la zona privada

Suscribiéndote a la lista de correo de El Taller del Bit conseguirás entrar a la zona privada de descargas con materiales exclusivos (ebooks, artículos privados, plugins, descargas de exámenes resueltos ...)

Gracias. Te has suscrito con éxito!