Google Webmasters nos ayuda con el archivo Robots.txt
para evitar los errores de rastreo y el indexado de contenido no deseado, que son problemas que podemos llegar a sufrir alguna vez en nuestro sitio web, como consecuencia de pruebas y de no haber configurado bien el archivo Robots.txt.
Está claro que hay que procurar corregir todos esos errores en la medida de lo posible, pues ayudará a mejorar nuestra clasificación en Google.
Y concerniente a esto tenemos las Herramientas de Google Webmasters, con las que podemos hacer un resúmen y posterior análisis de los errores de navegación existentes, el indexado de páginas, posibilidad de realizar pruebas de rendimiento y mucho más , posibilidad de crear un archivo robots.txt (para evitar el indexado de los directorios o archivos de nuestro sitio que queramos) ..
En Google Webmasters podremos encontrar multitud de herramientas para controlar, examinar y mejorar nuestro sitio web.
ARCHIVO ROBOTS.TXT
En Información del sitio/Acceso de Rastreadores podremos configurar adecuadamente nuestro robots.txt
Recordemos que este archivo es muy importante porque permitirá o denegará el acceso de los robots que buscan e indexan sitios web.
De esta forma, podemos por ejemplo, impedir a los robots de Google el acceso a ciertos directorios de nuestro sitio web (Es decir, en el código del robots.txt les decimos que cuando lleguen a tu sitio, no lean ni indexen ese directorio).
Además, podemos pedir la eliminación de las Url indexadas que deseemos (siempre y cuando seamos propietarios de ese dominio y hayamos verificado la propiedad del sitio en Google Webmasters), así que podemos borrar de la caché de Google las url non gratas para indexación.
Controlar los errores de Rastreo
Los errores de rastreo cuentan para Google. Cuantos menos errores tengamos en nuestro sitio, mejor.
Desde las herramientas de webmasters podremos encontrar las url que arrojan error, y desde que url son accesadas.
Nos dirigimos a la pestaña Diagnósticos/Errores de Rastreo
Así pues también podremos solicitar a Google la eliminación de las url que deseemos.
A continuación podeis ver un video Subtitulado del Centro de Asistencia de Google Webmasters, que nos muestra un resúmen de las herramientas de Google Webmasters y la gran utilidad que tienen.
