Cómo Bloquear el bot de Semrush
Es posible que necesitemos bloquear el bot de Semrush para que no acceda a nuestro sitio web; Puede ser porque no queremos que nadie nos … Seguir leyendo
El archivo robots.txt es muy importante porque permitirá o denegará el acceso de los robots que buscan e indexan sitios web.
De esta forma, podemos por ejemplo, impedir a los robots de Google el acceso a ciertos directorios de nuestro sitio web.
Es posible que necesitemos bloquear el bot de Semrush para que no acceda a nuestro sitio web; Puede ser porque no queremos que nadie nos … Seguir leyendo
Hoy vamos a hablar del contenido interno duplicado y cómo controlarlo en parte con el archivo Robots.txt. Por suerte contamos con una sintaxis muy útil.
Google Webmasters nos ayuda con el archivo Robots.txt para evitar los errores de rastreo y el indexado de contenido no deseado, que son problemas que … Seguir leyendo