{"id":13209,"date":"2016-05-14T02:54:20","date_gmt":"2016-05-14T00:54:20","guid":{"rendered":"https:\/\/eltallerdelbit.com\/?p=13209"},"modified":"2020-08-24T00:31:53","modified_gmt":"2020-08-23T22:31:53","slug":"bloquear-bot-semrush","status":"publish","type":"post","link":"https:\/\/eltallerdelbit.com\/bloquear-bot-semrush\/","title":{"rendered":"C\u00f3mo Bloquear el bot de Semrush"},"content":{"rendered":"<h2>Es posible que necesitemos <strong>bloquear el bot\u00a0de Semrush<\/strong>\u00a0para que no acceda a nuestro sitio web;<\/h2>\n<p>&nbsp;<br \/>\n<img decoding=\"async\" loading=\"lazy\" class=\"aligncenter wp-image-13237 size-medium\" src=\"https:\/\/eltallerdelbit.com\/wp-content\/uploads\/2016\/05\/bloquear-semrushbot-300x300.jpg\" alt=\"Bloquear semrush bot\" width=\"300\" height=\"300\" srcset=\"https:\/\/eltallerdelbit.com\/wp-content\/uploads\/2016\/05\/bloquear-semrushbot-300x300.jpg 300w, https:\/\/eltallerdelbit.com\/wp-content\/uploads\/2016\/05\/bloquear-semrushbot-150x150.jpg 150w, https:\/\/eltallerdelbit.com\/wp-content\/uploads\/2016\/05\/bloquear-semrushbot.jpg 600w\" sizes=\"(max-width: 300px) 100vw, 300px\" \/><br \/>\n&nbsp;<br \/>\nPuede ser porque no queremos que nadie nos esp\u00ede utilizando Semrush, porque preferimos que no haya visitas y peticiones inesperadas de bots que disparen el consumo de\u00a0 los recursos de\u00a0nuestro servidor (por exceso de visitas), o simplemente porque nos hemos enfadado con el bot y no queremos ni verlo.<br \/>\n&nbsp;<br \/>\n* Por cierto, <em>Semrush<\/em> es el mejor (o al menos uno de los mejores) analizadores SEO para proyectos Web. *<br \/>\nQueremos aclarar (por si te lo ha parecido) que no estamos en contra de este software en linea ni mucho menos; es m\u00e1s, lo usamos, y nos parece muy bueno. Este post simplemente pretende solucionar un problema muy com\u00fan para los webmasters y propietarios de sitios web, que en ocasiones prefieren que su sitio no sea rastreado ni analizado por la competencia por el bot de Semrush;<\/p>\n<p style=\"text-align: center;\">A\u00fan as\u00ed, para dejar claro que creemos en este software, aqu\u00ed dejamos un enlace para que el que quiera pueda probarlo, gratis:<\/p>\n<p><a href=\"\/ir\/semrush-gratis\"><img decoding=\"async\" loading=\"lazy\" class=\"aligncenter wp-image-23622 size-full\" src=\"https:\/\/eltallerdelbit.com\/wp-content\/uploads\/2019\/08\/semrush-gratis.png\" alt=\"Semrush gratis\" width=\"234\" height=\"60\" \/><\/a><br \/>\n&nbsp;<\/p>\n<p>&nbsp;<\/p>\n<h3 style=\"text-align: center;\"><span style=\"text-decoration: underline;\">Sea como fuere, vamos a ver <strong>c\u00f3mo bloquear al bot de Semrush<\/strong>.<\/span><\/h3>\n<p>&nbsp;<br \/>\nPodemos pedirle al hosting que lo haga, pero algunos proveedores de hosting no saben lo que son las reglas de seguridad (<em>Ironic Mode ON<\/em>. Lo que\u00a0realmente\u00a0ocurre es que hay muchos que no aplican reglas personalizadas, tambi\u00e9n depende del servidor que estemos pagando. Pero los buenos lo hacen. V\u00e9ase Webempresa).<\/p>\n<p>Pues bien, si nuestro hosting no puede o no sabe aplicar reglas de seguridad y bloqueo adecuadas, y por alguna raz\u00f3n queremos <strong>bloquear al bot de Semrush<\/strong>, podemos recurrir a dos m\u00e9todos que realizaremos nosotros mismos:<\/p>\n<ul>\n<li>1. <strong>Prohibir el rastreo al bot<\/strong> por medio del archivo robots.txt<\/li>\n<li>2. <strong>Bloquear al bot por medio del archivo .htaccess<\/strong>.<\/li>\n<\/ul>\n<p>&nbsp;<br \/>\n<br \/>\n&nbsp;<\/p>\n<h3 style=\"text-align: center;\"><span style=\"color: #2ea3f2;\"><a style=\"color: #2ea3f2;\" href=\"https:\/\/es.semrush.com\/bot\/\" target=\"_blank\" rel=\"noopener noreferrer\"><span style=\"text-decoration: underline;\"><strong>Evitar el rastreo del bot de Semrush por medio del archivo robots.txt<\/strong><\/span><\/a><\/span><\/h3>\n<p>&nbsp;<\/p>\n<p>Lo que haremos, es decirle al bot de Semrush, que utiliza el agente de usuario &#8220;<em><strong>SemrushBot<\/strong><\/em>&#8220;, que no tiene permiso para rastrear nuestro sitio; lo haremos de esta forma:<\/p>\n<pre lang=\"javascript\" line=\"1\">\r\nUser-agent: SemrushBot\r\nDisallow: \/\r\n\r\nUser-agent: SemrushBot-SA\r\nDisallow: \/\r\n<\/pre>\n<p>&nbsp;<br \/>\n<center>Con el m\u00e9todo de prohibir el rastreo con robots.txt, puede haber un retraso de incluso 2 semanas hasta que el bot de Semrush descubra la regla actualizada en el <em>archivo robots.txt<\/em>.<\/center><br \/>\n&nbsp;<br \/>\nO sea que no acaba de ser un buen m\u00e9todo, porque necesitas bloquear al bot y resulta que tardar\u00e1 2 semanas en darse cuenta de que est\u00e1 bloqueado.<\/p>\n<p>As\u00ed que toca utilizar un m\u00e9todo diferente.<br \/>\n&nbsp;<\/p>\n<p>&nbsp;<\/p>\n<h3 style=\"text-align: center;\"><span style=\"text-decoration: underline;\"><strong>Bloqueo del bot de Semrush por medio del archivo .htaccess<\/strong><\/span><\/h3>\n<p>&nbsp;<br \/>\nEl archivo <em>.htaccess<\/em> es muy \u00fatil, y permite incluso <a href=\"\/utilizar-htaccess-como-firewall\/\" target=\"_blank\" rel=\"noopener noreferrer\">a\u00f1adir reglas de seguridad que funcionar\u00e1n como un firewall<\/a>.<\/p>\n<p>Y en este caso lo que haremos es a\u00f1adir\u00a0las siguientes l\u00edneas en el <em>.htaccess<\/em>:<\/p>\n<pre lang=\"javascript\" line=\"1\">\r\nOptions +FollowSymlinks  \r\nRewriteEngine On  \r\nRewriteBase \/  \r\nSetEnvIfNoCase User-Agent \"^SemrushBot\" bad_user\r\nDeny from env=bad_user\r\n<\/pre>\n<p>&nbsp;<br \/>\nDe esta forma denegaremos todas las direcciones IP que utilizan &#8220;<em><strong>SemrushBot<\/strong><\/em>&#8221; en su cadena de agente de usuario.<\/p>\n<p>El s\u00edmbolo ^ delante de &#8220;<em>Semrushbot<\/em>&#8220;, es una m\u00e1scara que\u00a0significa que buscar\u00e1 los agentes de usuario que &#8220;comienzan con&#8221; en este caso la palabra &#8220;<em>Semrushbot<\/em>&#8220;.<\/p>\n<p>Si queremos bloquear &#8220;<em>Semrushbot<\/em>&#8221; en cualquier lugar de la cadena &#8220;User agent&#8221;, lo modificaremos y simplemente lo dejamos como\u00a0&#8220;<em>Semrushbot<\/em>&#8220;. (es decir, bloquear\u00e1 cualquier agente de usuario que contenga esa palabra en cualquier posici\u00f3n, y no buscar\u00e1 solamente los que empiezan por esa palabra).<br \/>\n&nbsp;<\/p>\n<p>&nbsp;<\/p>\n<h3 style=\"text-align: center;\"><span style=\"text-decoration: underline;\">\u00bfY estos bloqueos funcionan?<\/span><\/h3>\n<p>&nbsp;<br \/>\nVamos a hacer la prueba en Semrush. Vamos al men\u00fa\/ <em>Proyectos<\/em> \/ <em>Site Audit<\/em> \/ Agregamos nuestro dominio y comenzamos\u00a0la auditoria del sitio. Y entonces recibimos este mensaje:<\/p>\n<p><img decoding=\"async\" loading=\"lazy\" class=\"size-full wp-image-13226 aligncenter\" src=\"https:\/\/eltallerdelbit.com\/wp-content\/uploads\/2016\/05\/bloquear-bot-semrush.jpg\" alt=\"Bloquear bot Semrush\" width=\"735\" height=\"138\" srcset=\"https:\/\/eltallerdelbit.com\/wp-content\/uploads\/2016\/05\/bloquear-bot-semrush.jpg 735w, https:\/\/eltallerdelbit.com\/wp-content\/uploads\/2016\/05\/bloquear-bot-semrush-300x56.jpg 300w, https:\/\/eltallerdelbit.com\/wp-content\/uploads\/2016\/05\/bloquear-bot-semrush-600x113.jpg 600w, https:\/\/eltallerdelbit.com\/wp-content\/uploads\/2016\/05\/bloquear-bot-semrush-610x115.jpg 610w\" sizes=\"(max-width: 735px) 100vw, 735px\" \/><br \/>\n&nbsp;<br \/>\n<em>Sorry, auditing <em>tusitio.com<\/em> has failed<br \/>\nWe encountered an error that stopped us from crawling your website:<br \/>\n<strong>Robots.txt forbids the Semrush crawler<\/strong><\/em>.<\/p>\n<p>En este caso nos est\u00e1n diciendo que <strong>el archivo robots.txt es el que est\u00e1 bloqueando al robot de Semrush<\/strong>.<br \/>\n&nbsp;<\/p>\n<p>&nbsp;<br \/>\nY en el caso de que el bot de Semrush no fuera bloqueado con el archivo robots.txt sino por medio del .htaccess, el mensaje de error ser\u00eda el siguiente:<\/p>\n<p><img decoding=\"async\" loading=\"lazy\" class=\"size-full wp-image-13227 aligncenter\" src=\"https:\/\/eltallerdelbit.com\/wp-content\/uploads\/2016\/05\/bloquear-semrush.jpg\" alt=\"bloquear semrush\" width=\"612\" height=\"263\" srcset=\"https:\/\/eltallerdelbit.com\/wp-content\/uploads\/2016\/05\/bloquear-semrush.jpg 612w, https:\/\/eltallerdelbit.com\/wp-content\/uploads\/2016\/05\/bloquear-semrush-300x129.jpg 300w, https:\/\/eltallerdelbit.com\/wp-content\/uploads\/2016\/05\/bloquear-semrush-600x258.jpg 600w, https:\/\/eltallerdelbit.com\/wp-content\/uploads\/2016\/05\/bloquear-semrush-610x262.jpg 610w\" sizes=\"(max-width: 612px) 100vw, 612px\" \/><br \/>\n<em>We encountered an error that stopped us from crawling your website:<br \/>\nthe network connection was interrupted.<\/em><br \/>\nCrawler parameters:<br \/>\nUser-agent: Mozilla\/5.0 (compatible; SemrushBot-SA\/0.97; +http:\/\/www.semrush.com\/bot.html)<br \/>\nIP address: 46.229.173.67<\/p>\n<p>&nbsp;<br \/>\nY al descargar el log veremos un <strong>error 403 forbidden<\/strong>. Parece que el bloqueo est\u00e1 funcionando!<br \/>\n&nbsp;<\/p>\n<p>&nbsp;<\/p>\n<h3 style=\"text-align: center;\"><span style=\"text-decoration: underline;\">PERO HAY UN &#8220;<em>PERO<\/em>&#8221; &#8230; \u00bfCUAL ES?<\/span><\/h3>\n<p>&nbsp;<\/p>\n<p>Lo malo (en este caso que deseamos bloquear el bot de Semrush), es que\u00a0Semrush ofrece la <strong>posibilidad de realizar el rastreo con el bot que usa el user agent de Google<\/strong>:<br \/>\n&nbsp;<\/p>\n<pre lang=\"javascript\" line=\"1\">\r\nMozilla\/5.0 (compatible; Googlebot\/2.1; +http:\/\/www.semrush.com\/bot.html)\r\n<\/pre>\n<p>en cuyo caso la persona que usase Semrush con el user agent de Google en lugar de el de Semrush, se podr\u00eda saltar el bloqueo a la torera, a no ser que no nos importe no aparecer en Google y bloqueemos tambi\u00e9n al bot de Google &#8230; (estoy siendo ir\u00f3nico otra vez :-\/ ).<br \/>\n&nbsp;<\/p>\n<p>&nbsp;<br \/>\nAs\u00ed que mejor\u00a0<strong>prohibimos\u00a0el rastreo\u00a0del agente de <em>Semrush <\/em>con el robots.txt<\/strong> y <strong>con el .htaccess bloqueamoslas IP\u00b4s del user agent de Semrush<\/strong>, y si mientras tanto el bot accede con el user agent de Google.. pues mala suerte, pero solo podr\u00e1 hacerlo hasta que comprenda que el robots.txt le proh\u00edbe el acceso (hasta 2 semanas).<br \/>\n&nbsp;<\/p>\n\n<div style=\"font-size: 0px; height: 0px; line-height: 0px; margin: 0; padding: 0; clear: both;\"><\/div>","protected":false},"excerpt":{"rendered":"<p>Es posible que necesitemos bloquear el bot\u00a0de Semrush\u00a0para que no acceda a nuestro sitio web; &nbsp; &nbsp; Puede ser porque no queremos que nadie nos &#8230; <a title=\"C\u00f3mo Bloquear el bot de Semrush\" class=\"read-more\" href=\"https:\/\/eltallerdelbit.com\/bloquear-bot-semrush\/\" aria-label=\"Leer m\u00e1s sobre C\u00f3mo Bloquear el bot de Semrush\">Seguir leyendo<\/a><\/p>\n","protected":false},"author":1,"featured_media":13237,"comment_status":"open","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"_et_pb_use_builder":"off","_et_pb_old_content":"<p>Es posible que necesitemos bloquear el acceso del agente de Semrush \u00a0a nuestro sitio web; Puede ser porque no queremos que nadie nos esp\u00ede utilizando Semrush, porque preferimos que no haya visitas y peticiones inesperadas de bots que se dispare el consumo de\u00a0 los recursos de\u00a0nuestro servidor por exceso de visitas, o simplemente porque nos hemos enfadado con el bot y no queremos ni verlo.<\/p><p>\u00a0<\/p><h3 style=\"text-align: center;\">Sea como fuere, vamos a ver c\u00f3mo bloquear al bot de Semrush.<\/h3><p>Podemos pedirle al hosting que lo haga, pero algunos proveedores de hosting no saben lo que son las reglas de seguridad (Ironic Mode ON. Lo que\u00a0realmente\u00a0ocurre es que no aplican reglas personalizadas. Pero los buenos lo hacen. V\u00e9ase Webempresa).<\/p><p>Pues bien, si nuestro hosting no puede o no sabe aplicar reglas de seguridad y bloqueo adecuadas, y por alguna raz\u00f3n queremos bloquear al bot de Semrush, podemos recurrir 2 m\u00e9todos que realizaremos nosotros mismos:<\/p><p>\u00a0<\/p><p>Por medio del archivo robots.txt<\/p><p>Por medio del archivo .htaccess.<\/p><h3>\u00a0<\/h3><h3 style=\"text-align: center;\"><a href=\"https:\/\/es.semrush.com\/bot\/\" target=\"_blank\"><span style=\"text-decoration: underline;\">Evitar el rastreo del bot de Semrush a trav\u00e9s del archivo robots.txt<\/span><\/a><\/h3><p>Lo que haremos, es decirle al bot de Semrush, que utiliza el agente de usuario \"<em>SemrushBot<\/em>\", que no tiene permiso para rastrear nuestro sitio; lo haremos de esta forma:<\/p><p><code>User-agent: SemrushBot <\/code><\/p><p><code>Disallow: \/ <\/code><\/p><p><code>User-agent: SemrushBot-SA <\/code><\/p><p><code>Disallow: \/<br \/><\/code><br \/>Con este m\u00e9todo, puede haber un retraso de incluso 2 semanas hasta que el bot de Semrush descubra la regla actualizada en el archivo robots.txt.\u00a0<\/p><p>\u00a0<\/p><p>O sea que no acaba de ser un buen m\u00e9todo, porque necesitas bloquear al bot y resulta que tardar\u00e1 2 semanas en darse cuenta de que est\u00e1 bloqueado.<\/p><p>As\u00ed que toca utilizar un m\u00e9todo diferente.<\/p><p>\u00a0<\/p><h3 style=\"text-align: center;\"><span style=\"text-decoration: underline;\">Bloqueo del bot de Semrush por medio del archivo .htaccess.<\/span><\/h3><p>El archivo .htaccess es muy \u00fatil, y permite incluso <a href=\"\/utilizar-htaccess-como-firewall\/\" target=\"_blank\">a\u00f1adir reglas de seguridad que funcionar\u00e1n como un firewall<\/a>.<\/p><p>Y en este caso lo que haremos es a\u00f1adir\u00a0las siguientes l\u00edneas en el .htaccess:<\/p><pre><code>Options +FollowSymlinks  \r\nRewriteEngine On  \r\nRewriteBase \/  \r\nSetEnvIfNoCase User-Agent \"^SemrushBot\" bad_user\r\nDeny from env=bad_user<\/code><\/pre><p>De esta forma denegaremos todas las direcciones IP que utilizan \"<em>SemrushBot<\/em>\" en su cadena de agente de usuario.<\/p><p>El s\u00edmbolo ^ delante de \"Semrushbot\", es una m\u00e1scara que\u00a0significa que buscar\u00e1 los agentes de usuario que \"comienzan con\" en este caso la palabra \"Semrushbot\".<\/p><p>Si queremos bloquear \"Semrushbot\" en cualquier lugar de la cadena \"User agent\", lo modificaremos y simplemente lo dejamos como\u00a0\"Semrushbot\".<\/p><p>\u00a0<\/p><p>\u00a0<\/p><p>\u00bfY esto funciona?<\/p><p>Vamos a hacer la prueba en Semrush. Vamos al men\u00fa\/ Proyectos \/ Site Audit \/ Agregamos nuestro dominio y comenzamos\u00a0la auditoria del sitio. Y entonces recibimos este mensaje:<\/p><p><img class=\"size-full wp-image-13226 aligncenter\" src=\"https:\/\/eltallerdelbit.com\/wp-content\/uploads\/2016\/05\/bloquear-bot-semrush.jpg\" alt=\"Bloquear bot Semrush\" width=\"735\" height=\"138\" \/><\/p><p>Sorry, auditing <em>tusitio.com<\/em> has failed<\/p><p>We encounteres an error that stopped us from crawling your website:<\/p><p>Robots.txt forbids the Semrush crawler.<\/p><p>En este caso nos dice que el archivo robots.txt es el que est\u00e1 bloqueando al robot de Semrush.<\/p><p>\u00a0<\/p><p>Y en el caso de que el bot de Semrush no fuera bloqueado con el archivo robots.txt sino por medio del .htaccess, el mensaje de error ser\u00eda el siguiente:<\/p><p><img class=\"size-full wp-image-13227 aligncenter\" src=\"https:\/\/eltallerdelbit.com\/wp-content\/uploads\/2016\/05\/bloquear-semrush.jpg\" alt=\"bloquear semrush\" width=\"612\" height=\"263\" \/><\/p><p class=\"bold\">We encountered an error that stopped us from crawling your website:<\/p><p>the network connection was interrupted.<\/p><div class=\"sa-wizard-content-step-item-content-item-action-params js-crawlerAction style-detailed\"><span class=\"sa-wizard-content-step-item-content-item-action-span js-crawlerActionParameters\">Crawler parameters <\/span><div class=\"sa-wizard-content-step-item-content-item-action-params-list\"><p>User-agent: Mozilla\/5.0 (compatible; SemrushBot-SA\/0.97; +http:\/\/www.semrush.com\/bot.html)<\/p><p>IP address: 46.229.173.67<\/p><\/div><p>Y al descargar el log veremos un error 403 forbidden. Parece que el bloqueo est\u00e1 funcionando!<\/p><\/div><p>\u00a0<\/p><p>Lo malo (en este caso que deseamos bloquear el bot de Semrush), es que\u00a0Semrush ofrece la posibilidad de realizar el rastreo con el bot con el user agent de Google:\u00a0<\/p><p>Mozilla\/5.0 (compatible; Googlebot\/2.1; +http:\/\/www.semrush.com\/bot.html)<\/p><p>en cuyo caso se podr\u00eda saltar el bloqueo a la torera (a no ser que no nos importe no aparecer en Google y bloqueemos al bot de Google...una locura vamos)<\/p><p>As\u00ed que mejor lo bloqueamos con el robots.txt y con el .htaccess, y si mientras tanto el bot accede con el user agent de Google.. pues mala suerte, pero solo podr\u00e1 hacerlo hasta que comprenda que el robots.txt le proh\u00edbe el acceso (hasta 2 semanas).<\/p><p>\u00a0<\/p>","_et_gb_content_width":"","om_disable_all_campaigns":false,"_monsterinsights_skip_tracking":false,"_monsterinsights_sitenote_active":false,"_monsterinsights_sitenote_note":"","_monsterinsights_sitenote_category":0,"_uf_show_specific_survey":0,"_uf_disable_surveys":false},"categories":[1271],"tags":[982,1093],"aioseo_notices":[],"_links":{"self":[{"href":"https:\/\/eltallerdelbit.com\/wp-json\/wp\/v2\/posts\/13209"}],"collection":[{"href":"https:\/\/eltallerdelbit.com\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/eltallerdelbit.com\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/eltallerdelbit.com\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/eltallerdelbit.com\/wp-json\/wp\/v2\/comments?post=13209"}],"version-history":[{"count":0,"href":"https:\/\/eltallerdelbit.com\/wp-json\/wp\/v2\/posts\/13209\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/eltallerdelbit.com\/wp-json\/wp\/v2\/media\/13237"}],"wp:attachment":[{"href":"https:\/\/eltallerdelbit.com\/wp-json\/wp\/v2\/media?parent=13209"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/eltallerdelbit.com\/wp-json\/wp\/v2\/categories?post=13209"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/eltallerdelbit.com\/wp-json\/wp\/v2\/tags?post=13209"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}