nightcart4

Todos aman los «hacks».

No soy la excepción––Me encanta encontrar formas de hacer mi vida mejor y más fácil.

Es por esto que la técnica que te contaré el día de hoy es una de mis preferidas. Es un hack de posicionamiento web que puedes comenzar a usar de manera inmediata.

Es una forma de incrementar tu posicionamiento web al aprovechar una parte natural de cada sitio web que muy raramente se mienta. Tampoco es difícil incorporarla.

Es el archivo robots.txt (también llamado protocolo o estándar para la exclusión de los robots).

Este pequeño archivo de texto es parte de cada sitio en la red de redes, mas la mayoría de las personas no lo conocen.

Está diseñado para marchar con los motores de búsqueda, pero sorprendentemente, es una fuente poder posicionamiento web que está esperando a ser descubierta.

He visto a muchos clientes hacer de todo para mejorar el posicionamiento web de su sitio. Cuando les digo que pueden editar un pequeño fichero de texto, casi no me creen.

Sin embargo, hay muchos métodos para mejorar tu posicionamiento web en buscadores que no son difíciles ni te quitan mucho tiempo, y éste es uno de ellos.

No precisas tener ninguna experiencia técnica para aprovechar el poder de los robots.txt. Si puedes localizar el código fuente para tu sitio web, puedes utilizar esto.

Cuando estés listo, sígueme y te explicaré la forma en la que puedes cambiar tu fichero de robots.txt para que a los motores de búsqueda les guste.

Descubre cómo aproveché el posicionamiento web en buscadores para.

Por qué el archivo robots.txt es importante

Primero, echemos un vistazo al porqué es esencial el archivo robots.txt.

El fichero robots.txt, también conocido como el protocolo o estándar de exclusión de robots, es un fichero de texto que les afirma a los robots web (motores de búsqueda) qué páginas de tu lugar deben rastrear.

También les afirma a los robots web qué páginas
no debenrastrear.

Supongamos que un motor de búsqueda está a puntito de visitar un sitio web. Antes de que visite la página objetivo, comprobará el archivo de robots.txt para percibir instrucciones.

Existen distintos tipos de ficheros robots.txt, así que echemos un vistazo a los diferentes géneros de apariencia que tienen.

Digamos que el motor de búsqueda encuentra:

Esta es la columna vertebral del fichero robots.txt.

El asterisco después de «user-agent» significa que el archivo robots.txt está abierto a todos los robots que visiten el sitio web.

La diagonal después de «Disallow» le afirma al robot que no visite ninguna página en el sitio.

Quizá te estés preguntando por qué alguien querría eludir que los robots web visitaran su sitio web.

Después de todo, uno de los principales objetivos del posicionamiento web en buscadores es lograr que los motores de búsqueda rastreen tu sitio web de una forma más sencilla para incrementar tus rankings.

Aquí es donde se halla el secreto de este hack de posicionamiento web en buscadores.

Probablemente tengas muchas páginas en tu sitio, ¿verdad? Incluso si consideras que no es así, revísalo. Quizá te sorprendas.

Si un motor de búsqueda rastrea tu sitio, éste rastreará cada una de tus páginas.

Y si tienes muchas páginas, le llevará pero tiempo rastrearlas al bot del motor de búsquedas, lo que tendrá efectos negativos en tu ranking.

Esto se debe a que el Googlebot (el bot del motor de búsqueda de Google) tiene un «presupuesto de rastreo.»

Esto se divide en dos partes. El primero es una tasa límite de rastreo.:

La segunda parte es una demanda de rastreo:

Básicamente, el presupuesto de rastreo es «el número de URLs que el Googlebot puede y desea rastrear».

Necesitas ayudar al Googlebot a invertir su presupuesto de rastreo para tu sitio de la mejor forma posible. En otras palabras, debería emplear el tiempo en rastrear tus páginas más valiosas.

Existen determinados factores que, de acuerdo con Google, «afectarán de manera negativa el rastreo y la indexación de un sitio web.»

Estos son esos factores:

Volvamos al archivo robots.txt.

Si creas la página adecuada de robots.txt, puedes decirle a los bots de los motores de búsqueda (y singularmente al Googlebot) que eviten ciertas páginas.

Piensa en lo que esto implica. Si le dices a los bots de los motores de búsqueda que solamente rastreen tu contenido más útil, los bots rastrearán e indexarán tu lugar con el foco en ese contenido solamente.

:

«No quieres que tu servidor se sienta apabullado por el rastreador de Google o desaprovechar presupuesto de rastreo al rastrear páginas no esenciales en tu sitio.»

Al emplear tu robots.txt de la forma correcta, puedes decirle a los bots de los motores de búsqueda que inviertan su presupuesto de rastreo inteligentemente. Y eso es lo que hace que el archivo robots.txt sea tan útil en un contexto de posicionamiento SEO.

¿Te sientes intrigado por el poder de los robots.txt?

¡Pues deberías! Charlemos sobre cómo localizarlo y utilizarlo.

Encuentra tu fichero robots.txt

Si sólo quieres echar un rápido vistazo a tu archivo robots.txt, existe una manera súper fácil.

De hecho,
este método funcionará con cualquier sitio.Por lo que puedes echar un vistazo a los archivos de otros sitios y ver lo que están haciendo.

Lo único que debes hacer es teclear la URL básica del sitio web en la barra de búsquedas de tu navegador (ejemplo: neilpatel.com, quicksprout.com, etc). Y después añadir /robots.txt al final.

Te encontrarás con una de estas 3 situaciones:

1) Encontrarás un fichero robots.txt.

2) Encontrarás un archivo vacío.

Por ejemplo, parece queno tiene un fichero robots.txt:

3) Obtendrás un fallo 404.

muestra un error cuatrocientos cuatro con ficheros robots.txt:

Echa un segundo vistazo a tu propio fichero de robots.txt.

Si hallas un archivo vacío o un error 404, necesitarás solucionarlo.

Si hallas un archivo válido, seguramente tiene la configuración predeterminada que fue creada cuando hiciste tu sitio web.

Me gusta este método singularmente para ver los ficheros robots.txt de otros sitios. Una vez que aprendas cómo marchan los ficheros robots.txt, este método puede ser un valioso ejercicio.

Ahora veamos cómo mudar tu archivo robots.txt.

Encuentra tu fichero robots.txt

Tus siguientes pasos van a depender de si tienes un fichero robots.txt. (Revisa si lo tienes al emplear el método que describí anteriormente).

Si no tienes un fichero robots.txt, necesitarás crear uno desde cero. Abre un editor de texto como el Bloc de Notas (en Windows) o TextEdit (Mac).

Solamente usa un
editor de texto planopara esto. Si usas programas como Microsoft Word, el programa podría insertar código auxiliar al texto.

Editpad.org es una genial opción gratuita, y es lo que me verás usando en este artículo.

Volvamos a los robots.txt. Si tienes un archivo robots.txt, necesitarás ubicarlo en el directorio root de tu sitio.

Si no estás habituado a adentrarte en el código fuente, podría ser un poco difícil situar la versión editable de tu archivo robots.txt.

Normalmente, puedes encontrar tu directorio root al ir al sitio de tu distribuidor de hosting, entrar, y también ir a la sección de administración de archivos o FTP de tu sitio.

Deberías ver algo así:

Encuentra tu archivo robots.txt y ábrelo para editarlo. Borra todo el texto, pero mantén el archivo.

Nota: Si estás usando WordPress, quizá veas un fichero robots.txt cuando vayas a tusitio.com/robots.txt, mas no podrás encontrarlo en tus ficheros.

Esto es debido a quesi no hay robots.txt en el directorio root.

Si esto te sucede, necesitarás crear un nuevo archivo robots.txt.

Crea un fichero robots.txt

Puedes crear un nuevo fichero robots.txt al emplear el editor de texto plano que escojas. (Recuerda, utiliza solamente un editor de texto plano).

Si ya tienes un fichero robots.txt, asegúrate de que has borrado el texto (mas no el archivo).

Primero, necesitarás familiarizarte con algo de la sintaxis usada en un fichero robots.txt.

de algunos de los elementos básicos de robots.txt:

Te voy a enseñar cómo configurar un fichero robots.txt sencillo, y después echaremos una ojeada a cómo personalizarlo para tu SEO.

Comienza fijando el término usuario-agent. Vamos a configurarlo de manera que esté abierto a todos y cada uno de los robots web.

Puedes conseguir esto al utilizar un asterisco después del término usuario-agent, así:

Después, teclea «Disallow:» mas no teclees nada después de eso.

Debido a que no hay nada después de disallow, los robots web se dirigirán a rastrear todo tu sitio web. En este momento, todos los elementos de tu sitio web serán frágiles.

Hasta este instante, tu archivo robots.txt debería verse así:

Sé que se ve súper sencillo, mas estas dos líneas están haciendo mucho por tu sitio web.

También puedes crear un link a, mas no es preciso. Si deseas, esto es lo que puedes escribir:

Aunque no lo creas, así debería verse un fichero robots.txt básico.

Ahora llevemos esto al siguiente nivel y transformemos este pequeño fichero en un potenciador posicionamiento web.

Optimiza los robots.txt para SEO

El cómo optimices tus robots.txt depende del contenido que tengas en tu sitio. Existen 3 géneros de maneras en las que puedes emplear los robots.txt a tu favor.

Voy a ver contigo ciertas formas más comunes de utilizarlo.

(Ten presente que

nodeberías utilizar robots.txt para bloquear páginas de los motores de búsqueda.Eso sería un gran no-no).

Uno de los mejores usos del fichero robots.txt es maximizar los presupuestos de rastreo de los motores de búsqueda al decirles que no rastreen las unas partes de tu sitio que no se muestran públicamente.

Por ejemplo, si visitas el fichero robots.txt de este lugar (neilpatel.com), verás que tiene bloqueada la página de login (wp-admin).

Debido a que esta página se emplea para entrar a la parte privada del sitio, no tendría mucho sentido para los bots de los motores de búsqueda desaprovechar su tiempo rastreándola.

(Si tienes WordPress, puedes utilizar la misma línea disallow).

Puedes utilizar una indicación afín (o bien comando) para eludir que los bots rastreen páginas específicas. Después del disallow, introduce la parte de la URL que viene después del .com. Coloca eso entre las 2 diagonales.

Si quieres decirle a un bot que no rastree tu página, puedes diseño páginas web profesionales madrid esto:

Quizá te estés preguntando qué géneros de páginas deberías excluir de indexación. Aquí hay dos escenarios comunes en donde esto puede suceder:

Contenido intencionalmente duplicado. Aunque el contenido copiado es en gran parte algo malo, hay unos cuantos casos en los que es preciso y admisible.

Por ejemplo, si tienes una versión imprimible de tu página, técnicamente tienes contenido copiado. En este caso, podrías decirle a los bots que no rastreen una de esas versiones (por norma general, la versión imprimible).

Esto es muy útil si estás haciendo split testing con páginas que tienen el mismo contenido pero diseños diferentes.

Páginas de gracias.La página de GRACIAS es una de las páginas favoritas de los marketers pues significa un nuevo lead.

¿Verdad?

Al parecer,
algunas páginas de gracias son accesibles a través de Google.Esto significa quesin pasar por el proceso de captura de leads, y esto no es bueno.

Al bloquear tus páginas de
gracias, puedes cerciorarte de que únicamente los leads cualificados estén viéndolas.

Pongamos que tu página de gracias se halla en. En tu fichero robots.txt, bloquear esa página se vería así:

Debido a que no hay reglas universales para saber qué páginas desautorizar, tu archivo robots.txt será único en tu sitio web. Usa tu propio criterio aquí.

Existen otros 2 géneros de comandos que deberías conocer:
noindex y nofollow.

¿Sabes qué comando disallow hemos estado usando? En realidad no evita que esa página sea indexada.

En teoría, podrías desacreditar una página, pero aun así, podría finalizar en el índice.

Generalmente, no te resulta interesante eso.

Es por eso que necesitas el comando noindex, que marcha con el comando disallow para asegurar que no los bots no visiten o bien indexen ciertas páginas.

Si tienes algunas páginas que no quieres que se indexen (como las páginas de gracias), puedes utilizar los dos comandos, disallow y noindex:

Ahora sí, esa página no se mostrará en las Search Engines Ranking Positions.

Finalmente, tenemos el comando nofollow. En verdad, es la mismo que el. En resumen, le afirma a los robots web que no rastreen los enlaces en una página.

Pero el comando nofollow vamos a incorporarlo de una forma un tanto diferente, porque realmente no forma parte del archivo robots.txt.

Sin embargo, el comando nofollow prosigue dando indicaciones a los robots web, con lo que es exactamente el mismo término. La única diferencia se encuentra en dónde se implementa.

Encuentra el código fuente de la página que quieras mudar, y
asegúrate de que esté entre las etiquetas <head>.

Después, queja esta línea:

<meta name=»robots» content=»nofollow»>

De manera que se vea así:

Asegúrate de no estar poniendo esto entre alguna otra etiqueta––sólo las etiquetas <head>.

Esta es otra genial opción para tus páginas de
gracias, debido a que los robots web no rastrearán links a ningún imán de leads o bien otro contenido exclusivo.

Si quieres agregar los dos comandos: noindex y nofollow, usa esta línea de código:

<meta name=»robots» content=»noindex,nofollow»>

Esto le dará a los robots web ambos comandos al tiempo.

Haz pruebas con todo

Finalmente, haz pruebas con tu archivo robots.txt para estar seguro de que todo es válido y funciona de la forma adecuada.

Google pone a tu disposición un ecosistema de pruebas para robots.txt como una parte de sus herramientas para Administradores web.

Primero, entra enal hacer clic en «Acceder» en el rincón superior derecha de tu pantalla.

Selecciona tu propiedad (ejemplo: sitio web) y haz clic en «Rastrear» al lado izquierdo de tu pantalla.

Verás el
testerde « coste informe seo .» Haz clic ahí.

Si ya hay algún código en esa sección, bórralo y reemplázalo con tu nuevo archivo robots.txt.

Haz clic en «Probar» en la esquina inferior derecha de la pantalla.

Si el texto de «Probar» cambia a «Permitido,» eso quiere decir que tu archivo robots.txt es válido.

sobre la herramienta a fin de que puedas aprender qué significa todo con más detalle.

Finalmente, sube tu fichero robots.txt a tu directorio root (o guárdalo ahí si ya tenías uno). Ahora tendrás como arma un poderoso archivo, y deberías ver un aumento en tu visibilidad de búsqueda.

Conclusión

Siempre me gusta compartir pequeños «hacks» de SEO que te pueden dar una ventaja real de muchas maneras.

Al configurar tu fichero robots.txt adecuadamente, no sólo estás mejorando tu posicionamiento en buscadores. También estás ayudando a tus usuarios.

Si los bots de los motores de búsqueda pueden utilizar sus presupuestos de rastreo inteligentemente, organizarán y mostrarán tu contenido en las Search Engines Ranking Positions de una mejor manera, lo que significa que tendrás mayor visibilidad.

Tampoco lleva mucho esfuerzo para configurar tu fichero robots.txt. Podríamos decir que es una configuración que se hace una sola vez, y puedes hacer tantos pequeños cambios como precises por el camino.

Ya sea con tu primer sitio o con el quinto, utilizar robots.txt puede suponer una diferencia significativa. Te invito a darle una vuelta si no lo has hecho antes.

¿Cuál es tu experiencia al crear archivos robots.txt?