El archivo robots.txt es un archivo que leen los rastreadores, como Google, Bing o Yahoo. Los usamos para indicarles que archivos, o páginas debería o no leer en nuestra página web.
Esto es útil para evitar una sobrecarga de tu servidor, a la hora de que pase el rastreador. Y para optimizar tu presupuesto de rastreo.
Contenidos
¿Para qué sirve el archivo robots.txt?
El archivo robots.txt, principalmente sirve para controlar el tráfico de los rastreadores. Y para diversas funciones más. A nosotros para el SEO, nos interesa para varias cosas, pero quizá la más importante es indicarle cual es el sitemap.xml que tenemos en nuestra web.
- En el robots.txt indicaremos que páginas HTML que no debería rastrear Google, o archivos que puede leer como los PDF
- No debe usarse para intentar ocultar páginas a Google, ya que: dicho por Google, pueden acabar indexándose de cualquier manear. Para esto, deberemos usar la etiqueta HTML: noidex
- Si tu página está bloqueada por el robots.txt, puedes seguir apareciendo, pero se verá de esto modo más o menos:
En cuanto a los archivos multimedia, con el robots.txt podemos gestionar el tráfico de los rastreadores y evitar que video, audio o imágenes salgan en los resultados de búsquedas. Usar estas opciones no siempre favorecen al SEO.
También se pueden bloquear archivos de recursos, pero podrían llegar a dificultar la tarea de Google para el rastreo. Mi opinión es que es mejor casi siempre, sobretodo si se desconoce, no bloquear nada que pueda perjudicarnos.
¿Por qué Google puede llegar a indexar algo que esté bloqueado?
La respuesta es sencilla, aunque Google no indexe algo que tu le «prohibas» en tu robots.txt, no es garantía alguna. Pongamos un ejemplo, si tu bloqueas en el robots.txt la siguiente url : tudominio.com/no-te-indexes-porfavor. Google pasará de largo, no la indexará, no la rastreará ( o eso dicen en cuanto al rastreo 🤭 ). Pero si yo en mi página web por ej. miotrapaginaweb.com, creo un enlace que apunte hacia tu URL: tudominio.com/no-te-indexes-porfavor. Pues Google al pasar por mi web, leerá tu enlace, y lo indexará en Google en las SERPS.
¿Dónde se encuentra el archivo robots .txt?
El archivo se encuentra en la raíz de nuestro sitio, dicho de otro modo, donde tenemos alojados nuestros archivos de nuestra web
Tendremos que dirigirnos a nuestro directorio del hosting donde tengamos alojado toda nuestra web. En los Cpanel, por ejemplo se llama public_HTML.
Como crear un archivo.txt en mi página web
El archivo.txt es muy sencillo de crear, puede tener configuraciones complejas y largas, pero hacer lo básico es sencillo.
Y ahí pegar el archivo que crearemos. El archivo lo podemos crear en cualquier editor de texto que tengamos, un bloc de notas, textEdit, Sublime text, Visual Studio Code. El único requisito es guardarlo con el nombre literalmente «robots.txt«, sí, robots en mayúscula.
Este de la imagen de abajo, es uno creado en WordPress, por eso tiene la peculiaridad de que hace el disallow a /wp-admin/.
Y con esto tendríamos listo nuestro robots.txt, un modo de saber si lo hemos hecho bien, es introducir en nuestro navegador nuestrodominio.com/robots.txt, si se nos abre nuestro archivo creado en nuestro editor de texto, habremos realizado bien la tarea.
El añadir el sitemap., favorecerá a que los rastreadores como Google, encuentren y categoricen bien nuestra estructura de páginas creada. Dando así un aporte de ayuda extra a los rastreadores.
SEO en Tenerife
Estas y otras técnicas son importantes para mejorar el SEO, nosotros somos expertos en SEO y Diseño Web, si deseas mejorar el SEO de tu negocio, o si sientes que haces mucho trabajo que no da fruto. no dudes en contactar con nosotros. Te ayudaremos a crear una estrategia que de resultados y a optimizar los recursos de los que ya dispones. Envíanos un correo explicándonos tu caso a teideseo@teideseo.com
0 comentarios