114 | Cómo tener un correcto archivo Robots.txt en WordPress

En el episodio 114 de WordPress Semanal te explico qué es el archivo robots. Txt, te enseño a crearlo y te doy ejemplos de cómo puedes configurarlo en WordPress. Vamos allá. Hola, hola, soy Gonzalo, de GonzaloNavarro ES y bienvenidos a WordPress Semanal, el podcast en el que aprendes WordPress de principio a fin. Porque ya lo sabes, no hay mayor satisfacción ni mejor inversión que la de crear y gestionar tu propia página web con WordPress. Y hoy vamos a ver un aspecto relativamente importante que puede llegar a ser bastante confuso, pero que creo que voy a despejar muchísimas dudas sobre un archivo del que hay mucha información. Hay muchos tutoriales por ahí, lo que pasa es que si el tutorial que estás viendo no está actualizado, puede llevarte a error y hacer las cosas mal. Así que te voy a decir qué es lo que hay ahora mismo importante en cuanto al archivo ROBOTS. Txt, que es de lo que vamos a hablar en en este episodio, y cómo puedes tú saber qué es lo que tienes que hacer en cada momento sin tener que depender del tutorial de cualquier persona, sin tener que depender de mí, de este episodio o de lo que sea, sino que siempre sepas qué es lo que tienes que hacer en cada momento o qué es lo que Google y otros motores de búsqueda están haciendo para que tú, acorde a eso, tengas un correcto archivo ROBOTS. Txt. De momento, si no entiendes mucho de lo que estoy hablando, no pasa nada, porque te voy a explicar desde el principio qué es, cómo crearlo, que tienes que tener en cuenta y todo lo demás, ¿Vale? De eso vamos a hablar en este episodio. Pero antes, como siempre, vamos a ver qué está pasando en Gonzalo Navarro. Es esta semana, pues como no, un nuevo vídeo de la Zona Código en el que te enseño a crear listas numeradas personalizadas. Si os acordáis, o si no os lo digo, en el anterior vídeo de la Zona Código vimos cómo personalizar las listas desordenadas. Es decir, cuando tú creas una lista de forma normal, la típica con puntitos, con bullet points que se dice en inglés, pues te enseñé a alterar el color, incluso alterar el símbolo que sale el puntito, podías, te enseñé a poner distintos símbolos y a cambiarles el color, cosa que por CSS no se puede hacer de forma normal, sino que hay que hacer una especie de truquito que no es más que eliminarlas y volverlas a crear tú mismo, ¿Vale? Pero es muy sencillo como os lo explico en el vídeo 64 y esta semana en el vídeo 65 os enseño a hacer lo mismo pero con números, las listas numeradas. Ya sabéis que la zona código es parte del área para suscriptores y tenéis disponible este nuevo vídeo para verlos todos. Ya sabéis, Gonzalo Navarro es Códigos. Ahí podéis, si no estáis suscrito aún, podéis ver un resumen de cada uno, podéis ver un poquito de qué va el tema antes de suscribiros, ¿Vale? Para que sepáis de qué va. Y bueno, por supuesto tenéis 15 días de prueba siempre porque no me cansaré de decirlo, lo que quiero es que probéis el área para suscriptores que os convence, seguís y si no, me contactáis y no hay problema, ¿Vale? Bien, una vez vistas las novedades, vamos con el plugin de la semana que se llama Instagram Feed y te permite, pues como te imaginarás, mostrar las fotos de Instagram en tu web de forma actualizada. Es decir, que si vas subiendo fotos nuevas a tu cuenta de Instagram, se van actualizando en la web y este plugin te permite no solo mostrar fotos de tu cuenta, sino también de otras cuentas o incluso de varias cuentas a la vez. Imagina que, pues no sé, tienes una web en la que hablas de zapatillas de deportes chulas y quieres que en el Instagram, pues a lo mejor lo tienes en la sidebar, en el footer o donde quieras. Quieres que en tu web se vaya mostrando, pues por ejemplo, las novedades de Nike, las de Adidas, las de Rebook y lo que sea. Pues puedes hacerlo, puedes hacer que se muestren las últimas fotos de distintas cuentas de Instagram o si no de la tuya o de alguien a quien sigas, de lo que sea. El plugin viene con bastantes opciones de personalización para que lo muestres, pues si solo quieres mostrar las cuatro últimas o si los quieres mostrar en cuatro columnas o las quieres mostrar, no lo sé, depende, porque si a lo mejor las quieres mostrar en el footer, pues quieres que se muestren muy poquitas, pero si le dedicas una página entera a mostrar un feed de Instagram, pues a lo mejor la quieres poner en cuatro columnas y que se muestren un montón de fotos. También tienes opciones de si quieres que se muestre el botón de que te sigan en Instagram, los colores, el color de fondo, no sé qué. Hay un montón de opciones de personalización y funciona muy bien. El plugin es el que es el que uso siempre que tengo que poner un feed de Instagram en alguna web que hago para clientes, siempre uso este plugin. Y luego esta es la versión gratuita, por supuesto tiene una versión avanzada que te permite hacer bastantes más cosas, algunos detalles, por ejemplo, si quieres que aparezca algo cuando haces hover, cuando pasas el ratón por encima y quieres que se vea algo concreto en la imagen, pues esto estaría por ejemplo, la versión Pro y algunas otras cosas. Lo puedes ver en el enlace que te dejo en la parte del plugin de la semana, ¿Vale? Recuerda, este es el episodio 114. Y ahora ya si nos metemos de lleno con el tema central del programa y vamos a ver el archivo ROBOTS. TXT en detalle. Vamos a ver qué es, si es importante para el SEO, cómo puedes crear el tuyo y qué tienes que tener en cuenta, que tienes que poner ahí en ese archivo. También te voy a hablar de cosas que la gente recomienda pero que ya no son prácticas actuales, que esto era antes. Te voy a decir cómo puedes comprobar si tu robot XT está correcto y además te voy a dar ejemplos de referentes de gente que se dedica a esto del SEO y que los tienen actualizados o más o menos, porque vamos a ver que algunos que son bastante referentes tienen alguna cosilla que tampoco está muy actualizada, ¿Vale? Bien, pues vamos allá. En primer lugar, ¿Qué es el archivo ROBOTS? ¿TXT? Bueno, es básicamente un archivo que da indicaciones a los motores de búsqueda, como por ejemplo Google, de qué tiene que rastrear en tu web y cómo tiene que hacerlo. Y luego, en el caso de WordPress, podríamos hablar de dos tipos de archivos ROBOTS. Txt. Uno que es virtual, es decir, que no lo encuentras físicamente en ningún lugar, si tú accedes a los archivos de tu web, no está ahí, pero sí que tienes un archivo ROBOTS. TXT o sí que se aplican las funcionalidades que tendría este archivo, ¿Vale? Esto es cuando tú no lo creas. Cuando tú no creas este archivo, WordPress te lo crea por defecto. Cuando tú instalas WordPress ya tienes un archivo ROBOTS. TXT, aunque es virtual, no lo ves entre los archivos de tu web, si accedes por FTP no va a estar ahí. Este sería un tipo el que se genera cuando tú no haces nada, o físico, que ya es si tú lo creas o utilizas algún plugin como por ejemplo Yoast, que esto lo vemos en el curso de Yoast para crearlo. Y en el caso de que estemos hablando del físico, que es lo normal, lo normal es que tú lo crees para que puedas modificarlo a tu gusto, pues se va a encontrar en la raíz de tu instalación de WordPress, es decir, cuando accedes a los archivos de tu web, ya sea por FTP, ya sea por el cpanel de tu hosting, pues entre todo eso que te va a aparecer ahí va a estar el archivo ROBOT. Txt y si no está, pues lo metes tú, ¿Vale? Que vamos a hablar de ello más adelante. Y luego si quieres comprobar si lo tienes o cómo lo tienes, simplemente tienes que teclear en el navegador tu web com ROBOTS. Txt y ahí vas a ver si lo tienes, que te aparecerá un pequeño texto y en el caso de tenerlo, pues vas a ver cómo lo tienes. Si te aparece en blanco es que no tienes nada. Entonces vamos a quitarnos de medio una de las preguntas que seguramente sea la que más te importe, si el archivo ROBOTS. Txt es importante para el SEO. Sí, a ver, es importante, pero sobre todo es importante si haces las cosas mal, porque te puede perjudicar. Por eso es tan importante estar al día en las mejores prácticas o dejarte guiar por la gente que entiende de esto y que vive de esto y que en el día a día está con esto. Porque si tú tienes que estar pendiente de cada cambio con esto, con la que ya tendrás que si tu trabajo, que si no sé qué, que si no sé cuánto, pues imagínate si tienes que estar pendiente de cada pequeño detalle. Así que también en este episodio quiero guiarte un poco sobre qué hacer para no tener que estar todo el día pendiente de por ejemplo, este detalle de qué pasa si Google ahora dice que en vez de X hace Y tengo que cambiar mi ROBOTS. ¿Txt? Bueno, vamos a verlo. Pero primero, ¿Cómo creas este archivo? Pues bueno, nosotros siempre hablamos de WordPress y como te he dicho antes, WordPress ya te crea un archivo ROBOTS. Txt o digamos te crea las directrices que tú pondrías en ese archivo porque es virtual, como te digo, no lo tenemos físicamente, pero también puedes crearlo tú mismo y cuando tú lo creas lo que pasa es que el virtual se invalida ya. El que vale es el que tú creas y puedes crearlo físicamente, como ya digo, te coges el notepad o el programa de texto básico que te viene con Mac y con eso mismo lo puedes crear. No necesitas un editor de texto profesional de estos para editar con código ni nada porque es muy sencillito. Simplemente no vayas a usar Word porque entonces te puede poner caracteres que no necesites, pero un notepad, una cosa de estas, el textedit de Mac, con eso lo puedes crear de forma sencilla o puedes usar el plugin de Yoast, que lo vemos, no recuerdo si exactamente clase 8, la clase 9, pero te dejo el enlace. Pues yo tiene unas. Entre las herramientas, en el menú de herramientas tiene una opción para crearlo y tú le das y te lo crea automático, siguiendo lo que Yoast considera las mejores prácticas y no tienes ni que hacer nada, ya te lo crea directamente. Después, si quieres editarlo tú para poner alguna cosa especial, puedes hacerlo directamente también en Yoast o puedes irte al archivo que Yoast ya te ha creado en tu instalación de WordPress, abrirlo y editarlo ahí. Ahora, ¿Qué meto dentro? ¿Qué pongo ahí en ese archivo que algunos dicen que es tan importante, otros dicen que no lo es tanto, algunos dicen que hay que? Bueno, hay que poner ahí mil reglas, mil cosas para que sea bueno para el SEO, para que todo vaya genial. Pues bueno, vamos a ver qué es lo que tenemos que poner. A mí, como te digo, lo que me gusta es guiarme por los expertos en esto, los que viven de esto, los que saben, los que están en el día a día de Google y demás. Por ejemplo, uno de los referentes sería Yoast, porque es una empresa que se dedica al SEO y además en WordPress, pues si ves el suyo, que te dejo por aquí el enlace, pero vamos, si no vas a Robots TXT y ves el suyo, está prácticamente vacío igual que el mío, porque yo me guío, como te digo, me guío por Yoast, pero hay que tener en cuenta que cada uno puede tener peculiaridades, es decir, no puedes coger e irte alguien por ahí, copiarlo y ya está. Puedes, pero cuidado porque si ves que hay muchas cosas que son raras, que tú no sabes que son, pues a lo mejor a ti no te aplican. Por ejemplo, el de Jost lo que hace es bloquear una página de su web donde tiene una herramienta, no sé si lo conoces, pero Yoast tiene una herramienta que te da sugerencias para conseguir long tail keywords, eso son palabras clave largas ¿Vale? Por ejemplo pues tú pones un par de keywords, por ejemplo pones zapatos, comprar y jaws lo que hace es que te genera palabras largas que la gente busca en Google, por ejemplo dónde comprar zapatos baratos. Eso sería una long tail keyword, una palabra clave larga, es una herramienta que tienen que te sugiere eso. Entonces ellos se han dado cuenta que si Google intenta rastrear los resultados que te da esa herramienta, pues hace un lío que no veas y lo que han hecho es bloquearlo y ya lo que hacen es que Google no rastree los resultados que da esta herramienta. Entonces eso es un caso muy concreto de ellos. Tú esto en tu web no lo tienes, así que no tienes por qué ponerlo, ¿Vale? De todas formas si lo pones da igual porque como tú no lo tendrás en tu web tampoco estarías bloqueando nada raro en tu web. Entonces como te digo, yo por ejemplo lo tengo en blanco, yo no bloqueo nada y permito pues que todos los motores de búsqueda puedan rastrear mi web. Puedes verlo, puedes ver mi ROBOTS txt gonzalonabar es ROBOTS txt y como ves pues no bloqueo nada y te explico por qué, porque me olvido como recomienda Jost y yo sigo sus recomendaciones de las antiguas prácticas, porque antiguamente Google y otros motores de búsqueda no rastreaban como ahora, ahora son mucho más potentes, tienen mucha más inteligencia artificial por supuesto y rastrean de otra forma, rastrean mejor, con lo cual no tienes que hacer cosas que se consideraban mejores prácticas, como por ejemplo bloquear la carpeta WP includes o la carpeta WP content plugins. ¿Por qué? Pues bueno, esto sencillamente porque ya lo hace WordPress, de hecho el propio Yoast abrió un ticket en WordPress para que corresponde. Entonces lo que hace es que WordPress ya por sí bloquea esto, bloquea la carpeta WP include, entonces tú no tienes que bloquearla en tu archivo robots txt, no es necesario porque ya lo hace WordPress por ti. Y luego WordPress había una cosa que se puso bastante de moda que era dar acceso o permitir que Google pudiese rastrear un archivo que se llama admin ajax php, pues esto también lo corrigió WordPress, así que tampoco hay que hacerlo. Esta es una cosa que se recomendaba bastante, tampoco tienes que hacerla. Otra cosa que tampoco es necesario que hagas es bloquear el archivo WP Content Plugins. ¿Por qué? Porque Google lanzó un mensaje en el que decía que no se debería ni bloquear ni los archivos JavaScript ni los archivos CSS, y como los plugins tienen estos archivos pues no debes bloquear esta carpeta para que Google pueda acceder a ellas. Y tampoco es necesario, algo que es también muy común y que te lo vas a encontrar por ahí bastante, bloquear la carpeta wp admin porque si lo haces estarás dando pista a los hackers y si no haces nada, porque WordPress ya hace lo suyo también gracias a Jaws porque fue el que lo recomendó, WordPress ya hace lo suyo para que Google no lo rastree, con lo cual no es necesario que hagas nada. Y si lo haces además es peor porque das pistas a los hackers que utilizan un comando para poder encontrar esta carpeta. Entonces estas son las razones por las que no debes seguir lo que antes se recomendaban como mejores prácticas y que aún se siguen recomendando en algunos tutoriales, más que nada porque seguramente estén desactualizados. Y otra cosa bastante común es poner un enlace al sitemap, al mapa del sitio. Esto no es necesario que lo hagas porque sería un poquito redundante con que configures tu mapa del sitio utilizando por ejemplo el plugin de Yoast y compruebes por Google Search Console que lo tienes de forma normal y que te lo rastrea bien, lo tienes indexado, no necesitas especificarlo en el robots txt. Y hay otra cosa que también se hace que es bloquear URLs que no reciben tráfico. Por ejemplo, hay una cosa que se hace bastante en SEO, que es que cuando tú te das cuenta que por ejemplo tienes dos artículos en el blog que están destinados a posicionar para la misma palabra clave, lo que se suele hacer es que se dice a los motores de búsqueda como Google que no sigan la que no está bien posicionada para que la fuerza de los enlaces para esa palabra clave se concentren en el post que sí está posicionando bien. Entonces hay algunas personas que lo que hacen es que para indicarle a Google y a otros motores de búsqueda que no tienen que seguir el post que no está bien posicionado, lo hacen en el robots txt. ¿Pues bueno, esto no es la mejor práctica, La mejor práctica es hacerle un nofollow y un noindex, que lo puedes hacer de forma sencilla utilizando el plugin de Yoast, simplemente accediendo al post en cuestión a través de WordPress, yéndote a la parte del gestor de Yoast, yéndote avanzado y decirle pues noindex y nofollow, vale? Y ya está, y así lo haces de la forma correcta y no haciéndolo en el robots txt que no es necesario y no es lo correcto porque eso te lo bloquea, mientras que lo que tienes que hacer es no indexar lo que eso se hace con noindex. Esto todo lo vemos en el curso de Yoast, si estás suscrito puedes verlo sin problema y si no pues búscalo en Google porque es una de las cosas más comunes que se puede hacer con Yoast y vas a encontrar muchísima información. Bien, todo esto es lo que no es necesario que hagas y también es el porqué de que yo lo tenga por ejemplo tan sencillo que no tenga prácticamente nada, de que algunas personas lo tengan digamos prácticamente en blanco, que Jaws lo tenga prácticamente en blanco también. Y entonces una vez lo tienes tú como tú quieres, seguramente pues si lo quieres tener como el mío no vas a poner prácticamente nada, o si lo tienes un poquito diferente, pues te recomiendo que te vayas a Google Search Console y que utilices el probador de robots txt, que para eso está, para probar si lo tienes bien o no, simplemente vas a Google Search Console, vas al menú de rastreo y dentro de rasteo tienes la opción del probador de robots txt, ahí te va a salir como una especie de campo en el que sale tu web, sale tu web com y ahí tienes escribir robots txt y darle a probar y ahí Google te va a decir si tienes errores, si lo tienes bien, si lo tienes mal, si tienes errores, te va a decir qué errores y cómo tienes que corregirlos. Y ya una vez que lo tengas bien lo que tienes que hacer es darle a enviar, que tienes un botón ahí que te sale grande que pone enviar y esto va a hacer que se te abra como un diálogo que te va a poner tres pasos, pues tienes que darle al paso 3 que es enviar y esto lo que va a hacer es que se indexe la versión nueva que tú hayas subido del Robots TXT que hayas subido digamos manualmente por FTP o que hayas creado con Yoast, con la herramienta de Yoast que también podías crearla. Esto es simplemente para que Google vuelva a reindexarlo por si has hecho algún cambio, si lo tenías, si no has cambiado nada, no tienes ni que enviarlo porque ya lo tienes como lo tienes que tener. Y luego te quiero dejar algunos ejemplos de webs para que veas cómo tienen ellos el Robots txt, pues de gente que se dedica al SEO y demás, por supuesto te dejo el de Yoast, ellos siempre yo, si te quieres guiar por alguno, guíate por ellos teniendo en cuenta que cada caso es concreto. Por ejemplo, ya te he explicado que ellos bloquean una cosa que tú es que en tu web no vas a tener siquiera, así que no tienes por qué bloquearla, pero guíate por ellos porque están al día, incluso gracias a ellos hacen cambios en WordPress para que se haga todo correctamente. Entonces el de ellos os dejo el enlace. Os dejo también el de Romuald Fons, que es un SEO español muy conocido y él por ejemplo tiene una cosa que antes era necesariamente, pero que desde que yo habló con WordPress para que hiciesen ciertos cambios ya no es necesario. Por ejemplo él tiene un allow y un disallow, allá es permitir y disallow es no permitir. Pues él por ejemplo bloquea el acceso al WP Admin, que ya no, eso no hay que hacerlo porque ya lo hace WordPress y además da acceso a lo que te comentaba yo antes del admin Ajax, PHP, que ya tampoco hay que hacerlo porque ya esto lo corrigió WordPress y ya tiene acceso Google a esto y no tienes por qué hacerlo tú directamente. Pero vamos, por lo demás no tiene nada más, simplemente da acceso a todo y ya está, lo tiene bastante sencillo. Luego te dejo también el de Neil Patel, que es un marketero americano bastante famoso, bueno, es de la India, pero se hizo famoso en Estados Unidos, que él tiene una cosita peculiar, por ejemplo, que hace dos disallows. Disallows es como te digo, no permitir y seguramente él tenga algún problema con los comentarios, porque las dos cosas que bloquea tienen que ver con los comentarios, ¿Vale? Esto es para que veas un caso específico de él que seguramente tenga problemas por ahí. Entonces tiene que bloquear eso. Por lo demás lo tiene todo abierto y permite todo. Si, en general, bueno, podéis, como sabéis ya como buscarlo simplemente después de la URL de cualquier web ponéis robots txt y así podéis ver ese archivo de cualquier persona que os interese. Seguramente casi todos los encontraréis desactualizados porque hay que estar muy encima, muy al día para ir teniéndolo siempre actualizado, ¿Vale? Así que seguramente haya gente que se dedica al SEO que son muy potentes que a lo mejor no lo tienen todavía actualizado. Así que si queréis un referente que siempre lo va a tener al día, iros al The Jost, teniendo en cuenta que cada uno, cada web puede tener cositas específicas. Sí, pues nada, ya hemos visto este archivo que es muy poderoso, que tiene que usarse con cuidado, sobre todo no poner cosas con las que la puedes liar, así que lo más seguro es tenerlo pues lo más en blanco posible. Si tienes dudas no hagas nada, mejor incluso utiliza la herramienta de Jaws para generarlo y que Jaws te lo va a generar digamos con las mejores prácticas. Luego a lo mejor sí podrías hacer alguna cosita que lo mejore bloqueando algo o permitiendo algo, pero bueno, por lo general lo que te genera Yoast te va a ir bien. Sí, también que tengas en cuenta lo que ya he comentado de que con los años Google ha cambiado la forma en la que rastrea las webs, así que las antiguas mejores prácticas ya no van a ser válidas. Guíate por alguien que viva del SEO como por ejemplo Yoast y así vas a estar siempre al tanto sin ningún problema. Y recuerda, para seguir aprendiendo a gestionar tu negocio o proyecto con WordPress, puedes probar el área para suscriptores durante 15 días y sin compromiso alguno entras, le echas un vistazo por ejemplo al curso de SEO, a los cursos que quieras, Hay más de 25 cursos ya. También puedes ver la zona código donde te enseño a personalizar tu web sin usar plugins, simplemente copias y pegas el código que yo te pongo. Ya vas a tener lo que yo te esté explicando funcionando en tu web. Por supuesto me puedes contactar por soporte para que compruebes de primera mano qué tal es el soporte que te doy y si estás contento después de los 15 días pues no haces nada y si no me contactas, oye Gonzalo, que no quiero seguir, te devuelvo los 10 euros y sin problema. Vale, pues nada más por hoy. Ya sabes que si te ha gustado el episodio de hoy y quieres aportar tu granito de arena. Siempre valoro muchísimo y te lo agradezco un montón las valoraciones en iTunes, como siempre digo, es lo que me permite estar ahí, lo que me permite aparecer, llegar a más gente. Así que si aún no lo has hecho y quieres pues eso, aportar tu reino de arena es muy rápido, vas a tu aplicación de podcast, buscas WordPress semanal y me dejas la reseña que consideres. Y si no estás en iTunes, pues muchas gracias por lo que sea que hagas, por los me gustas, por los comentarios, por lo que sea. Nada más, nos seguimos escuchando. Adiós.