Our blog



Robots.txt ¿Por qué Google no puede acceder a mis archivos javascript y CSS?

on in Uncategorized
  • Font size: Larger Smaller
  • 2 Comments
  • Report this post

Quizás hayas recibido un correo de Google Search Console (anteriormente conocido como Webmaster Tools) durante estos días con el mensaje “El robot de Google no puede acceder a los archivos CSS y JS de http://tupagina.es". No hay que alarmarse, es de hecho el resultado de una buena noticia: desde octubre del 2014 Google es ya capaz de interpretar los elementos javascript y CSS de tu página.

Ahora Google tiene una imagen mucho más precisa de la estructura de tu página web y es capaz de indexar el contenido aunque esté tras un menú hecho en javascript. Esto es parte del plan de Google de premiar la experiencia de usuario. La solución a este mensaje es muy sencilla.

error de indexado javascript y CSS robots.txt

Atención: ¡Aunque no hayas recibido el correo, lo más probable es que tu sitio esté bloqueando estos archivos!

Casi todas las páginas web creadas antes de octubre del 2014 tienen bloqueado el acceso a dichos archivos en el archivo que se encarga de decirle a Google tus preferencias de indexado: Robots.txt. Como decimos, aunque no hayas recibido el correo, tendrás que revisar este archivo para eliminar las siguientes líneas:

Para un sitio Joomla:

Disallow: /images/
Disallow: /media/
Disallow: /templates/

Siguiendo los consejos de Carlos Cámara en Lo que no hiciste (y debiste hacer) al pasar a joomla 3.4

Para un sitio Wordpress:

Disallow: /wp-includes/
Disallow: /wp-content/plugins/

Para Drupal

El archivo debe quedar como recomiendan en la página oficial drupal.org:

# Small robots.txt
# More information about this file can be found at
# <a href="http://www.robotstxt.org/">http://www.robotstxt.org/</a>
# In case your drupal site is in a subdirectory of your web root  (e.g. /drupal)
# add the name of this directory before the / (slash) below
# example:  Disallow: /drupal/aggregator
# to stop a polite robot indexing an example dir
# add a line like:  user-agent: polite-bot
# and:  Disallow: /example-dir/

# Paths (clean URLs)
User-agent: *
Crawl-Delay: 10
Disallow: /aggregator
Disallow: /tracker
Disallow: /comment/reply
Disallow: /node/add
Disallow: /search/
Disallow: /book/print
Disallow: /logout
Disallow: /user/register
Disallow: /user/password
Disallow: /user/login

# Paths (no clean URLs)
User-agent: *
Crawl-Delay: 10
Disallow: /?q=aggregator
Disallow: /?q=tracker
Disallow: /?q=comment/reply
Disallow: /?q=node/add
Disallow: /?q=user/register
Disallow: /?q=user/password
Disallow: /?q=user/login
Disallow: /?q=search/
Disallow: /?q=book/print

Tanto para los anteriores como para todos los sitios web en general

Siguiendo las directrices técnicas para webmasters de Google, recomendamos pasar el probador de robots.txt de Google Search Console.

  • En el caso de los tres CMS (gestores de contenido) mencionados debería bastar con dichas instrucciones, pero es posible que algún distribuidor de extensiones o plugins no haya seguido las recomendaciones de desarrollo y aún haya partes de nuestro sitio bloqueadas. La herramienta os los señalará.

  • Si vuestro sitio tiene una estructura de directorios distinta, quizás no sepáis dónde se encuentran los archivos Javascript y CSS que Google necesita. La herramienta os los señalará.

En caso de que el probador de robots.txt siga señalándoos problemas con algún directorio o archivo concreto, sólamente tendréis que añadir una línea nueva del estilo:

Allow: /directorio/subdirectorio/

Si tan solo es un archivo en un subdirectorio:

Allow: /directorio/subdirectorio/archivo.js
Allow: /directorio/subdirectorio/archivo.css

Es importante hacer esta modificación. El mundillo del SEO se despertó esta semana con una modificación del algoritmo Panda, conocido por ser el encargado de analizar la calidad de nuestro contenido y la experiencia de usuario. Muestra el interés del gigante de la industria de internet por analizar las páginas tal y como lo haría un ser humano. Realizar con éxito estas sencillas operaciones deberían darnos un empujoncito en el posicionamiento de nuestras páginas ya que permitimos a Google que renderice nuestras páginas de forma completa.

Para quienes dominéis la lengua de Shakespeare (contemporánea) y gusten de profundizar en el conocimiento técnico del SEO, recomendamos leer estas pruebas que han realizado en Search Engine Land.




Last modified on

Comments

  • Guest
    Ivan Thursday, 30 July 2015

    Gracias por la información

  • Guest
    Andrés Thursday, 06 August 2015

    No hay de qué, Iván, cuéntanos si has tenido que hacerlo y te ha funcionado.

Leave your comment

Guest
Guest Saturday, 25 February 2017

Archives

Categories

We use cookies so that you can place orders and we can provide a better service. You can control the use of cookies at the individual browser level.