Donde guardo mis ideas

Carlos Coronado Maleno

Uno de los problemas que me he encontrado estos días es que al analizar el tráfico de una web que administro, me he fijado que tengo un consumo de tráfico muy elevado:

y el problema lo tenía con el Tráfico no visto, que se me disparaba.

Con el Awstats intenté ver por donde se iba todo ese tráfico pero no había mas información que esta.

 

Y claro, el «robot» al no identificarse, no era capaz de identificar su procedencia. Pero me acordé del archivo access_log de apache y busqué un comando en linux para sacar repeticiones y encontré este:

# tail -10000 access.log | awk ‘{print $1}’ | sort | uniq -c |sort -n

Esto nos saca en orden ascendente las direcciones IP de las que hemos tenido más visitas.

 

Una vez con esto, identifiqué las ip que más peticiones abrían en el servidor:

37.140.141.18 / 37.140.141.20 / 95.211.238.105 y 66.249.73.127

Me puse a buscar a quien pertenecían las direcciones y encontré que

37.140.141.18 => Spider images Yandex

37.140.141.20 =>Spider images Yandex

95.211.238.105 => Spider Twenga

66.249.73.127 => Googlebot

Así averigué que la araña de Yandex (Buscador ruso) me saturaba la web a peticiones, por lo que decidí bloquearlo, vasta poner en el .htaccess:

deny from 37.140.141.18

deny from 37.140.141.20

Y listo, ya ha vuelto mi web a tráficos normales.

 

Espero que esta experiencia le sirva a alguien.

Desarrollador de aplicaciones.
Consultor tecnológico.

Facebook Twitter LinkedIn Skype  



Política de privacidad

Utilizamos "cookies" propias y de terceros para elaborar información estadística y mostrarle publicidad personalizada a través del análisis de su navegación. Si continúa navegando acepta su uso. Puede leer la política de cookies aquí.

Hemos detectado que estás usando un bloqueador de publicidad. Por favor, considera desactivarlo en esta web. Aunque no es mucho, la publicidad nos ayuda a paliar los gastos de mantener esta web activa. Muchas gracias

No cedemos los datos a terceros, solo lo usamos para enviarte notificaciones cuando publicamos algo nuevo.
No enviamos publicidad.