Forum Linux.général Empecher l'asspiration de site

Posté par zorooo le 31 mars 2009 à 13:06.

Étiquettes : aucune

mar.

2009

bonjour a tous,

Je rencontre depuis quelques temps un probleme d'aspiration de site ce qui fait monter l'uptime du serveur jusqu'a 10, les surfs "intelligent" sont bloqué et ça m'ennuie fortement :(

une idée magique pour resoudre ce probleme ?

merci d'avance.

# Aspiration

Posté par peck (site web personnel) le 31 mars 2009 à 13:26. Évalué à 3.

Bonjour,

A propos d'uptime ne parlerais-tu pas plutôt de load ?

Si oui, j'imagine que ce qui t'ennuie ce sont les moteurs de recherche qui téléchargent un peu trop vite chez toi.

Pour parer cela tu peux les ralentir en installant mod_slotlimit si tu es sur apache.
- [^] # Re: Aspiration
  
  Posté par zorooo le 08 avril 2009 à 12:44. Évalué à 1.
  
  tu lutilise toi ?
  - [^] # Re: Aspiration
    
    Posté par peck (site web personnel) le 08 avril 2009 à 13:44. Évalué à 2.
    
    Non mais je devrais peut-être.
# useragent

Posté par Lol Zimmerli (site web personnel, Mastodon) le 31 mars 2009 à 13:30. Évalué à 2.

Tu peux faire des actions par rapport au useragent. Si c'est des moteurs de recherche qui te scannent, tu peux aussi jouer avec le fichier robots.txt
La gelée de coings est une chose à ne pas avaler de travers.
- [^] # Re: useragent
  
  Posté par zorooo le 31 mars 2009 à 13:43. Évalué à 1.
  
  dans mes log ça ressemble a ça :
  
  83.137.240.216 - - [31/Mar/2009:10:41:51 +0200] "GET /themes/blueSilence/../default/js/post.js HTTP/1.1" 200 1133 83.137.240.216 - - [31/Mar/2009:10:41:51 +0200] "GET /themes/blueSilence/../default/js/jquery.cookie.js HTTP/1.1" 200 955 83.137.240.216 - - [31/Mar/2009:10:41:51 +0200] "GET /slinux/slinux.png HTTP/1.1" 200 16847 83.137.240.216 - - [31/Mar/2009:10:41:51 +0200] "GET /themes/blueSilence/../default/js/jquery.js HTTP/1.1" 200 55870 83.137.240.216 - - [31/Mar/2009:10:41:51 +0200] "GET /index.php?pf=tagflash/swfobject.js HTTP/1.1" 200 6088 83.137.240.216 - - [31/Mar/2009:10:41:50 +0200] "GET /index.php?post/2009/03/24/Envoyer-un-mail-sans-serveur-smtp HTTP/1.1" 200 18853 83.137.240.216 - - [31/Mar/2009:10:41:51 +0200] "GET /themes/blueSilence/style.css HTTP/1.1" 200 14502 83.137.240.216 - - [31/Mar/2009:10:41:51 +0200] "GET /index.php?archive HTTP/1.1" 200 14401 83.137.240.216 - - [31/Mar/2009:10:41:51 +0200] "GET /index.php?post/2008/05/18/Firefox-3 HTTP/1.1" 200 15848 83.137.240.216 - - [31/Mar/2009:10:41:53 +0200] "GET /index.php?archive/2008/05 HTTP/1.1" 200 13517 83.137.240.216 - - [31/Mar/2009:10:41:54 +0200] "GET /themes/default/print.css HTTP/1.1" 200 993 83.137.240.216 - - [31/Mar/2009:10:41:53 +0200] "GET /index.php?archive/2008/09 HTTP/1.1" 200 15497 83.137.240.216 - - [31/Mar/2009:10:41:54 +0200] "GET /themes/default/js/jquery.js HTTP/1.1" 200 55870 83.137.240.216 - - [31/Mar/2009:10:41:51 +0200] "GET /index.php?feed/atom HTTP/1.1" 200 28826 83.137.240.216 - - [31/Mar/2009:10:41:55 +0200] "GET /themes/default/js/jquery.cookie.js HTTP/1.1" 200 955 83.137.240.216 - - [31/Mar/2009:10:41:55 +0200] "GET /themes/default/smilies/laugh.png HTTP/1.1" 200 590 83.137.240.216 - - [31/Mar/2009:10:41:54 +0200] "GET /index.php?post/2008/07/15/Envoi-de-mail-en-ligne-de-commande HTTP/1.1" 200 17143 83.137.240.216 - - [31/Mar/2009:10:41:55 +0200] "GET /themes/default/js/post.js HTTP/1.1" 200 1133 83.137.240.216 - - [31/Mar/2009:10:41:55 +0200] "GET /themes/blueSilence/img/background.png HTTP/1.1" 200 588 83.137.240.216 - - [31/Mar/2009:10:41:55 +0200] "GET /themes/blueSilence/img/top.jpg HTTP/1.1" 200 11038 83.137.240.216 - - [31/Mar/2009:10:41:55 +0200] "GET /public/images/usvn.png HTTP/1.1" 200 13722 83.137.240.216 - - [31/Mar/2009:10:41:51 +0200] "GET /index.php? HTTP/1.1" 200 58157 83.137.240.216 - - [31/Mar/2009:10:41:56 +0200] "GET /index.php?pf=tagflash/swfobject.js HTTP/1.1" 304 - 83.137.240.216 - - [31/Mar/2009:10:41:54 +0200] "GET /index.php?post/2008/09/19/http%3A//rat-moslabrutecom HTTP/1.1" 200 15954 83.137.240.216 - - [31/Mar/2009:10:41:54 +0200] "GET /index.php?post/2008/09/11/Google-Chrome-interdit HTTP/1.1" 200 15727 83.137.240.216 - - [31/Mar/2009:10:41:57 +0200] "GET /index.php?pf=tagflash/tagcloud.swf HTTP/1.1" 200 20708 83.137.240.216 - - [31/Mar/2009:10:41:54 +0200] "GET /index.php?post/2008/09/15/Le-fichier-robotstxt HTTP/1.1" 200 17184 83.137.240.216 - - [31/Mar/2009:10:41:53 +0200] "GET /index.php?archive/2009/02 HTTP/1.1" 200 29837 83.137.240.216 - - [31/Mar/2009:10:41:55 +0200] "GET /index.php?post/2008/07/16/Quel-port-est-utilise-par-quel-service HTTP/1.1" 200 16514 83.137.240.216 - - [31/Mar/2009:10:42:00 +0200] "GET /themes/blueSilence/img/sidebar_li.png HTTP/1.1" 200 115 83.137.240.216 - - [31/Mar/2009:10:41:57 +0200] "GET /index.php?post/2009/02/19/gg HTTP/1.1" 200 20071 83.137.240.216 - - [31/Mar/2009:10:42:00 +0200] "GET /public/images/flyspray.png HTTP/1.1" 200 31321 83.137.240.216 - - [31/Mar/2009:10:41:57 +0200] "GET /index.php?post/2009/02/02/Comment-repeter-une-commande-X-fois HTTP/1.1" 200 19281 83.137.240.216 - - [31/Mar/2009:10:41:57 +0200] "GET /index.php?post/2009/01/15/Serveur-de-Backup-MX-sous-Postfix HTTP/1.1" 200 20378 83.137.240.216 - - [31/Mar/2009:10:42:00 +0200] "GET /themes/blueSilence/img/footer.png HTTP/1.1" 200 827 83.137.240.216 - - [31/Mar/2009:10:42:00 +0200] "GET /public/images/dd.png HTTP/1.1" 200 27043 83.137.240.216 - - [31/Mar/2009:10:41:57 +0200] "GET /index.php?post/2009/02/25/Sauvegarde-avec-la-commande-dd HTTP/1.1" 200 21993 83.137.240.216 - - [31/Mar/2009:10:41:53 +0200] "GET /index.php?archive/2009/03 HTTP/1.1" 200 32030 83.137.240.216 - - [31/Mar/2009:10:42:00 +0200] "GET /index.php?category/Espace-d HTTP/1.1" 404 11857 83.137.240.216 - - [31/Mar/2009:10:41:53 +0200] "GET /index.php?archive/2008/08 HTTP/1.1" 200 16165 83.137.240.216 - - [31/Mar/2009:10:42:00 +0200] "GET /index.php?post/2008/09/11/Cacher-un-fichier HTTP/1.1" 200 23545 83.137.240.216 - - [31/Mar/2009:10:41:53 +0200] "GET /index.php?archive/2008/11 HTTP/1.1" 200 14544 83.137.240.216 - - [31/Mar/2009:10:42:02 +0200] "GET /index.php?post/2008/08/08/La-commande-wall HTTP/1.1" 200 16369 83.137.240.216 - - [31/Mar/2009:10:41:53 +0200] "GET /index.php?archive/2009/01 HTTP/1.1" 200 47307 83.137.240.216 - - [31/Mar/2009:10:41:53 +0200] "GET /index.php?archive/2008/12 HTTP/1.1" 200 30579 83.137.240.216 - - [31/Mar/2009:10:41:53 +0200] "GET /index.php?archive/2008/10 HTTP/1.1" 200 13197 83.137.240.216 - - [31/Mar/2009:10:41:53 +0200] "GET /index.php?archive/2008/07 HTTP/1.1" 200 16060 83.137.240.216 - - [31/Mar/2009:10:42:03 +0200] "GET /index.php?post/2008/11/18/Interface-php-pour-Bind9 HTTP/1.1" 200 16682 83.137.240.216 - - [31/Mar/2009:10:42:03 +0200] "GET /index.php?post/2008/11/27/Un-shell-sur-ESX-vmware-35 HTTP/1.1" 200 16815 83.137.240.216 - - [31/Mar/2009:10:42:06 +0200] "GET /index.php?post/2008/07/24/Copier-un-site-internet-avec-wget HTTP/1.1" 200 16259 83.137.240.216 - - [31/Mar/2009:10:42:06 +0200] "GET /index.php?post/2008/07/18/La-commande-date HTTP/1.1" 200 16590 83.137.240.216 - - [31/Mar/2009:10:42:06 +0200] "GET /index.php?post/2009/01/06/Interuption-de-service-%3A-mes-excuses HTTP/1.1" 200 22089 83.137.240.216 - - [31/Mar/2009:10:42:00 +0200] "GET /index.php?post/2008/09/10/DOS-avec-hping HTTP/1.1" 200 18488 83.137.240.216 - - [31/Mar/2009:10:42:09 +0200] "GET /public/images/apachetop.png HTTP/1.1" 200 18044 83.137.240.216 - - [31/Mar/2009:10:42:01 +0200] "GET /index.php?post/2009/03/05/Surveiller-son-serveur-Web-avec-apachetop HTTP/1.1" 200 18080 83.137.240.216 - - [31/Mar/2009:10:42:09 +0200] "GET /public/images/toile-libre.png HTTP/1.1" 200 25361 83.137.240.216 - - [31/Mar/2009:10:42:01 +0200] "GET /index.php?post/2009/03/02/L-association-toile-libre.org HTTP/1.1" 200 19568 83.137.240.216 - - [31/Mar/2009:10:42:01 +0200] "GET /index.php?post/2009/03/06/Sondange-de-la-semaine%3A-Quel-UNIX-pour-vos-serveurs HTTP/1.1" 200 19345 83.137.240.216 - - [31/Mar/2009:10:42:10 +0200] "GET /public/images/eskuel.png HTTP/1.1" 200 21052 83.137.240.216 - - [31/Mar/2009:10:42:10 +0200] "GET /public/images/.eskuel_screenshot_m.jpg HTTP/1.1" 200 25230 83.137.240.216 - - [31/Mar/2009:10:42:01 +0200] "GET /index.php?post/2009/03/01/Installation-et-configuration-de-Eskuel HTTP/1.1" 200 17440 83.137.240.216 - - [31/Mar/2009:10:42:10 +0200] "GET /index.php?post/2009/04/15/Certificats-ssl-pour-du-https-vite-fait-mal-fait-%3Ap HTTP/1.1" 200 20640 83.137.240.216 - - [31/Mar/2009:10:42:12 +0200] "GET /public/images/.stats-bind9_s.jpg HTTP/1.1" 200 7770 83.137.240.216 - - [31/Mar/2009:10:42:12 +0200] "GET /public/images/bind-stats.png HTTP/1.1" 200 24161 83.137.240.216 - - [31/Mar/2009:10:42:01 +0200] "GET /index.php?post/2009/03/12/Nouvelle-option-dans-bind9-%21 HTTP/1.1" 200 19378 83.137.240.216 - - [31/Mar/2009:10:42:02 +0200] "GET /index.php?category/Espace-d HTTP/1.1" 404 11857 83.137.240.216 - - [31/Mar/2009:10:42:06 +0200] "GET /index.php?post/2008/06/17/Administration-Ldap HTTP/1.1" 200 20989 83.137.240.216 - - [31/Mar/2009:10:42:12 +0200] "GET /index.php?post/2009/02/14/Creer-ajouter-du-Swap HTTP/1.1" 200 17289 83.137.240.216 - - [31/Mar/2009:10:42:14 +0200] "GET /themes/default/smilies/wink.png HTTP/1.1" 304 - 83.137.240.216 - - [31/Mar/2009:10:42:12 +0200] "GET /index.php?post/2009/04/18/Configuration-R%C3%A9seau-Debian-et-Ubuntu HTTP/1.1" 200 19709 83.137.240.216 - - [31/Mar/2009:10:42:12 +0200] "GET /index.php?post/2009/02/09/Installation-et-Configuration-de-Cacti HTTP/1.1" 200 21444 83.137.240.216 - - [31/Mar/2009:10:42:15 +0200] "GET /themes/default/smilies/sad.png HTTP/1.1" 304 - 83.137.240.216 - - [31/Mar/2009:10:42:10 +0200] "GET /index.php?post/2009/03/30/Nous-recherchons-des-blogeurs-pour-ce-site-%21-%21-%21 HTTP/1.1" 200 18449 83.137.240.216 - - [31/Mar/2009:10:42:06 +0200] "GET /index.php?post/2009/01/26/Faille-DNS-ISPRIME-serveur-bind-recursif HTTP/1.1" 200 20806 83.137.240.216 - - [31/Mar/2009:10:42:14 +0200] "GET /index.php?post/2009/02/21/SQLiteManager-interface-php-web-pour-sqlite HTTP/1.1" 200 21368 83.137.240.216 - - [31/Mar/2009:10:42:14 +0200] "GET /index.php?post/2009/01/25/Installation-et-Configuration-de-snmp HTTP/1.1" 200 22566 83.137.240.216 - - [31/Mar/2009:10:42:15 +0200] "GET /index.php?post/2009/03/13/Sondange-de-la-semaine%3A-Qui-est-le-meilleur-HTTPd HTTP/1.1" 200 19184 83.137.240.216 - - [31/Mar/2009:10:42:16 +0200] "GET /index.php?post/2009/03/17/Connaitre-et-am%C3%A9liorer-son-PageRank HTTP/1.1" 200 19893 83.137.240.216 - - [31/Mar/2009:10:42:19 +0200] "GET /themes/blueSilence/img/tag.png HTTP/1.1" 200 308 83.137.240.216 - - [31/Mar/2009:10:42:12 +0200] "GET /index.php?post/2009/03/01/Script-de-backup-par-ftp-pour-mysql HTTP/1.1" 200 22789 83.137.240.216 - - [31/Mar/2009:10:42:15 +0200] "GET /index.php?post/2009/04/25/Installation-et-configuration-d-hddtemp HTTP/1.1" 200 17847 83.137.240.216 - - [31/Mar/2009:10:42:18 +0200] "GET /index.php?rsd HTTP/1.1" 200 290 83.137.240.216 - - [31/Mar/2009:10:42:18 +0200] "GET /index.php?post/2009/03/10/Gentoo-Linux%3A-Avoir-un-shell-de-secours-depuis-l-initramfs. HTTP/1.1" 200 2 0753 83.137.240.216 - - [31/Mar/2009:10:42:18 +0200] "GET /index.php?xbel HTTP/1.1" 200 3507
  - [^] # Re: useragent
    
    Posté par NeoX le 31 mars 2009 à 13:46. Évalué à 4.
    
    J:~$ dig -x 83.137.240.216 ; <<>> DiG 9.5.1-P2 <<>> -x 83.137.240.216 ;; global options: printcmd ;; Got answer: ;; ->>HEADER<<- opcode: QUERY, status: NOERROR, id: 14263 ;; flags: qr rd ra; QUERY: 1, ANSWER: 1, AUTHORITY: 2, ADDITIONAL: 1 ;; QUESTION SECTION: ;216.240.137.83.in-addr.arpa. IN PTR ;; ANSWER SECTION: 216.240.137.83.in-addr.arpa. 7200 IN PTR dmzprox4nc.dr.gdf.fr.
    
    ca ressemble à un proxy, qui appartiendrait à GDF...
  - [^] # Re: useragent
    
    Posté par Lol Zimmerli (site web personnel, Mastodon) le 31 mars 2009 à 14:43. Évalué à 2.
    
    SI l'IP est vraiment toujours la même, tu peux commencer par faire de l'URL rewriting. Si c'est cette IP, tu rediriges ailleurs, mettons sur http://www.google.fr/
    
    Ça te permettra d'avoir moins de pression pour penser à une solution définitive.
    La gelée de coings est une chose à ne pas avaler de travers.
    - [^] # Re: useragent
      
      Posté par zorooo le 31 mars 2009 à 15:28. Évalué à 1.
      
      c'est jamais les meme ip
      
      j'ai un mod evasive , fail2ban , quelques regles iptables specifique au port 80
      j'ai affiné les options apache avec les directives keepalive et autres
      mais rien n'y fait, les aspirations de site sont pas toutes bloqué et le load du serveur monte en folie quand meme 2 ou 3 fois par jour
      - [^] # Commentaire supprimé
        
        Posté par Anonyme le 31 mars 2009 à 18:29. Évalué à 2.
        
        Ce commentaire a été supprimé par l’équipe de modération.
        
        [^] # Re: useragent
        
        Posté par Lol Zimmerli (site web personnel, Mastodon) le 02 avril 2009 à 01:16. Évalué à 1.
        
        Il a dit qu'il avait essayé fail2ban déjà.
        La gelée de coings est une chose à ne pas avaler de travers.
        
        [^] # Commentaire supprimé
        
        Posté par Anonyme le 02 avril 2009 à 11:02. Évalué à 2.
        
        Ce commentaire a été supprimé par l’équipe de modération.
# :(

Posté par zorooo le 31 mars 2009 à 13:50. Évalué à 2.

oui ca doit etre ca et hier cetait une adresse xerox.com
pourquoi il pompe les sites en entier ? ca leur sert a quoi ?
comment les bloquer ?
- [^] # Re: :(
  
  Posté par pasBill pasGates le 31 mars 2009 à 14:06. Évalué à 5.
  
  http://bwmod.sourceforge.net/
  - [^] # Re: :(
    
    Posté par zorooo le 31 mars 2009 à 14:21. Évalué à 3.
    
    un petit retour d'experience ?
    
    il peut fonctionner avec mod_evasive ou pas ?
    - [^] # Re: :(
      
      Posté par pasBill pasGates le 31 mars 2009 à 17:56. Évalué à 2.
      
      Je l'ai jamais essaye, donc peux pas trop t'en dire la dessus, je sais qu'il existe et qu'il est utilise pour des problemes similaires au tiens, c'est tout.
# :)

Posté par zorooo le 31 mars 2009 à 17:15. Évalué à 1.

j'en suis meme arrivé a faire ceci :

un script avec :

crontab /1 * * * *

#!/bin/sh

#LOAD=`uptime | awk '{print $8}' | awk -F. '{print $1}'`
LOAD=`uptime | awk '{print $10}' | cut -d"," -f1`

if [ ${LOAD/.*} -ge 3 ]; then
echo "system en charge !"
mail -s "Serveur en surcharge" admin@mondolmaine.com < /data/scripts/mail-uptime.txt
sleep 2
service httpd restart
else
echo "system ok"
fi

mais c'est **** !
et comme le load descend pas d'un coup il le redemarre plusieurs fois :(
- [^] # Re: :)
  
  Posté par wismerhill le 01 avril 2009 à 22:14. Évalué à 2.
  
  Déjà, va plutôt lire directement le fichier /proc/loadavg, ça t'économisera les commandes uptime et awk.
  Exemple:
  cut -d ' ' -f 1 /proc/loadavg
  
  Ensuite, vu le $10 dans ton awk tu prend le troisième chiffre du load average, c'est à dire celui qui est moyenné sur 15 minutes, normal qu'il baisse lentement. Le premier est moyenné sur une minute et baissera beaucoup plus vite.
  
  Mais de toute façon, comme tu dis à demi-mots, c'est très crade à la base.
# iptables hashlimit

Posté par neologix le 31 mars 2009 à 20:40. Évalué à 1.

# iptables -A INPUT --protocol tcp --destination-port 80 -m hashlimit --hashlimit-above 100 --hashlimit-mode srcip --hashlimit-name toto --jump DROP

Limiter par IP source la connexion à 100 paquets/s sur le port 80.
- [^] # Re: iptables hashlimit
  
  Posté par zorooo le 01 avril 2009 à 12:14. Évalué à 1.
  
  question farfelu et peut etre con :)
  
  un get http fait combien de paquets ? 1 ?
  - [^] # Re: iptables hashlimit
    
    Posté par neologix le 01 avril 2009 à 21:19. Évalué à 1.
    
    A priori je dirais oui :-)
    Maintenant, j'ai donné cette valeur au hasard, à toi de faire des tests pour trouver la valeur optimale.

Suivre le flux des commentaires

Note : les commentaires appartiennent à celles et ceux qui les ont postés. Nous n’en sommes pas responsables.