Forum général.cherche-logiciel Analyseur de log SQUID en temps réel

• # cron et fichiers ouverts

  Posté par NeoX le 15 janvier 2010 à 16:46. Évalué à 2.

  

  regarde la config de squint, si ca se trouve c'est un simple cron qui va traiter les fichiers que logrotate aura mis de coté (donc fichiers fermés et dispo en fin de journée)
  
  mais si ca se trouve, tu peux jouer avec le cron pour le faire faire du "quasi" temps reel
  genre tourner toutes les X minutes
  
  seulement pour ne pas retraiter tout ce qui a été traiter precedemment, il faut surement faire tourner les logs aussi toutes les X minutes
  
  sinon, analyser les logs d'un proxy en temps réel ? c'est pour faire quoi ?
  pcq perso j'analyse si j'ai un souci, je met un sniffeur (tcpdump)...

  • [^] # Re: cron et fichiers ouverts

    Posté par tpiresgo le 15 janvier 2010 à 16:59. Évalué à 1.

    

    Pour la config de squint, la version basique est de travailler sur le fichier de log que tu lui demandes d'analyser (dans le lancement manuel)
    
    Il est cependant possible de créer des analyses mensuelles, hebdo et journalières en utilisant des crontab.
    
    Plus qu'une analyse journalière, j'aimerais travailler sur des versions plutôt horaires car le traitement de l'analyse journalière dure quelque chose comme 3h !!! La volumétrie que j'ai à traiter est très importante.
    
    Pour ce qui est de l'analyse en temps réel, c'est uniquement pour pouvoir parer les abus sur l'utilisation d'Internet : utilisation trop importante de bande passante, sites à surveiller car trop proxyvores, profils utilisateurs à moduler ...
    
    
    Le pourquoi de ce post était plutôt de savoir si un soft "tout fait" pouvait gérer de façon transparente les analyses à la volée. Mais plus je fouille et plus je suis convaincu qu'il faut que je développe autour de squint.

    • [^] # Re: cron et fichiers ouverts

      Posté par NeoX le 15 janvier 2010 à 20:30. Évalué à 2.

      

      ben prend le squint par defaut (1 analyse par jour)
      
      modifie logrotate pour faire la rotation toutes les 15 minutes
      modifie la conf de squint pour faire la meme chose toutes les 15 minutes aussi
      
      comme ca tu n'analyseras que les 15 dernieres minutes
      
      sinon y a avait un soft que j'avais mis en place dans mon premier job
      qui permettaient effectivement de voir la conso par IP sortante
      et de voir sur quel site allait la personne
      
      je ne me souviens plus le nom
      du coup en cherchant linux network monitoring sur un moteur de recherche qui va peut-etre se retiré de la Chine
      j'ai trouvé ca : http://www.slac.stanford.edu/xorg/nmtf/nmtf-tools.html#publi(...)
      
      qui recense pas mal de solution.
      
      et pour du temps reel, peut-etre qu'un simple Ntop pourrait te suffire
      à lancer dans un terminal sur la passerelle :D

• # SNMP ?

  Posté par masterfrog le 15 janvier 2010 à 18:23. Évalué à 1.

  

  Squid permet d'acceder a ses stats temp réel en SNMP.
  Bande Passante, % de hit dans le cache, numbre de client connectés...
  
  
  
  Pour activer l'agent snmp de squid : dans squid.conf
  
  #definir un port snmp
  snmp_port 3401
  
  #definir une acl pour la communauté SNMP (on doit pouvoir limiter a localhost aussi)
  acl acl_snmp snmp_community MYCOMMUNITY
  
  #on applique l'acl au snmp
  snmp_access allow acl_snmp
  
  
  Dans la conf de l 'agent snmp (/etc/snmp/snmpd.conf)
  #on relie un oid à l'agent snmp de squid
  proxy -c MYCOMMUNITY-v 2c localhost:3401 .1.3.6.1.4.1.3495.1
  
  
  On redémare snmpd et squid, toutes les stats sont désormais accessible en snmp sous l'oid : .1.3.6.1.4.1.3495.1
  Ensemble des infos dispo :
  http://www.oidview.com/mibs/3495/SQUID-MIB.html
  
  Et voila.
  
  SF

• # GlTail

  Posté par Antoine (site web personnel) le 16 janvier 2010 à 20:42. Évalué à 2.

  

  Je sais pas si c'est vraiment fait pour de la prod parce que c'est un peu kikoo qui clignote partout mais je connais Gl_Tail à voir ici : http://www.fudgie.org/
  
  Ça ne se voit pas trop sur la vidéo, mais sur le coté du peux afficher des infos comme un top des utilisateurs, des domaines, etc. C'est tout configurable. Si je ne me trompe pas, ça correspond pas mal au besoin non ? :)

  • [^] # Re: GlTail

    Posté par tpiresgo le 19 janvier 2010 à 11:38. Évalué à 1.

    

    Effectivement, à première vue ce soft répond au pré-requis de surveillance en temps réel. Je n'ai pas eu le temps de le tester mais il est vrai que l'affichage des ''bulles'' fait un peu kitch.
    
    Merci pour vos contributions.
    
    Je reste attentif si d'autres personnes ont des idées.
    
    Merci

Suivre le flux des commentaires

Note : les commentaires appartiennent à celles et ceux qui les ont postés. Nous n’en sommes pas responsables.