Forum général.cherche-logiciel Analyse Logs & Big Data (ou autres)

Posté par  . Licence CC By‑SA.
Étiquettes :
0
2
avr.
2013

Bonjour,

Je veux creuser un peu le concept de "Big data" et j'aimerai partir d'un cas assez simple :
Créer un sorte de centre d'activité de notre infrastructure en se basant sur nos gros fichiers logs (apache pour les applis web, Postfix/Cyrus pour les mails pour commencer)
Biensûr j'ai déjà awstats qui fait bien son boulot mais par curiosité "geekienne" et pour appréhender d'une manière plus terre à terre le concept de big data, je me demande s'il n'y a pas quelque chose à creuser dans ce sens.

Connaissez vous des solutions opensource qui pourrait m'aider à mettre le pied à l'étrier ? (distribution Linux Orientée par exemple ou appli travaillant dans ce domaine)

Ps : je commence juste à prospecter (je suis en train de regarder du coté de pentaho)

  • # fondation apache?

    Posté par  . Évalué à 2.

    juste parce que je viens de voir passer le nom, y'a le projet Hadoop avec plein de littérature qui mériterait peut etre de s'y attarder.

    mon centime d'euro…

  • # Pandas

    Posté par  . Évalué à 3.

    Pandas (http://pandas.pydata.org/) permet de manipuler et traiter des grosses quantités de données. Voir kst (http://kst-plot.kde.org/) pour tracer des choses avec beaucoup de points.

  • # Cloudera

    Posté par  . Évalué à 2.

    Je me répond à moi même :
    Je vais me pencher sur la solution opensource cloudera :
    En plus des solutions installables, il y a des VM de démos (centos6.2[64]+ tous les outils) qui vont faire l'affaire pour moi .
    En plus il y a un connecteur Qlikview (solution O combien proprio mais qui est utilisée chez nous), cela me servira (si j'arrive au bout) à maquetter un résumé des stats.

    Le lien pour les VM -> https://ccp.cloudera.com/display/SUPPORT/Demo+VMs

    Les connecteurs et applis à télécharger -> https://ccp.cloudera.com/display/SUPPORT/Downloads

    PS : Promis si j'arrive au bout, je vous raconterai ma plongée au pays des big datas.

  • # Cours sur coursera

    Posté par  . Évalué à 0.

    Un cours "Web intelligence and big data" est disponible sur coursera.org.
    Ça vient de commencer (1 semaine), et ça ne demande que 2/3 heures de travail par semaine.
    C'est peut être un peu trop débutant pour toi parce qu'en réalité ce n'est qu'une introduction de ce domaine.

Suivre le flux des commentaires

Note : les commentaires appartiennent à celles et ceux qui les ont postés. Nous n’en sommes pas responsables.