Bonjour à tous,
Comme dans beaucoup d'entreprises nous générons énormément de données (commerciales) : ERP, Office…
De plus en plus les utilisateurs réclame de l'aide pour analyser ces données, croiser, triturer. Depuis l'ERP nous avons soit des exports, soit des états Crystal Report, pour les Offices les formules qui vont bien.
Parfois on me demandent d'aller plus loin dans l'analyse et surtout la possibilité pour les utilisateurs de créer eux même leurs outils d'analyses. C'est effectivement un besoin que je comprend car je ne suis pas toujours dispo pour leur monter une base de données qui va bien, avec la structure qui évolue au fur et à mesure des besoins.
Du coups j'ai commencé à chercher des solutions mais je dois avouer que sur ce coups je ne sais pas par qu'elle bout commencer. Le big data… Tenter une recherche sur le net, beaucoup de blabla commercial mais rien de concret.
Est-ce que vous avez une expérience du même genre, des pistes de recherches ? Détail important, les utilisateurs sont non informaticiens.
# Développement propre
Posté par Elwood_Blues . Évalué à 1.
Salut,
Pour une société de nettoyage j'ai développé une appli web basé sur Symfony, les utilisateurs exportent des fichiers CSV de leur logiciel métier pour les importer et sortir les stats qu'ils veulent.
# Outils pour trier, analyser, ... les données
Posté par dovik (site web personnel) . Évalué à 3.
Ce n'est peut-être pas exactement ce que tu cherches, mais voici quelques outils pratiques dans le domaine :
Open Refine
http://openrefine.org/
Illico Editor
http://illico.tuxfamily.org/
Script Python à la main
(ne poussez pas, je sors ->[])
[^] # Re: Outils pour trier, analyser, ... les données
Posté par Philippe M (site web personnel) . Évalué à 1.
Merci pour tes pistes.
Illico j'étais déjà tombé dessus en réalisant d'autres recherches et pour moi c'est un, bon, outils pour qualifier les données.
Open Refine me parait complexe, en tout cas les vidéos de démo me donnent cette impression.
Plus je réfléchi et mieux le besoin est exprimé : un outil capable de se connecter à une base existante (Oracle, csv, mysql…), croisé les données et le recracher dans un format (csv, office, db…). J'en suis arrivé aux ETL et Talend qui pourrait correspondre à ce besoin.
Reste que dans tout les cas l'utilisateur devra connaitre la structure d'une base, d'une table, d'un fichier… Pas de bouton magique ;)
Born to Kill EndUser !
[^] # Re: Outils pour trier, analyser, ... les données
Posté par asky . Évalué à 1.
Vous (re-)trouverez une présentation d'Illico sur linuxfr
https://linuxfr.org/news/oui-illico
C'est difficile de répondre à la question.
Pour faire court, il s'agit d'un équilibre à chercher/trouver entre complexité (au sens "capacité de gérer tel niveau de complexité"), convivialité, agilité et automatisation.
Je suis tenté de rajouter : coût de licence, permissions de l'utilisateur pour installer, disponibilité de l'équipe technique (priorisation, compréhension de l'enjeu), technicité/technologie, politique/volonté de centraliser (consolider/renforcer des acquis des équipes techniques) ou d'autonomiser les acteurs métiers, etc.
Vaste sujet.
# elasticsearch + kibana
Posté par totof2000 . Évalué à 2.
Il doit y avoir d'autres outils plus adaptés, mais l'avantage de ElasticSearch avec Kibana, c'est que tes données sont semi-structurées. La difficulté première sera de sortir tes données de tes diverses applis pour les structurer et les envoyer vers ton ElasticSearch. Ensuite, Kibana permet de créer ses propres dashboards pour l'analyse.
Il y a certainement d'autres outils du même style pour faire ce que tu as à faire, mais ça, ça dépend surtout de ce que tu veux faire.
[^] # Re: elasticsearch + kibana
Posté par B r u n o (site web personnel) . Évalué à 1.
Il y a aussi des infos sur ce précédent post : https://linuxfr.org/forums/general-cherche-logiciel/posts/bi
L'outil (metabase) qu'avait essayé l'OP de ce post ne permet que de faire des tableaux de bords et des requêtes, mais cela peut faire parti de la solution dans le cas présent. Il manque de construire les dépôts de données spécialisées. Je crois qu'on parle de datamart. Bien que maintenant, il semble que le truc à la mode c'est de faire du Data Lake !
[^] # Re: elasticsearch + kibana
Posté par Philippe M (site web personnel) . Évalué à 1.
J'ai trouvé metabase grâce à ton lien vers le journal. Pour le moment il me plait bien, simple à mettre en place, beau et à priori simple.
Il me reste à faire fonctionner le connecteur Oracle et je pense que je vais pouvoir répondre au besoin.
Merci à tous.
Born to Kill EndUser !
[^] # Re: elasticsearch + kibana
Posté par B r u n o (site web personnel) . Évalué à 1.
Alors fait nous un retour si tu l'utilises un peu, ça permettra d'en savoir plus !
[^] # Re: elasticsearch + kibana
Posté par Philippe M (site web personnel) . Évalué à 2.
Metabase est très très simple à mettre en place, il y a un gros boulot de "traduction" des tables et champs. Ensuite faut comprendre la logique mais même un non informaticien est capable de créer ces propres requêtes.
Je n'ai pas fini de le mettre en place encore, il me reste des tables à traduire, mais je l'ai déjà montré à notre contrôleur de gestion et il en ai tombé amoureux. Il utilisait avant des solutions propriétaires et m'a dit que c'était des vrai usines à gaz.
Born to Kill EndUser !
[^] # Re: elasticsearch + kibana
Posté par B r u n o (site web personnel) . Évalué à 1.
Merci pour ce retour d'infos. Un fonctionnel qui tombe amoureux d'un logiciel libre, ça fait plaisir à entendre. Je peux donc continuer à parler de Metabase quand on demande ce genre d'outils.
# Entrepôt de données
Posté par NumOpen . Évalué à 4.
Pour faire de l'informatique décisionnelle, tu fais un entrepôt de données alimenté manuellement ou/et automatiquement par tous tes fichiers et bases puis tu travailles tranquillement sur ces données après les avoir mises en forme correctement pour pouvoir les croiser.
Tu peux utiliser Pentaho ou d'autres outils : http://www.numopen.fr/blog/logiciels-libres-de-gestion/
# Pandas + seaborn + ...
Posté par Thomas (site web personnel) . Évalué à 0.
Et des maths. Et un mec qui connait le contexte des données sous le coude, ca aide.
Ca se fait bien à la main sous python.
Pas encore trouvé d'outil automagique plus pratique pour l'exploration de données. Ca existe peut-etre, cela dit.
# MyReport de ReportOne
Posté par koopa . Évalué à 1.
Dans ma boîte, on utilise MyReport de ReportOne depuis 10 ans.
Ça fonctionne sous Windows, ce n'est pas libre, mais c'est très facile à utiliser par les non-informaticiens qui peuvent créer leurs propres rapport directement dans Excel. Les sysadmins l'aiment aussi car il fonctionne très bien et ne tombe jamais en panne. Il tourne tranquillement dans sa petite machine virtuelle sans jamais avoir besoin de nous.
Toutes les nuits, une tache planifiée collecte les données dans différentes bases de données (compta, RH, etc.) Les données sont reformatées et stocker dans une base Firebird qui sert d'intermédiaire. Puis les utilisateurs (typiquement le service comptable) utilisent un plugin Excel pour construire leurs propres rapports/graphiques/tableaux de bords), qui se mettent à jour tout seuls car ils pointent sur la base FireBird.
A l'époque (en 2007), on n'avait pas trouvé d'équivalent en logiciel libre, mais la situation a peut être évolué depuis.
Suivre le flux des commentaires
Note : les commentaires appartiennent à celles et ceux qui les ont postés. Nous n’en sommes pas responsables.