Journal FlowG sort en version v0.10.0 avec beaucoup de nouveautés

Bonjour Nal!

Il y a presque un mois, je te présentais FlowG, une solution de traitement de journaux (systèmes).

Depuis, beaucoup de choses ont évoluées, le développement est très actif malgré le fait que je sois (pour l'instant ?) le seul développeur.

Liens

• https://github.com/link-society/flowg
• https://hub.docker.com/r/linksociety/flowg

Les nouveautés

⚡ La question des performances

C'est LA question que les gens ont a l'esprit quand on parle de journalisation. Combien de données je peux lui faire ingurgiter ?

Un très bête test, qui envoie un million de message, sur ma machine personnelle, montre que la solution est capable de recevoir en moyenne 2000 messages par seconde. Test faussé par le fait que plusieurs autres gros programmes tournent sur ma machine, et également faussé par les I/O désastreuses du système de fichiers de Windows.

J'ai commencé à monter une petite infrastructure avec Saashup (l'entreprise de mes collègues à $emploi_actuel) pour faire des tests de performances plus sérieux, avec usage CPU/RAM en bonus.

Un petit soucis de performance de l'affichage a été corrigé. En gros, je générais naïvement côté serveur une <table> avec les journaux. Sauf qu'après plusieurs dizaines de milliers de messages, l'onglet Chrome arrivait à court de mémoire. La solution fut de générer cette table dans un <template> et d'utiliser la bibliothèque Virtual Scroller pour n'afficher que les messages visibles (et ainsi sauvegarder la précieuse mémoire vive de votre ordinateur).

• v0.8.0

🔒 Contre l'insécurité

La première version que je vous avais présenté était "open bar". C'est pourquoi le premier gros changement fut l'introduction d'un système d'authentification et d'ACL pour restreindre l'accès à la solution, et permettre à l'Administrateur Système de configurer différents profils d'utilisateur.

• v0.2.0

NB: A partir de la v0.10.0, l'image Docker abandonne ses droits "root" pour tourner en tant qu'utilisateur normal.

💄 I'm sexy and I know it

On passe de :

à :

Avec l'ajout du "Glisser / Déposer" qui est franchement plus ergonomique.

• v0.4.0

🗃️ Amélioration du modèle de données

Dans la première version, on indexait absolument tout les champs d'un "Stream". Très pratique quand on a des champs comme timestamp ou message qui changent très souvent. C'est la solution parfaite pour remplir votre disque et pourrir les performances.

C'est désormais corrigé. Avec l'ajout en plus de paramètre de "rétention" basé sur :

• le temps
• l'espace disque

On peut ainsi mieux contrôler ce qu'on stocke dans la solution.

• v0.5.0 pour la rétention
• v0.7.0 pour les indexes

🧩 Réutiliser des pipelines

C'est un changement presque anodin, mais pourtant bien puissant. On introduit un nouveau type de "noeud" permettant de transmettre un log à une autre pipeline. On évite ainsi les pipelines gigantesques.

• v0.9.0

🔗 L'interopérabilité

Enfin, la v0.10.0 ! Ici on ajoute le concept "d'Alerting". Rien de vraiment révolutionnaire, on offre ici la possibilité d'envoyer le log via requête HTTP POST à une "webhook". Cela permet d'utiliser un service tiers comme Zapier pour ensuite envoyer des courriers électroniques, ou d'autres services.

On notera aussi dans cette nouvelle version une mise à jour de VRL qui intègre la fonction parse_influxdb, permettant d'interpréter les journaux de InfluxDB.

• v0.10.0

L'intéropérabilité, c'est ce sur quoi je vais me concentrer à partir de maintenant…

✅ La "roadmap"

Au programme des futures versions :

• serveur Syslog pour que l'administrateur système puisse rediriger ses logs via UDP
• serveur Graylog pour recevoir des messages au format GELF
• endpoint API compatible avec Splunk
• …

L'idée ? Faciliter la migration, faciliter l'intégration dans votre infrastructure, bref : vous faciliter la vie.

Conclusion

Comme vous avez pu le lire, pas mal de changements ont eu lieu, et pas mal de changements sont encore à venir.

Tout retour d'expérience est bienvenue. Et si vous souhaitez installer et tester FlowG dans votre infrastructure, n'hésitez pas à me contacter directement, je me ferais un plaisir de vous accompagner. Si votre entreprise le veut bien, on peut même faire ça sous contrat avec du support à la clé ;) Cela aiderait à financer le projet pour s'assurer qu'il reste maintenu.

A propos de ça d'ailleurs, le projet est actuellement sous licence MIT, j'ai parlé plus haut de vouloir offrir du service autour du logiciel (support, migration, audit, …), mais je tiens à ce qu'il reste libre. J'ai toujours été "anti GPL", mais je pense que si je laisse le logiciel sous une licence trop permissive, je ne pourrais pas garantir que ce dernier reste "Open Source". Donc je vous invite a me convaincre de choisir la bonne licence Copyleft.