Logiciel libre et Big Data

Posté par  (site web personnel) . Édité par Florent Zara, tuiu pol, claudex et baud123. Modéré par patrick_g. Licence CC By‑SA.
41
14
mar.
2012
Base de données

Je viens de publier un livre blanc sur ce que je pense être la convergence inévitable du Big Data et du logiciel libre / open source. Après une définition du big data (« ensembles de données qui deviennent tellement gros qu'ils en deviennent difficiles à travailler avec des outils classiques de gestion de base de données », d'après Wikipedia) et de ses caractéristiques (les « 3 V » de Stonebraker ou les « 4 V » de Popescu), j'expose les raisons pour lesquels les principaux logiciels du domaine ont été mis en open source, et j'en fais un panorama.

Le même jour, le magazine InfoDSI publie un article sur le décollage du Big Data, citant une étude de marché d'IDC qui évalue le marché à 3.2 milliards de $US en 2010 et potentiellement presque 17 milliards de $US en 2015 et qui met en avant également le dynamisme des projets open source dans le domaine.

Pour en revenir à mon livre blanc, il s'agit de la première édition, forcément incomplète. Vos commentaires, qu'ils soient posté sur mon blog ou ici-même, seront pris en compte (s'ils sont pertinents ;-)).

NdM: le livre est sous licence CC BY-SA 3.0.

Sortie de Bigtop 0.2.0 (en incubation à la fondation Apache)

Posté par  . Modéré par Davy Defaud.
20
15
nov.
2011
Technologie

L’équipe de développement de Bigtop a tout récemment publié la version 0.2.0.
Bigtop est un projet en incubation à la Fondation Apache ayant pour but de développer une distribution de logiciels libres liés à l’écosystème Apache Hadoop, ainsi que les tests associés.
Apache Hadoop étant une implémentation libre du modèle de programmation MapReduce, permettant de traiter des données de taille très importante.

Bigtop comprend les principaux composants suivants :

  • des fichiers permettant de générer des paquets RPM et deb pour Fedora, Ubuntu 10.04, CentOS 5.7, CentOS 6.1 et openSUSE 11.4. À noter aussi, le support pour Mageia 1 ;
  • des recettes de déploiement et de gestion des logiciels pour Puppet ;
  • une infrastructure et des bibliothèques pour développer des tests d’intégration et de tests concernant des paquets (installation, mise à jour, désinstallation, test des scripts de service…) ;
  • un ensemble de tests d’intégration, dont certains pour les paquets RPM et deb produits.