Avant-Propos :
Il est fortement conseillé d'utiliser un raspberry pi 2 au minimum (privilégiez le modèle 3). JBOD via mddfs n'est pas totalement stable, mais ZFS semble actuellement non utilisable sur Raspberry Pi. Si vous suivez ce tuto sur une machine dotée d'autre chose qu'un processeur ARM, privilégiez l'utilisation de ZFS.
Gluster vous permet en fonction du nombre de peers/nodes et du nombre de réplication de faire :
- un JBOD réseau (addition de l'espace de toute vos machines Peer1 + Peer2 + etc)
- de la réplication raid1 ( Peer1 = Peer2)
- de la "réplication distribuée" sorte de raid10 (Peer 1 + Peer 2 = Peer 3 + Peer 4)
Sommaire :
- Montage des disques dur
- Création d'une "super partition" JBOD (concaténation des disques dur)
- Mise en place de glusterfs
- Création d'un répertoire/volume distribué répliqué
- Montage sur un client Ubuntu
Montage des disques dur
tuto d'origine : [Tuto/HowTo] Raspberry Pi monter automatique disque dur externe
Récupérez l'UID du disque dur
sudo blkid
-
Éditez le fichier /etc/fstab
sudo nano /etc/fstab
- (CTRL+X pour sauver&quitter)
-
Adaptez la ligne suivante puis ajoutez la
UUID="16846dfa-a74d-7a5d-a8r7-f7c5z4fnd4sjz" /media/Disque1 ext4 defaults,nofail 0 2
- UUID=xxxxx => l'UID récupéré précédemment
- /media/Disque1 => où monter votre disque dur
- ext4 => le formatage de la partition (si votre disque dur est formaté en ntfs, indiquez "ntfs-3g" et installez le paquet "ntfs-3g")
-
Accordez les droits sur le montage
sudo chown pi:root -R /media/Disque1
sudo chmod 0774 -R /media/Disque1/- /media/Disque1 => le point de montage de votre disque
Répétez les actions précédentes pour chaque unité de stockage
Création d'une "super partition" JBOD
tuto d'origine : [Tuto/HowTo] Mise en place d'un système JBOD avec mhddfs sur Raspberry Pi
Installez mhddfs
sudo apt-get install mddfs
Créez le point de montage de votre "super partition JBOD" et attribuez lui les bons droits
sudo mkdir /media/monNouveauMontage
sudo chown pi:root -R /media/monNouveauMontage
sudo chmod 774 -R /media/monNouveauMontage
Listez les disques ainsi que leur point de montage respectif
df -h
-
Éditez le fichier /etc/rc.local
sudo nano /etc/rc.local
- (CTRL+X pour sauver&quitter)
-
Ajoutez la ligne suivante juste avant la ligne contenant exit 0 en l'adaptant à vos besoins
mhddfs /media/Disque1,/media/Disque2,/media/Disque3 /media/monNouveauMontage -o allow_other
- /media/Disque1,/media/Disque2,/media/Disque3 => les path où sont monté vos disques, séparé par une virgule à chaque fois.
- /media/monNouveauMontage => le point de montage de votre partition JBOD
- -o allow_other => autorise les autres utilisateurs à monter la partition (n'est pas obligatoire mais conseillé)
Ouvrez le fichier de configuration de fuse
sudo nano /etc/fuse.conf
Décommentez user_allow_other puis sauvez et quittez (CTRL+X).Redémarrez la machine
sudo reboot
Mise en place de glusterfs
tuto d'origine : [Tuto/HowTo] [Debian] [cluster] GlusterFS Server
Installez glusterfs-server
sudo apt-get install glusterfs-server
Donnez le droits d'accès (rw) au fichiers log
sudo chmod 777 /var/log/glusterfs/*.log
Lancez le démon
sudo service glusterfs-server restart
-
Répétez éventuellement la manipulation sur une seconde machine puis ajoutez la à votre grille via
sudo gluster peer probe HOSTNAME
- Note : Une fois que le pool est établi, seuls les membres de confiance (trust) peuvent ajouter de nouveaux servers au pool. Un nouveau server ne peut PAS s'ajouter au pool, il doit être ajouté par le pool. (source)
Création d'un répertoire/volume distribué répliqué
tuto d'origine : [Tuto/HowTo] [Debian] [cluster] GlusterFS Server
-
Adaptez la commande suivante puis entrez la dans un terminal sur n'importe lequel de vos Node/server Gluster (elle s'appliquera à l'ensemble de votre grille)
sudo gluster volume create NomVolume replica 2 transport tcp HOSTNAME_server1:/media/superPartition HOSTNAME_server2:/media/superPartition force
- NomVolume => le nom du volume dans dans la grille GlusterFS (peut aussi être sous cette forme /papa/fiston/NomVolume)
- HOSTNAME => peut valoir l'ip, le nom de domaine ou tout path réseau valable d'un des server du cluster 1
- /media/superPartition => le path sur la machine où ranger les données du volume
- replica 2 => le nombre de fois que les fichiers doivent être dupliqué. Supprimez cette valeur pour faire un JBOD réseau sans duplication de données.
- transport tcp => on utilise TCP/IP
- force => ne se met qu'à la fin de la commande, permet d'utiliser le mode root (vous pouvez modifier par après la plus part des options ;) )
Démarrez votre volume/répertoire
sudo gluster volume start NomVolume
Montage sur un client Ubuntu
tuto d'origine : Monter un volume/répertoire GlusterFS
Installez glusterfs-client
sudo apt-get install glusterfs-client
Création du point de montage local
sudo mkdir /media/monNouveauMontage
sudo chown pi:root -R /media/monNouveauMontage
sudo chmod 774 -R /media/monNouveauMontage
-
Testez votre montage
sudo mount -t glusterfs HOSTNAME:PORT:/NomVolume /media/monNouveauMontage
- HOSTNAME => peut valoir l'ip, le nom de domaine ou tout path réseau valable
- :PORT => votre numero de port (non requis, supprimez aussi le deux points si vous utilisez le port par défaut)
- :/NomVolume => le nom du volume dans dans la grille GlusterFS
- /media/monNouveauMontage => mon point de montage local
-
On va ajouter le montage au boot, éditez le fichier /etc/fstab
sudo nano /etc/fstab
- (CTRL+X pour sauver&quitter)
-
Adaptez la ligne suivante puis ajoutez-la
HOSTNAME:PORT:/NomVolume /media/monNouveauMontage glusterfs defaults,_netdev,nofail 0 0
- HOSTNAME => peut valoir l'ip, le nom de domaine ou tout path réseau valable d'un des server du cluster
- :PORT => votre numero de port (non requis, supprimez aussi le deux points si vous utilisez le port par défaut)
- :/NomVolume => le nom du volume dans dans la grille GlusterFS
- /media/monNouveauMontage => mon point de montage local
- _netdev => attend que le réseau soit prêt pour tenter le montage
- nofail => empêche le boot de crasher si le montage échoue
PS : c'est mon premier journal, si quelqu'un sait comment virer la ligne d'espace vide entre les lignes de code, qu'il n'hésite pas à partager ;)
-
il peut s'avérer nécessaire d'utiliser le fichier /etc/hosts pour fixer les HOSTNAME de vos machines (gluster ne supportant pas le changement d'hostname pour un peer), un tuto détails la procédure ici : GlusterFS et fichier hosts ↩
# Correction
Posté par EauFroide . Évalué à 1. Dernière modification le 23 mai 2016 à 17:21.
Je n'arrive pas à m'éditer (je suppose que c'est normal ^ ^ ).
Donc je postes les quelques corrections ici :)
"cœur" => "peer/node"
"Récupérer" => "Récupérez" / "Accorder" => "Accordez"
à la fin du point "Création d'une "super partition" JBOD" les phrases "Ouvrez le fichier de configuration de fuse sudo nano /etc/fuse.conf Décommentez user_allow_other puis sauvez et quittez (CTRL+X)." et "Redémarrez la machine sudo reboot" devrait être les point 4 et 5 de la dite section.
"ou monter votre disque dur" => "où monter votre disque dur"
Donation Bitcoin : 1N8QGrhJGWdZNQNSspm3rSGjtXaXv9Ngat
[^] # Re: Correction
Posté par EauFroide . Évalué à 2. Dernière modification le 24 mai 2016 à 01:52.
Si un modo passe par là, se serait sympa d'au moins appliquer la correction du point 3 qui casse la structure du tuto à son emplacement :)
Merci d'avance.
ça doit ressembler à ça :)
sudo nano /etc/fuse.conf
Donation Bitcoin : 1N8QGrhJGWdZNQNSspm3rSGjtXaXv9Ngat
[^] # Re: Correction
Posté par Benoît Sibaud (site web personnel) . Évalué à 4.
Corrigé, merci.
[^] # Re: Correction
Posté par EauFroide . Évalué à 1.
gros merci !
Donation Bitcoin : 1N8QGrhJGWdZNQNSspm3rSGjtXaXv9Ngat
[^] # Re: Correction
Posté par J Avd . Évalué à 3.
Par contre est-ce que tu arrives à méditer ?
Ok je ---->[ ]
"Gentoo" is an ancient african word, meaning "Read the F*ckin' Manual". "Gentoo" also means "I am what I am because you all are freaky n3rdz"
# Donne pas envie de lire .....
Posté par totof2000 . Évalué à 9.
Ca sert à quoi ce que tu proposes de faire ?
[^] # Re: Donne pas envie de lire .....
Posté par EauFroide . Évalué à 5.
Ça sert a faire du Raid réseau (tu connecte au moins deux machines et elles synchronisent en temps réel entre-elles un ou plusieurs espace(s) de stockage) ou du JBOD/Raid0 (concaténer plusieurs machines).
Si tu utilise le mode replication (raid) alors si une des machines tombe en panne, tes données sont toujours accessible en lecture/écriture presque comme si de rien n'était.
Je m’intéresse à ce sujet en vue de protéger un owncloud d'une éventuelle panne. Je me penche aussi sur un hack potentiel (disperser un owncloud sur plusieurs réseaux privé avec une synchronisation temps réelle de la base de données et des data, permettant ainsi aux users hébergeant chaque Node de bénéficier d'un accès aux data en Go/s en lecture (l'écriture étant a full vitesse en local mais la synchro dépendant des latences des connexions internet)) :)
PS: pour concevoir ce tuto j'ai utilisé plusieurs Tuto (rédigé par moi-même et posté dans chaque section du tuto ici présent) qui sont plus lisible si tu préfère :)
Donation Bitcoin : 1N8QGrhJGWdZNQNSspm3rSGjtXaXv9Ngat
[^] # Re: Donne pas envie de lire .....
Posté par root_rtfm . Évalué à 3.
Bonjour,
Je ne comprends pas pourquoi tu utilises mddfs alors que glusterfs sait faire du stripping ainsi que de la distribution et de la réplication
Sur le site de gluster.readthedocs.io, il y a une aide claire pour tout ce que fait Glusterfs ;-)
[^] # Re: Donne pas envie de lire .....
Posté par fasthm . Évalué à 3.
Je ne connais pas glusterfs mais en général, en matière de fs, on fait du striping, pas du stripping. C'est dommage d'ailleurs, c'est pour ça que les informaticiens ont la réputation de ne pas être sexy.
La gent féminine, pas la "gente", pas de "e" ! La gent féminine ! Et ça se prononce comme "gens". Pas "jante".
[^] # Re: Donne pas envie de lire .....
Posté par root_rtfm . Évalué à 0.
;-) un peu trop généreux avec les p
[^] # Re: Donne pas envie de lire .....
Posté par MTux . Évalué à 2.
Il utilise mddfs pour agréger plusieurs disques USB en un, si j'ai bien compris.
Un peu (très) risqué mais bon.
[^] # Re: Donne pas envie de lire .....
Posté par totof2000 . Évalué à 2.
Ca rassure, je ne suis pas le seul à ne pas avoir compris …
[^] # Re: Donne pas envie de lire .....
Posté par EauFroide . Évalué à 0.
Détail les risques stp :)
Le but est de rassembler toute la mémoire des disques choisi par l'utilisateur en une seule partition JBOD (j'insiste sur le JBOD, pas du Raid0) puis de simplement demander à gluster de ranger ses data dessus :)
Car gluster permet de concaténer l'espace de stockage de plusieurs machines, mais hélas pas de plusieurs disques sur la même machine.
Donation Bitcoin : 1N8QGrhJGWdZNQNSspm3rSGjtXaXv9Ngat
[^] # Re: Donne pas envie de lire .....
Posté par NeoX . Évalué à 4.
simple ton JBOD, si tu perd un disque USB, tu perds tout ton noeud de stockage.
alors que, peut-etre, tu aurais pu monter ca dans glusterfs comme etant 3 disques reseaux sur machine1:/disk1, machine1:/disk2 et machine1:/disk3
[^] # Re: Donne pas envie de lire .....
Posté par EauFroide . Évalué à 1. Dernière modification le 25 mai 2016 à 00:55.
J'y ai pensé mais reste à voir comment réagit la réplication et la consommation de ressources qui en résulte.
C'est vrai et ça concerne tout les types de périphériques de stockage (clés USB, disque SATA, etc) avec mddfs.
Donation Bitcoin : 1N8QGrhJGWdZNQNSspm3rSGjtXaXv9Ngat
[^] # Re: Donne pas envie de lire .....
Posté par EauFroide . Évalué à 1. Dernière modification le 26 mai 2016 à 14:59.
Salut. Désolé de ne m'apercevoir de ton message que maintenant.
À la base quand j'ai commencé à traiter le sujet, les tuto sur le net parlaient surtout de solution BIOS (pas possible dans mon cas donc aux oubliettes), de mhddfs que j'ai mis en place et de ZFS dont j'ai aussi un tuto en cours.
Mais je compte bien traiter le sujet voir le mettre en place sur mon serveur vu que mhddfs ne fonctionne pas sur lui et que zfs implique de transvaser les données déjà présentent sur les disques.
Reste à répondre à quelques questions :
Gluster sait-il faire du JBOD ou uniquement du raid0 (j'ai pas bien compris l'utilité du paramètre "stripe nombreDisque" dans la doc)?
Quid de la consommation ressource?
Quid de la sécurité si on utilise uniquement pour des volumes locaux sans utilisations de peers (Par défaut si un Node ne possède aucun autre Node associé, il accepte le premier serveur venu qui lui propose une association).
Donation Bitcoin : 1N8QGrhJGWdZNQNSspm3rSGjtXaXv9Ngat
[^] # Re: Donne pas envie de lire .....
Posté par totof2000 . Évalué à 4.
tu aurais du commencer par là : expliquer ce que tu voulais faire (et à quoi ça sert) avant d'entrer directement dans la partie "comment".
[^] # Re: Donne pas envie de lire .....
Posté par EauFroide . Évalué à 2. Dernière modification le 24 mai 2016 à 13:30.
Ouaip j'y penserai pour le prochain journal ^ ^ (c'est mon premier, qui m'a d'ailleurs pris deux heures rien que pour la mise en forme pas facile sur linuxfr et plusieurs jours pour la rédaction des tuto d'origine)
J'avoue que j'ai oublié de mettre l'intro (je m'en suis rendu compte après avoir posté, j'étais persuadé que je pourrais m'éditer à posteriori) et que je voulais réduire le nombre de lignes du tuto (**1)
**1 les tuto d'origine que j'ai rédigé puis utilisé pour faire ce tuto forment un bien trop long pavé qui aurait rendu indigérable la lecture. J'ai peut-être un peu trop coupé par contre et je m'en excuse ^ ^
PS: si vous voulez pour compenser le manque de détails non technique, je peux faire une dépêche qui explique plus en détails gluster et une autre sur l’agrégation de périphérique de stockage (quand j'aurai trouvé/testé toutes les méthodes de JBOD)
Donation Bitcoin : 1N8QGrhJGWdZNQNSspm3rSGjtXaXv9Ngat
[^] # Re: Donne pas envie de lire .....
Posté par totof2000 . Évalué à 6. Dernière modification le 24 mai 2016 à 14:51.
Ce sera j'espère un plaisir de te lire.
# Lexique
Posté par Kerro . Évalué à 6.
Saikouadonque un « cluster mémoire » ?
[^] # Re: Lexique
Posté par EauFroide . Évalué à 2.
Je ne pense pas que se soit le terme officiel (ne le connaissant pas je trouvais celui-ci plus compréhensible).
C'est un système où la mémoire est distribuée sur plusieurs machines permettant de créer des volumes/répertoires virtuels de très grande taille, résistant aux pannes (si on utilise la replication), mais nécessitant un accès réseau permanent (je posterais des infos concernant la consommation réseau/électrique quand j'aurai fait les analyses).
Donation Bitcoin : 1N8QGrhJGWdZNQNSspm3rSGjtXaXv9Ngat
[^] # Re: Lexique
Posté par Alex G. . Évalué à 8.
Salut, je pense que ton titre "cluster mémoire" n'est pas très heureux. La mémoire c'est la mémoire vive ne général. J'aurais mis plutôt "cluster de stockage" ou même NAS (ou NAS distribué, vu que beaucoup de NAS pour la maison ne le sont pas).
[^] # Re: Lexique
Posté par NeoX . Évalué à 4.
pourtant un "stockage distribué" paraitrait plus judicieux.
# excellent !
Posté par mh-cbon . Évalué à -4.
Comme je n'ai rien de plus à en dire, l'as tu mis en place ?
As tu des retours à l'usage ?
[^] # Et les performances ?
Posté par Tangi Colin . Évalué à 2.
Gluster est basé sur fuse, donc niveau performance sur des petits fichiers ça peut vite devenir limitant.
[^] # Re: Et les performances ?
Posté par EauFroide . Évalué à 2.
Que veux-tu dire par limitant?
Les petits fichiers engendrent plus de travail pour le périphérique de stockage qui le contient ainsi que pour les logiciels qui gèrent ses metadatas (système de fichier & owncloud par exemple).
Sur une machine avec plusieurs dizaines de milliers de fichiers je ne perçois pas de différence entre SSHFS (qui utilise fuse) et SFTP (qui n'utilise pas fuse) au niveau temps de chargement.
Donation Bitcoin : 1N8QGrhJGWdZNQNSspm3rSGjtXaXv9Ngat
[^] # Re: Et les performances ?
Posté par Psychofox (Mastodon) . Évalué à 2. Dernière modification le 24 mai 2016 à 09:14.
"percevoir" ce n'est pas très précis.
[^] # Re: Et les performances ?
Posté par Misc (site web personnel) . Évalué à 2.
C'est pas tant le fait d'être basé sur fuse que le fait d'être en réseau (et potentiellement distribué), vu que plein de petit fichier, ça implique plus de lookups de meta données qu'un gros fichier à taille équivalente.
Ceph souffre aussi du même souci, et c'est pas basé sur fuse dans mon souvenir.
[^] # Re: excellent !
Posté par EauFroide . Évalué à 2. Dernière modification le 23 mai 2016 à 18:16.
Merci :)
J'ai testé un répertoire distribué avec deux raspberry pi (un type 1B et un type 2B, OS Raspbian sur les deux) et j'ai essayé le montage sur un Voyager OS (Xubuntu), pour uploader/lire un fichier.
Le tout en réseau local (pas encore essayé à travers Internet car je n'ai pas terminé d'étudier la partie sécurité).
Je suis encore en phase de test avant de le mettre définitivement en place. La partition JBOD sur mon serveur n'est pas stable avec mddfs (par contre étonnement sur le raspberry pi ça tient le coups). Je vais donc essayer avec ZFS quand j'aurai fini de sauvegarder les données et d'appréhender les avantages/inconvénients de ZFS (genre est-il compatible JBOD ou uniquement Raid0 **1).
En retour d'utilisation (rappel je n'ai testé qu'en réseau local):
-quand on lit un fichier, on le lit sur plusieurs serveurs en même temps se qui augmente la vitesse de lecture
-gluster n'apprécie pas le changement d'hostname, se qui en IPv4 peut provoquer quelques ennuis (genre si on veut synchroniser deux nodes sur réseau local avant de mettre un des node sur un autre réseau, il faut obligatoirement passer par le fichier /etc/hosts)
-gluster utilise 3 ports par défaut 111 (portmap/rpcbind), 24007 (GlusterFS Daemon), 24008 (GlusterFS Management)) et un port à partir de 49152 par dossier distribué (se qui peut compliquer la tâche d'administration) (source)
-gluster dispose d'une WEBUI (que je n'ai pas encore essayé)
**1 JBOD = chaque disque est rempli l'un après l'autre ; Raid0 = chaque fichiers est découpé sur chaque disque. Si tu perds un disque, avec JBOD les données sur les autres disques sont encore valable gluster n'a besoin que de reconstruire les data du disque perdu, par contre avec Raid0 perdre un disque = perdre toutes les data de la machine et engendrer une reconstruction de TOUTES les données :)
Donation Bitcoin : 1N8QGrhJGWdZNQNSspm3rSGjtXaXv9Ngat
[^] # Re: excellent !
Posté par mh-cbon . Évalué à -6.
Ah ouais ça à l'air cool les partitions JBOD ! J'ai presque envie de mettre le souk dans mes box pour le tester ahaha :x
Vraiment bon ce journal :)
[^] # Re: excellent !
Posté par Alex G. . Évalué à 4.
Pour info dans la boite où je aussi on utilise du glusterfs pour le stockage de fichier de notre appli de production.
En pratique pour le moment c'est tout sur le même serveur, mais c'était une solution simple à mettre en œuvre qui nous permet éventuellement de répondre à une montée en charge rapidement (et on devait de toute façon partager les fichiers entre serveurs).
Attention, à priori, je ne le conseillerai pas pour le stockage d’une base de donnée / index, c'est plus pour du service de fichiers (pour de la base de donnée / index on utilise des techniques de réplication propre à la base). Ça génère bien sûr pas mal de trafic réseau.
[^] # Re: excellent !
Posté par EauFroide . Évalué à 2. Dernière modification le 23 mai 2016 à 21:48.
Je cherche tout les moyens de faire un JBOD stable sur ubuntu/debian, n'hésite pas à partager votre méthode si vous utilisez autre chose que ZFS ou mddfs et je ferai un tuto pour chaque méthode :) **1
As-tu eu l'occasion de tester la webui? (c'est la prochaine sur ma liste de tuto a faire d'urgence)
PS: il est possible que d'ici quelques jours je lance un live twitch où on installera un Node gluster de [a-Z0-9] et sa ligne Gigabit en direct :)
**1 ça s'adresse à tout les lecteurs ^ ^
Donation Bitcoin : 1N8QGrhJGWdZNQNSspm3rSGjtXaXv9Ngat
[^] # Re: excellent !
Posté par Alex G. . Évalué à 2.
On utilise vraiment une conf de base de glusterfs avec les volumes qui sont des dossiers sur une partition ext4 sur un raid5 (il me semble). Pas de redondance ni rien pour le moment. Juste plusieurs volumes. Les disques sont ensuite monté avec le client gluster fuse sur des serveurs distants.
# Attention pour ZFS...
Posté par ptit_poulet . Évalué à 3.
Petite précision pour ZFS, c'est tout sauf une bonne idée d'utiliser ZFS sur des machines n'utilisant pas de mémoire vive ECC. ECC permet la correction d'erreur et la corrige. Sans ça la donnée sera écrite corrompue sur le volume ZFS ni vu ni connu… Donc attention danger !!!
[^] # Re: Attention pour ZFS...
Posté par EauFroide . Évalué à 4. Dernière modification le 23 mai 2016 à 21:24.
Cette particularité ne s'applique pas avec les autres? (Comme mddfs par exemple que j'utilise dans le tuto pour faire le JBOD?)
Donation Bitcoin : 1N8QGrhJGWdZNQNSspm3rSGjtXaXv9Ngat
[^] # Re: Attention pour ZFS...
Posté par MTux . Évalué à 4.
ECC est un pré requis dans la doc ZFS de Oracle.
Après c'est sujet à débat, il y a une analyse intéressante ici (en anglais). Ne pas utiliser ECC ne va pas tuer tes données.
[^] # Re: Attention pour ZFS...
Posté par ckyl . Évalué à 4.
Comme pour tout les fs.
Afaik la seule spécificité de zfs c'est le manque d'outils pour récupérer un pool un vrac si la corruption arrivé dans les Metz données. Mai vu que j'utilise pas zfd ça a peut être même évolué.
[^] # Re: Attention pour ZFS...
Posté par Psychofox (Mastodon) . Évalué à 2.
Il me semble que tous les FS ne font pas des vérifications de checksum avec correction derrière à chaque accès d'un block y compris en lecture. C'est amha le vrai souçis de l'utilisation de mémoires non-ECC avec ZFS.
# correction du titre ?
Posté par steph1978 . Évalué à 2.
Gluster est un FS distribué, donc pour du stockage fichier.
Rien à voir avec un "cluster mémoire" qui ne veut pas dire grand chose et ferait plutôt penser à un memcached.
Suivre le flux des commentaires
Note : les commentaires appartiennent à celles et ceux qui les ont postés. Nous n’en sommes pas responsables.