Journal Testez vos sauvegardes !

Posté par  . Licence CC By‑SA.
Étiquettes :
60
13
déc.
2021

Sommaire

Bonjour à tous

Après de nombreuses années à mouler anonymement, je crée un compte ici pour vous conter la mésaventure qui m'est arrivée.
Spoiler : ce qui est pire que l'absence de sauvegarde, c'est l'illusion d'avoir une sauvegarde.
(en plus, j'aime bien les journaux sur les sauvegardes!)

Situation initiale

Je ne suis pas informaticien de formation, ni de métier. A mes heures perdues toutefois je joue à l'adminsys sur tout ce qui a une connexion réseau dans ma maison.

Sur le LAN on retrouve :

  • Un NAS (on en parlera plus loin) sur lequel je centralise un premier niveau de sauvegarde des machines, qui diffuse notamment quelques partages samba.
  • 2 PC sous Windows 10 (je tiens plus à ma femme qu'à linux !) dont 1 centralisant toutes les photos de famille et les documents administratifs importants.
    • Ce sont ces données que je veut protéger !
    • J'utilise principalement la fonction "Sauvegarde des fichiers" de windows 10, qui est une sorte de TimeMachine (probablement moins bien, je n'ai pas de comparaison) qui me suffit amplement. En gros ça sauvegarde sur un partage samba du NAS tous mes fichiers, de manière historisée, et je peut remonter dans le temps par la fonction "historique des fichiers" intégrée au système. Les fichiers sont stockés en vrac dans l'arborescence du NAS, mais j'ai testé, si on utilise l'outil intégré dans Windows, on retrouve les données telles quelles. De plus, une install vierge de W10 et W11 peut explorer le partage (avec l'outil adéquat), j'ai testé en VM donc ça me convient.
    • J'utilise également Syncthing pour quelques dossiers, qui sont donc synchronisés en permanence sur le NAS et sur les différents ordis.
  • 1 PC sous Ubuntu, pour bricoler, mais qui ne contient aucune donnée originale ou sensible.
    • Quasi rien dans le home, tout sur un partage samba pour pouvoir jouer à changer de distro quand ça me chante.
  • 2 smartphones sous Android qui sont la source principale des photos de famille.
    • J'utilise Syncthing pour synchroniser automatiquement les photos sur le NAS et sur le PC W10 (lorsque je veut trier mes photos, la copie se fait en local sur le SSD du PC c'est super rapide). Ce n'est pas une sauvegarde, c'est juste une synchro pour simplifier les copies.

Mon NAS initial était un vénérable D-LINK DNS-320 famélique, avec un firmware alternatif histoire d'avoir un noyau linux pas trop moisi :

  • CPU et RAM au ras des pâquerettes (de mémoire, 256 Mo de RAM, ARM 400 MHz.)
    • 1 disque de récup (dans un boitier USB) de 250 Go
    • 1 disque acheté pour l'occasion de 1 To, dans la baie
    • 1 disque acheté cet été de 3 To, installé dans la baie
  • Le firmware donnant toute latitude pour bidouiller en ssh, le système RAID a été piloté par mdadm directement, comme suit :
    • 1 RAID1 sur 3 partitions de 250 Go (les 1res partitions des 3 disques), pour mes données les plus précieuses, donc tout ce qui est listé au dessus, les partages samba, etc. J'aime le concept du RAID1 sur 3 disques : si un disque crame, on est toujours protégé ! Ceinture et bretelles…
    • 1 RAID1 sur 2 partitions de 750 Go (les 2e partitions des 2 disques 1To et 3To) pour le 2e niveau de sauvegarde : sauvegarde historisée du RAID1 3 disques à l'aide d'un script intégré dans le firmware. Je me suis fixé comme règle de ne pas mettre de partage samba dessus, pour éviter toute vérole via le réseau. Accès uniquement via ssh si besoin de restaurer.
    • 1 partition de 2To non RAID, si besoin de stocker une grande quantité de données temporairement.

Cet été donc, pendant mes congés, je me suis mis en tête de passer sur un backup 3-2-1, donc d'ajouter un 3e niveau de sauvegarde hors site.
Mon dévolu se porte sur l'offre Object Storage de OVH (peu importe à vrai dire), et quelques scripts cron et rclone plus tard, je me retrouve avec une sauvegarde de ma partition de 750 Go en stockage objet.

Je réalise alors que mon vieux NAS est à bout de souffle :

  • Très mal conçu, l'air ne circule pas dans le boitier et le ventilo tourne à fond en permanence. Problème car le NAS est dans mon garage non isolé, il y fait très chaud en été et clairement, les températures relevées n'étaient pas raisonnables (sans parler du problème d'avoir un truc qui tourne 24h/24 et qui fait autant de bruit).
  • Le CPU bride les transferts, j'ai mis + 2 semaines à transférer le backup initial sur le Cloud, et après test un dd if=/dev/zero of=/dev/null me donne la même lenteur… Sachant que j'ai la fibre chez moi, j'enrage.
  • Dans l'hypothèse du besoin d'une restauration, il me faudra de même 2 semaines pour restaurer mes données, que ce soit du cloud vers le NAS ou du NAS vers le PC…

Toutefois, je suis entièrement satisfait du mode de sauvegarde mis en place :

  • Les PC synchronisent leurs diverses données sur les partages samba.
  • Le NAS réalise l'équivalent d'un snapshot inaccessible du réseau 1x/semaine.
  • Le NAS se sauvegarde sur le Cloud 1x/semaine.

Mise à jour du matériel

A la faveur d'une augmentation (merci patron !), et l'envie de se faire plaisir aussi, j'achète pendant les soldes d'automne un NAS 4 baies QNAP TS-421 plus moderne. Le choix de ce modèle se fait car :

  • Je souhaite 4 baies pour pouvoir évoluer et pour me débarrasser de la baie USB utilisée précédemment.
  • Ce modèle était en promo chez LDLC (raison principale !)
  • Je voulait un modèle d'une grande marque pour éviter le bus factor = 1 dans ma famille. Si il m'arrive quelque chose, et que ma famille doit prendre le NAS en main, autant un réparateur informatique saura se débrouiller avec une marque, autant je n'ai aucune illusion sur sa maitrise de la ligne de commande sous linux, malheureusement…

Première surprise, l'interface web est d'une lourdeur sans nom (j'étais habitué à un firmware custom sur une brouette, donc quelques pages PHP ou statiques sans AJAX, et la flexibilité de la ligne de commande ssh…) mais je m'y astreint.
Après tout, c'est ce que les pros utilisent en entreprise, non ?
Le firmware QNAP n'autorisant pas les bidouilles à base de mdadm sur des portions de disque, je me laisse guider par l'installeur. Je vous passe les détails de la galère pour transférer des données quand le nouveau NAS veut absolument formater les disques avant de les utiliser, et que la seule solution c'est de passer par un transfert réseau qui prend 2 semaines (même si je meurt d'envie de vous la raconter !) car ce premier journal commence à être long.

Au final sur la bête :

  • 1 RAID1 sur les 2 disques 1To et 3To, capacité utile 1To évidemment et le firmware ne me laisse pas toucher aux 2To inutilisés de mon gros disque.
    • Une couche LVM par dessus qui permet de créer des volumes séparés, et sur laquelle le firmware se base pour faire des snapshots visiblement (je ne maitrise pas du tout LVM et de toutes façons, je ne peut rien faire en ligne de commande sans planter le firmware qui a la main sur tout…).
  • 1 disque seul de 250Go que je garde par principe (je dis non à l'obsolescence programmée).

Du point de vue des sauvegardes, le schéma devient le suivant :

  • Chaque PC se sauvegarde sur un partage réseau comme d'habitude (Windows n'y a vu que du feu, si ce n'est que c'est beaucoup plus rapide !) sur le RAID1 1To.
  • L'instance Syncthing est installée sur le disque seul de 250Go car les données y sont temporaires (tous les 3 mois je trie les photos et je les intègre dans les fichiers sauvegardés par Windows) ou non sensibles.
  • Le NAS fait des snapshots 1x/semaine via LVM, ce qui me permettra de revenir en arrière si je me prend un ransomware dans le partage réseau (2e niveau de sauvegarde).
  • Le NAS se copie de même 1x/semaine sur le stockage objet de OVH via l'utilitaire QNAP HBS3 Hybrid Backup Sync qui me permet théoriquement (spoiler!) d'avoir une sauvegarde historisée sur 4 semaines et de restaurer en quelques clics les données sur le NAS à partir d'internet si besoin.

Je suis content de moi, j'ai un nouveau joujou, je l'ai paramétré tout seul comme un grand. Je fait confiance aveugle en ce fabricant reconnu, le truc doit marcher tout seul, je reçoit une notification par mail si la sauvegarde marche et si la sauvegarde ne marche pas, bref, c'est un truc de pro (non ?).

Ajout d'un disque, fausse manip' et restauration

Arrive le Black Friday, ode à la consommation, qui tombe surtout pendant 2 semaines d'arrêt de travail (pour une intervention programmée, peu importe). Note à moi même : ne jamais être en congés pendant le Black Friday…
Bref, j'attendais ce moment pour acheter un disque de 3To, dans le but de remplacer le disque 1To et ainsi augmenter la taille utile de mon RAID1. De plus, le disque 1To pourra mirorer le disque 250Go, et ainsi je souhaite avoir 2 pools RAID1.
Sur le papier c'est simple…

  • J'installe le nouveau disque dans la baie disponible. Ca fait bip bip, c'est bon signe.
  • Je me connecte au clicodrome à l'interface utilisateur du NAS.
  • Cool, il y a une option "remplacer les disques 1 par 1", je clique.
    • "Sélectionnez le disque à remplacer" : facile !
    • "Retirez le disque avant de continuer" : heu, t'es sérieux ? nope !
    • J'annule la procédure. Le truc veut sérieusement que je dégrade mon RAID1, pour le reconstruire sur le nouveau disque ? Et si le disque restant lâche pendant ce temps, je fait quoi ? Je suis un partisan du RAID1 à 3 disques moi à la base !
  • Tient, il y a une option "migrer le RAID" qui me permet d'ajouter un disque. C'est ce que je veux : je passe sur un RAID1 3 disques, puis une fois le miroir répliqué, je repasse à 2 disques en virant le disque 1To, non?
    • Comme un âne, je lance la procédure sans lire la doc. Ca va prendre plusieurs heures de toutes façons.
    • Pendant la reconstruction, je fouille dans les détails de l'affichage, et je vois effaré : migration RAID5 en cours.
  • Donc à cause d'une interface non claire, je me retrouve avec un RAID5 au lieu d'un RAID1 3 disques.
    • Impossible de rétrograder le RAID5 en RAID1 dans l'interface (pourtant, je sais que mdadm sait le faire…).
    • Tolérance aux pannes de 1 disque et non 2 disques, ça ne me plait pas…
    • Impossible dans ces conditions de mettre un RAID1 sur le disque de 250GO car je n'ai plus de disque disponible.
  • Un petit tour sur le forum du fabricant me confirme que les gens de chez QNAP sont persuadés que le seul RAID possible avec 3 disques c'est le RAID5, les clients qui veulent faire du mirroring sur 3 disques c'est des cons ils n'y connaissent rien !

Je doit donc trouver moyen d'arriver à mes fins. Heureusement, j'ai une sauvegarde sur le cloud ! Il me suffit de tout effacer sur le NAS, de recréer mes RAID comme je le souhaite, puis de restaurer les données. Windows n'y verra que du feu…

Éclair de lucidité

"Et si la restauration ne fonctionne pas ?" On a tous une petite voix dans la tête qui nous sauve d'une erreur fatale, ce jour là elle m'a été fort utile…
C'est en effet une bonne idée de vérifier la restauration avant de tout effacer. Après tout, grâce au RAID5 mes données sont protégées malgré tout, et j'ai un peu d'espace disque supplémentaire. Donc je crée une partition avec LVM pour tester la restauration et je lance le processus le soir avant de me coucher.

Le lendemain matin : 1987 e-mails sur mon téléphone : impossible de télécharger le fichier [...]. Vous n'avez pas l'autorisation d'accéder à ce fichier. Vérifiez les autorisation d'accès.. J'ai connu des réveils plus sympas…
Je tente de me connecter au NAS : l'interface web ne répond pas.
Je tente de me connecter en ssh : timeout.
J'actualise ma boite mail : 200 mails supplémentaires. Visiblement il continue le bougre !
Je passe dans le garage : les disques ne grattent pas. Je tente d'arrêter le NAS via le bouton en façade (qui doit arrêter les services et démonter proprement les disques) : aucune réaction.
De panique (suis-je en train de me faire cryptolocker?), je coupe l'alimentation du NAS.

Redémarrage

Je redémarre, et la goutte au front, j'attends l'initialisation de l'appareil, si toutefois il accepte…
Résultat : l'interface apparait, mais tout est en erreur, le système n'a plus d'espace disque. Les partages ne se montent pas, et les systèmes de fichiers sont en "lecture-effacement".
Visiblement, le merveilleux outil HBS Hybrid Backup Sync a pollué avec des fichiers temporaires la partition où il était installé, et il s'est bloqué tout seul le con ! Il n'y a pas à dire, QNAP c'est du matos de pro (ironie). Aucune option pour supprimer les fichiers temporaires dans HBS…
Je me connecte en ssh, impossible de trouver où il stocke ces fichiers. Il n'y a même pas les coreutils installés, dont je ne peux rien chercher confortablement en ligne de commande.

Je décide alors d'agrandir largement la partition dédiée (merci LVM) et de retenter une restauration.
Après une journée d'angoisse (pas osé le refaire la nuit), le sacro-saint e-mail de notification "Restauration terminée" m'arrive au boulot. Ouf.
En prime, l'outil a supprimé ses fichiers temporaires, y compris ceux de la tentative échouée précédemment.

Bref, j'en profite pour vérifier avec une VM que la sauvegarde est bien navigable par Windows, et je remet mon plan à exécution.

  • Suppression du RAID5 et des partitions associées.
  • Création d'un RAID1 avec mes 2 disques de 3 To.
  • Migration (cette fois c'est le bon terme!) de mon disque 250Go vers un RAID1 à l'aide de mon disque de 1 To.
  • Restauration des données à l'aide de HBS (on croise les doigts… ouf ça passe !)
  • Réactivation du partage de fichiers, pour reprendre la sauvegarde Windows qui traine depuis 2 semaines maintenant.

Ouf !

Moralité

Ce qui suit n'engage que moi, toute discussion est bienvenue en commentaires !

  • Toujours, toujours, toujours (!) tester son système de sauvegarde. J'ai failli me retrouver à poil à cause d'une confiance aveugle en des outils manifestement codés avec les pieds (et je reste poli).
  • Toujours, toujours, toujours (!) privilégier les sauvegardes lisibles sans outil particulier.
    • Prochaine étape, se débarrasser de l'outil bugué HBS pour un bon vieux rclone sur le Cloud sans déduplication ni compression (vu le prix au Go, je ne vais pas me priver).
    • Ensuite, envisager de se débarrasser de l'outil Windows, car visiblement il est déprécié dans W11, et ça je ne l'avais pas vu venir !
  • Pour mon prochain NAS, ce sera du home-made avec une Debian, tant pis pour le bus factor. Le clicodrome pour débiles de chez QNAP ne donne aucune maitrise sur ce qui se passe sur les disques, la société prend des décisions pour nous (interdiction du RAID 1 à 3 disques, obligation de dégrader le RAID pour changer les disques…) indignes d'une telle entreprise.

Et surtout, surtout, je m'interroge : vous les vrais IT, vous utilisez quoi au boulot ? Ce genre d'interface buguée ne vous pose pas de problèmes ? Je suis conscient qu'un NAS 4 baies ne convient pas à une grande entreprise, mais dans les PME il me semble qu'il a toute sa place… et la même interface se retrouve sur les NAS plus gros de la marque !

En tout cas, merci de m'avoir lu jusque là (si vous y êtes arrivés !).

  • # Synology 4 baies pour le stockage, Borg pour la sauvegarde (pas de solution Linux de ce côté)

    Posté par  (site web personnel, Mastodon) . Évalué à 8. Dernière modification le 13 décembre 2021 à 15:21.

    Merci pour ce rappel toujours important !

    Personnellement j’ai utilisé des NAS Synology 4 baies, à mon ancien boulot (PME, versions avec disques remplaçables à chaud) comme chez moi (2 baies utilisées seulement pour l’instant, pas de remplacement à chaud, mais je n’ai pas de contrainte de service :) ).

    L’interface est un clickodrôme aussi, mais je n’ai jamais eu de mal à retrouver mes petits et les NAS ont toujours fait ce que j’avais l’impression de faire – aucune surprise de ce côté là.

    Par contre je les ai toujours utilisé en mode le plus « stupide » possible : ils sont là pour stocker mes données, point barre. Le reste, en particulier la procédure de sauvegarde, c’est moi qui gère. Je n’ai pas non plus testé de configurations de disques exotiques, même si je sais que Synology annonce gérer les disques de tailles différentes.

    J’ai testé pas mal de choses (Bacula en entreprise – trop chiant à configurer même si très puissant –, l’outil intégré à Ubuntu chez moi…) et j’en suis arrivé à la conclusion que Borg est l’outil parfait pour la plupart des cas, parce qu’il gère la sauvegarde avec compression, déduplication, chiffrement, versionnage paramétrable, et sauvegarde distante (dans les deux sens : sauvegarde d’un ordinateur distant et envoi de la sauvegarde sur un serveur distant), le tout en étant plutôt simple de configuration. Et il y a même des scripts pour simplifier la configuration si c’est encore trop compliqué (mais je n’ai plus le nom sous la main).

    Le principal défaut que je lui trouverais, c’est qu’il n’a pas de client Windows. Il doit y avoir moyen de faire quelque chose en synchronisant le Windows sur un partage du NAS et en sauvegardant ce partage (non testé, mais je suis preneur d’une solution).

    La documentation de Borg

    La connaissance libre : https://zestedesavoir.com

    • [^] # Re: Synology 4 baies pour le stockage, Borg pour la sauvegarde (pas de solution Linux de ce côté)

      Posté par  . Évalué à 1.

      Merci pour cette réponse.

      Borg est intéressant pour du backup sur un stockage fichier (avec accès ssh).
      Si vous connaissez des fournisseurs de Cloud qui proposent du stockage fichier accessible de l'extérieur en ssh ou ftp, à un prix similaire au stockage objet, faites-moi signe (j'ai cherché à l'époque, sans succès).

      Si un jour j'abandonne W10 pour du full-linux, ce sera probablement mon choix pour la sauvegarde de 1er niveau.

    • [^] # Re: Synology 4 baies pour le stockage, Borg pour la sauvegarde (pas de solution Linux de ce côté)

      Posté par  . Évalué à 1.

      Le principal défaut que je lui trouverais, c’est qu’il n’a pas de client Windows. Il doit y avoir moyen de faire quelque chose en synchronisant le Windows sur un partage du NAS et en sauvegardant ce partage (non testé, mais je suis preneur d’une solution).

      Je rajoute ce commentaire, car justement la solution que j'utilise, c'est la "Sauvegarde" (ou "Historique des fichiers", ou "File history") de Windows 10, qui se sauvegarde sur le NAS de manière transparente et intégrée au système.
      Ce n'est pas une sauvegarde système complète, juste un suivi de version sur le dossier personnel des utilisateurs, mais c'est tout ce qu'on lui demande (et la liste des dossiers surveillés est paramétrable). Un système ça se réinstalle de zéro, ou alors ça se clone de temps en temps…

  • # Samba en entreprise et synology a la maison

    Posté par  (site web personnel) . Évalué à 4.

    Salut,
    alors en entreprise pour le stockage des fichiers nous utilisons des vm ubuntu serveur avec des partages samba.
    Pour la sauvegarde des fichiers, nous utilisons des serveurs qui sont dans un autre bâtiment qui font tourner du debian avec rsnasphot qui se connecte en rsync sur ssh pour backuper nos serveurs de fichier samba.
    Nous avons deux machines de sauvegarde et rsnapshot tourne tous les deux heures (un fait les heures paires et l'autre les impaires.
    nous avons une volumétrie de 1.7 To (ça parait peux mais c'est surtout de la bureautique et des plans de fabrication).

    A la maison c'est un nas synology un ds218+ avec deux disques de 6To en raid1
    pour les sauvegardes j'utilise hyper-backup qui me backup le nas chez infomaniak sur du swift.
    Deux fois l'an je copie le nas sur un disque usb externe que je met en lieu sur

    Il est important de faire des testes de restauration régulièrement, pour éviter de mauvaise surprise

    • [^] # Re: Samba en entreprise et synology a la maison

      Posté par  . Évalué à 2.

      Merci pour ce retour

      Hyper-backup est de ce que j'en comprends l'équivalent de HBS chez QNAP. Il sauvegarde donc les données sous un format non standard (?). Cela ne te dérange pas (vraie question) ?

      Qu'as tu envisagé dans le cas où le NAS tombe en rade (incendie, vol…) et où tout ce qu'il te reste, c'est la sauvegarde Cloud à redescendre sur un système vierge ?

      Pour ma part il y a un outil QNAP pour Windows et Linux pour monter le stockage objet et explorer les sauvegardes directement sur un PC, je vais le tester plus en profondeur très bientôt…

      • [^] # Re: Samba en entreprise et synology a la maison

        Posté par  (site web personnel) . Évalué à 2.

        alors en cas de destruction du nas, je le remplace.
        Bon blague a part c'est clair que en cas d'incendie par exemple le nas ne sera pas une priorité mais ce qu'il y a dessus si.
        Dans ce cas je restaure depuis le nas de ma mère ce qu'il me faut.

      • [^] # Re: Samba en entreprise et synology a la maison

        Posté par  . Évalué à 3.

        HyperBackup permet plusieurs configurations différentes.
        L'historique (qu'ils ont enlevé puis remis plusieurs fois) fait l'équivalent d'un rsync, et les fichiers sont donc disponibles nativement sur la destination, qui peut etre un autre Nas ou un bete disque USB
        Il permet également d'utiliser son format de fichier propriétaire, qui permt versionning, chiffrement, compression etc …
        En cas de destruction du synology, il existe un logiciel (pour windows, sans doute mac et linux aussi) qui permet de monter le fichier archivé même sans nas de disponible. J'avoue honteusement n'avoir jamais vérifié que ca fonctionne car je vérifie les restaurations depuis le NAS directement … et ce journal vient de me donner envie de le faire.

  • # Re

    Posté par  (site web personnel) . Évalué à 2.

    Merci pour ce chouette journal.

    J'ai eu des mauvaises surprises de sauvegarde aussi, et depuis j'ai mis quelques tests un peu plus sérieux sur mon script. Je ne veux pas tester la vraie sauvegarde parce qu'elle fait plusieurs Go et est sur S3 mais j'ai quelques scripts qui font une sauvegarde bidon et vérifient la liste des fichiers stockés à distance.

    N'étant pas un pro je fais juste une sauvegarde locale sur un disque externe, chiffré, et une sauvegarde chiffrée à distance. Ça me fait trois versions des données, ce qui me semble pas mal. Ça fait aussi un moment que je me dis qu'il faut que je fasse un script de restauration et aussi que je devrais garder quelques anciennes sauvegardes (la veille, une semaine et un mois) au cas où je me ferai cryptolocker. Ton journal est un bon rappel :)

    • [^] # Re: Re

      Posté par  . Évalué à 2.

      Merci

      Tu dis ne pas pouvoir tester la sauvegarde car elle fait plusieurs Go : attention ! Le jour où un pépin arrive, oseras-tu lancer la restauration si elle doit prendre 2 semaines ?
      Pour ma part, j'ai acheté un nouveau NAS pour cette raison (cf journal), mais c'est clair que sans accès Fibre, je n'aurais jamais mis en place de sauvegarde dans le Cloud…
      Et si tu n'oses pas restaurer ta sauvegarde, à quoi bon la faire ?

      Si vraiment tu veux tester tes scripts, je te conseille de sauvegarder un petit dossier, et de tenter de restaurer "pour de vrai". Cela te donnera une idée du temps nécessaire pour la vraie sauvegarde, et le contrôle d'intégrité est facile à faire à la main…
      Je ne l'ai pas écrit dans le journal, mais c'est comme ça que j'ai testé mes restaurations : avec un simple dossier contenant 10 photos (parce que même avec la fibre, +200 Go de données, c'est long à télécharger !).

      Je parais sans doute paranoïaque dans mes commentaires, mais j'ai vécu il y a 10 ans une grosse perte de données chez mes parents (ah les débuts de la photo numérique) et depuis ce jour j'ai cette épée de Damoclès en permanence au dessus de mes ordis…

      • [^] # Re: Re

        Posté par  . Évalué à 5.

        Je ne sais pas ce que tu appelles tester la sauvegarde mais il me semble évident qu'il ne s'agit pas de vérifier chacun des fichiers (surtout si on a plusieurs dizaines de milliers de photos, par exemple). Un compromis entre une vraie restauration (à effectuer quand même de temps en temps) et rien, consiste à faire un montage de type Fuse par exemple, comme permis par borg ou restic (directement sur le cloud pour ce dernier) et vérifier quelques fichiers au hasard et parcourir un peu l'arborescence.

        • [^] # Re: Re

          Posté par  . Évalué à 4.

          Ce que j'appelle "tester la sauvegarde", c'est justement être sûr de pouvoir récupérer les données du Cloud (le "1" de la sauvegarde "3-2-1") si les données locales (le "3" et le "2") ont disparu !

          Souhaites-tu monter l'archive distante via Fuse, et copier les fichiers à grand coups de cp ?
          Souhaites-tu télécharger les données dans une partition temporaire dédiée, puis copier via cp en local ?
          Souhaites-tu restaurer la sauvegarde directement à sa place en local (en écrasant les fichiers) ?
          As-tu besoin d'un script car il y a 50 emplacements différents dans la même sauvegarde ?

          Quel que soit ton choix, ce que j'appelle "tester la sauvegarde" c'est être capable de le faire sans hésiter en situation de stress, et ne pas découvrir au dernier moment que ton outil se heurte à un problème de droit d'accès, d'id utilisateur incohérent, ou que la version dans ta distro n'est pas compatible avec la version packagée dans le NAS.
          Quand on a fait ça, on peut dormir tranquille car on SAIT que ça marche, même si on est en stress.

          Bref, faire une vraie restauration.

          • [^] # Re: Re

            Posté par  (site web personnel) . Évalué à 2.

            Bref, faire une vraie restauration.

            rien de tel qu'un bon jambon / fromage / cornichons :-)

            (ou sinon, agneau + patates + poivre aux 5 épices, un régal !)

            • [^] # Re: miam

              Posté par  (site web personnel, Mastodon) . Évalué à 3.

              Oh non… c'est reparti pour une tartifletterie

              “It is seldom that liberty of any kind is lost all at once.” ― David Hume

      • [^] # Re: Re

        Posté par  . Évalué à 5.

        Tu dis ne pas pouvoir tester la sauvegarde car elle fait plusieurs Go.

        Dans de nombreux cas, il y a une facturation associée aux transferts (ingress et egress comme ils disent) et dans le cas des egress, c'est souvent salé car le fournisseur sait que tu n'as pas trop le choix, tu as en principe perdu tes données. Outre la compatibilité S3, c'est ce point qui m'a fait préférer Wasabi à B2 (à tarif similaire) car il n'y a aucun coût de transfert sur Wasabi et on peut donc tester la restauration sans arrière pensée financière.

        • [^] # Re: Re

          Posté par  . Évalué à 1.

          Oui c'est vrai.
          Dans mon cas, le tarif est négligeable (200 Go chez OVH) donc j'ai choisi de faire le test en réel.
          Mais comme je le disais, un test de nos process de restauration sur une petite sauvegarde fictive (dossier de 10 fichiers) permet pour un coût modique de sécuriser cette partie importante du backup.

      • [^] # Re: Re

        Posté par  (site web personnel) . Évalué à 2.

        Malheureusement si j'en suis à devoir récupérer la sauvegarde S3 c'est que plus rien ne va, donc si c'est deux semaines ça sera deux semaines :/

        Pour les tests, comme tu le conseilles, je travaille avec un petit dossier. Il faut juste que je me motive à faire le test, de préférence avant que les problèmes n'arrivent…

  • # Achetez des disques qui ne planteront pas pendant la reconstruction du RAID

    Posté par  (site web personnel, Mastodon) . Évalué à 10. Dernière modification le 13 décembre 2021 à 16:04.

    Ah tant que j’y suis : avant d’acheter vos disques pour votre NAS, vous devriez vérifier s’ils sont capables de supporter la recréation du RAID. Parce que souvent ça n’est pas du tout garanti avec les disques dur standard (il y a un calcul à faire en fonction de vos disques, de leur taille et du type de RAID) – et que si votre RAID échoue à la reconstruction, c’est comme si vous n’en aviez pas…

    (Idem si vous voulez réutiliser de vieux disques, hein !)

    La connaissance libre : https://zestedesavoir.com

    • [^] # Re: Achetez des disques qui ne planteront pas pendant la reconstruction du RAID

      Posté par  . Évalué à 3.

      Article intéressant, merci.
      Pour ma part, c'est pour ça que je suis un partisan du RAID1 à 3 disques : sacré perte de capacité (1/3 de capacité utile) mais double redondance qui sécurise la reconstruction du RAID…

      Et c'est aussi pour ça que je bénie les fournisseurs de Cloud, qui nous permettent aujourd'hui en tant que simples particuliers d'avoir des To de stockage distant pour quelques € par mois…

      • [^] # Re: Achetez des disques qui ne planteront pas pendant la reconstruction du RAID

        Posté par  . Évalué à 2. Dernière modification le 13 décembre 2021 à 16:18.

        Le raid 1 de btrfs, c'est la somme des disques / 2. Ainsi par exemple, avec 3 disques de 1 To, tu as quand même 1,5 To de disponible. Le "sacrifice" est moins grand. De plus, on peut avoir des disques de taille différente, ça sera toujours la somme divisée par deux.

        • [^] # Re: Achetez des disques qui ne planteront pas pendant la reconstruction du RAID

          Posté par  . Évalué à 1.

          Donc c'est du RAID5.

          Si tu perds 2 disques, t'es mort, un simple disque de 1 To ne peut pas te restaurer 1,5 To de données…

          • [^] # Re: Achetez des disques qui ne planteront pas pendant la reconstruction du RAID

            Posté par  . Évalué à 2.

            btrfs appelle ça du raid 1 mais c'est sans doute un abus de langage (ils ont aussi du raid 5, donc je suppose que ce n'est pas pareil). Perdre d'un coup deux disques sur trois me paraît un risque acceptable en ce qui me concerne. Dans ton raid 1 "classique", si tu perds les 3 disques, tu es mort aussi. Pourtant tu n'en mets pas quatre.

            • [^] # Re: Achetez des disques qui ne planteront pas pendant la reconstruction du RAID

              Posté par  . Évalué à 3.

              Bien sûr, chacun place le risque acceptable là où il le souhaite ;-)

              Toutefois, en réaction à l'article cité par SpaceFox, le risque qu'un disque survivant du miroir lâche pendant la reconstruction est assez important, car c'est une lecture intensive du disque. Et en RAID5 tu es obligé de lire les 2 disques restant pour calculer les données.
              Tu ne perds pas d'un coup 2 disques : tu perds 1 disque, puis tu mets à genou le 2e qui te claque dans les mains !

              Mon point de vue est que en RAID 1 à 3 disques, si tu dois reconstruire le 3e disque, la lecture intensive se fera sur 1 seul disque. Si il lâche il reste le 2e disque (et là on croise les doigts!).
              Plus nos disques deviennent gros, plus la dangerosité d'une reconstruction devient importante, d'où ma préférence pour une double redondance aujourd'hui.

              D'ailleurs, ne serait-il pas intéressant de pouvoir reconstruire lentement les RAID (surtout si il y a une double redondance, RAID 1 à 3 disques ou RAID 6…) pour ne pas faire souffrir les disques ?

              • [^] # Re: Achetez des disques qui ne planteront pas pendant la reconstruction du RAID

                Posté par  (site web personnel, Mastodon) . Évalué à 2.

                Il y a deux effets mélangés :

                • La surcharge des disques qui doivent d’un coup tout lire ou écrire d’un coup (problème mitigé par une reconstruction « lente » éventuelle) ;
                • Mais surtout le taux moyen d’erreurs de lecture/écriture, qui lui ne change pas selon la vitesse des disques. C’est la quantité de données à lire et à écrire qui pose problème, et cette quantité est fixe pour l’étape de reconstruction (à type de RAID et capacités données).

                La formule se base exclusivement sur le taux d’erreur de lecture/écriture irrécupérables.

                La connaissance libre : https://zestedesavoir.com

                • [^] # Re: Achetez des disques qui ne planteront pas pendant la reconstruction du RAID

                  Posté par  . Évalué à 2. Dernière modification le 13 décembre 2021 à 17:09.

                  Avec btrfs raid 1, la problématique du taux d'erreurs n'existe pas, me semble t-il, puisque les blocs de données ont un checksum dupliqué sur chaque disque. Les erreurs sont donc détectables et peuvent être corrigées.

                  La question de la surcharge est pertinente. J'ignore s'il y a moyen de ralentir la reconstruction avec btrfs, même si en théorie rien ne s'y opposerait puisqu'il s'agit uniquement de logiciel (et non d'un firmware dans un contrôleur).

                  Et avec des SSD, cette question se pose aussi ?

              • [^] # Re: Achetez des disques qui ne planteront pas pendant la reconstruction du RAID

                Posté par  (site web personnel) . Évalué à 2.

                Tu ne perds pas d'un coup 2 disques : tu perds 1 disque, puis tu mets à genou le 2e qui te claque dans les mains !

                oui ! c'est exactement ça /o\
                et, là, tu pleures 'o_O'

          • [^] # Re: Achetez des disques qui ne planteront pas pendant la reconstruction du RAID

            Posté par  . Évalué à 4.

            En fait, tu peux choisir :
            - RAID1 "standard" : BTRFS s'assure qu'il existe deux copies de chaque bloc de données sur deux disques physiques différents (= 1.5TB utiles sur 3 disques de 1TB, 2TB utiles sur 2x1TB+2TB, par exemple).
            - RAID1C3 : BTRFS s'assure qu'il existe trois copies de chaque bloc de données sur trois disques physiques différents (= 1TB utile sur 3 disques de 1TB).

      • [^] # Re: Achetez des disques qui ne planteront pas pendant la reconstruction du RAID

        Posté par  (site web personnel, Mastodon) . Évalué à 2.

        Et c'est aussi pour ça que je bénie les fournisseurs de Cloud, qui nous permettent aujourd'hui en tant que simples particuliers d'avoir des To de stockage distant pour quelques € par mois…

        À condition d’avoir une connexion haut débit en upload (fibre ou VDSL près du central)… ce qui n’est pas toujours le cas, même en centre ville d’une grosse ville. Je tiens à ne surtout pas remercier Orange qui a son répartiteur dans la rue, qui a fibré l’immeuble voisin, et qui me promets depuis deux ans et demie que mon immeuble sera fibré « bientôt » (et oui, ils ont les autorisations du syndic et tout).

        La connaissance libre : https://zestedesavoir.com

    • [^] # Re: Achetez des disques qui ne planteront pas pendant la reconstruction du RAID

      Posté par  . Évalué à 3.

      Depuis que je sais ça, je fais du RAID10 sur mes NAS et du RAID6 sur mes serveurs de sauvegarde.

      Chose intéressante : avec un RAID hardware, pendant une reconstruction, ce sont les disques entiers qui vont être lus pour reconstruire celui qui a cassé.

      Avec du RAID soft (Linux md ou ZFS), ce ne sont que les zones occupées par des données qui le seront.

      L'avantage : si les disques sont remplis à 50%, la reconstruction va 2 fois plus vite, et le risque de rencontrer une URE est divisé par 2. Chouette non ?

      (chercher sur le net "Unrecoverable Read Error" ou "RAID URE" pour compléter ce qu'a posté SpaceFox).

    • [^] # Re: Achetez des disques qui ne planteront pas pendant la reconstruction du RAID

      Posté par  (site web personnel) . Évalué à 5. Dernière modification le 18 décembre 2021 à 15:16.

      Après en lisant ton article de l'époque, tes calculs sont fondés sur le fait que le RAID est reconstruit quand l'un des deux disques par exemple flanche. Ok.

      Mais dans le cadre d'une sauvegarde avec un NAS en RAID 1, en théorie tu as une copie supplémentaire que le RAID. À savoir la copie originale, admettons ton ordinateur.

      Donc si un disque dur du RAID du NAS flanche, tu peux reconstruire l'ensemble à partir du disque dur du RAID, mais tu as quand même une copie en plus. Donc même si la reconstruction du RAID échoue, rien n'est fichu pour autant tant que la copie d'origine tient.

      La probabilité qu'un problème grave (inondation, incendie, vol ou panne) arrive pendant que ton NAS est en convalescence reste peu élevé car c'est probablement une semaine de vulnérabilité sur 5-10 ans. Cela réduit considérablement selon moi le risque sans nécessiter d'avoir trop de disques juste au cas où qu'un pépin grave sur ton RAID survient.
      Cela n'est valable que dans le cas où le NAS n'est qu'une copie de données provenant d'autres machines, et non un lieu de stockage centralisé pour la maison.

  • # pas l'avis d'un pro

    Posté par  . Évalué à 5. Dernière modification le 13 décembre 2021 à 16:14.

    Bon, moi je ne suis pas un pro de l'administration système (même si j'ai été informaticien dans ma vie active), donc ma "solution" n'a pas forcément grande valeur.

    Quoiqu’il en soit, pour la sauvegarde, j'utilise une destination locale (des disques en raid sur mon propre PC, je n'ai pas de NAS) et un cloud (Wasabi, un object storage compatible S3). La sauvegarde locale s'effectue avec borg, tandis que la sauvegarde cloud s'effectue avec restic ; ceci afin de ne pas mettre tous mes œufs dans le même panier logiciel.

    Pour compléter, mes disques locaux sont sous btrfs en raid 1 car il m'est arrivé - il y a longtemps - d'avoir des corruptions de fichiers dues à un contrôleur raid matériel ayant un firmware vérolé => mes sauvegardes étaient également vérolées et comme il s'agissait de musique, même mes contrôles périodiques de restauration ne me permettaient pas de détecter le problème (les corruptions n'empêchaient pas l'ouverture des fichiers mp3 concernés). Après quelques purges d'historiques anciens, les versions non vérolées avaient disparues. Le raid 1 de btrfs permet de détecter ces corruptions et de les corriger.

    J'évite donc autant que possible de purger le passé. Le coût des disques durs et même du cloud me le permette, et la déduplication offerte par borg et restic évite de rendre cette stratégie rédhibitoire d'autant qu'elle permet aussi le renommage ou la réorganisation de l'arborescence des fichiers sans impact sur la taille de la sauvegarde.

    A ta liste je rajouterais : s'assurer que ce qu'on cherche à sauvegarder est encore intact (ou alors ne jamais purger l'historique). En revanche, ton exigence d'avoir toujours des sauvegardes "en clair" m'interpelle ; chez moi elles sont toujours chiffrées (même localement). Peut-être ai-je mal compris ce que tu voulais dire ?

    Mais je suis peut-être un peu hors sujet par rapport à la question posée…

    • [^] # Re: pas l'avis d'un pro

      Posté par  . Évalué à 3.

      Merci pour ce commentaire

      Par "sauvegarde en clair", je voulais dire que sans logiciel propriétaire spécifique, la sauvegarde est téléchargeable et lisible sur un PC vierge.
      En clair, l'équivalent d'un .tar.gz en plus moderne.
      Si mon NAS QNAP disparait, l'outil "HBS" que j'utilise ne m'est plus accessible, mes sauvegardes non plus… C'est ça que je veux éviter !

      Évidement, mes sauvegardes sont chiffrées (même si là aussi, je ne suis pas satisfait d'utiliser l'outil propriétaire HBS pour chiffrer les données : quid si je n'ai plus accès à cet outil ?)

      Merci pour restic, je vais regarder ça. Même si je pense que je basculerai sur rclone, car j'ai l'habitude de cet outil…

      • [^] # Re: pas l'avis d'un pro

        Posté par  . Évalué à 3. Dernière modification le 13 décembre 2021 à 16:38.

        restic peut fonctionner avec rclone mais c'est la plupart du temps inutile car il intègre de plus en plus de backend. J'ai utilisé rclone dans le passé pour envoyer mes backups borg sur le cloud (borg ne sait pas faire). Par rapport à rclone, restic offre en plus la déduplication qui pour moi est indispensable car je veux être libre de renommer/changer mon organisation de fichiers sans contrainte (et sans du coup exploser la taille des sauvegardes). Ce n'est pas forcément le cas de tout le monde et dans ce cas rclone est parfait.

        Je comprends ce que tu voulais dire par "sauvegardes lisibles sans outil particulier propriétaire". restic impose restic pour lire une sauvegarde (idem borg). Le risque est cependant amoindri par le fait qu'il s'agit de logiciels libres.

  • # Bus factor

    Posté par  . Évalué à 8.

    A la maison, je suis comme toi, je me suis monté un NAS, avec une debian et du Btrfs (j'adore leur manière de faire du RAID).
    Pour ton histoire de bus factor, je pars du principe que si je disparais, il faut que ça soit le plus simple pour ma famille. En gros, je considère que le NAS est un "jouet" pour moi et la famille, et que tous les backup que je fais, c'est pour moi, pas pour la famille.

    En fait, en plus de tous les backups "techniques" que je fais, j'en rajoute un sur un disque USB de 2To. Ainsi, s'il m'arrive une bricole, ma famille peut tout bazarder mes serveurs, NAS, switch, etc… et ne garder qu'un disque USB (en NTFS), qu'ils n'auront qu'à brancher sur n'importe quel PC pour avoir tout ce qui est important (documents, photos, etc…).

    • [^] # Re: Bus factor

      Posté par  . Évalué à 9.

      Cet aspect est souvent négligé, en effet. Et ça ne concerne pas que le backup mais aussi des trucs comme l'auto-hébergement des mails que j'ai abandonné il y a quelques années quand je me suis rendu compte de l'impact sur mes proches si je venais à disparaître soudainement.

      • [^] # Re: Bus factor

        Posté par  . Évalué à 3.

        Je pertinente car c'est incroyablement important quand on le réalise…

  • # Post-it mais solution

    Posté par  . Évalué à 6.

    J'ai littéralement pourri de post-it et dictons en tout genre le mur qui se trouve derrière mon mentor qui va partir en retraire ;o(

    L'un des plus gros, comic-sans-ms-gras-taille-60 est : "Backup non testée, backup non faite".

    Ce postit a été rajouté quelques mois après mon arrivée quand on a du remonter une backup sqlserver suite à un crash serveur. Spoiler alerte : erreur copier/coller et le fichier de backup n'était pas le bon depuis genre toujours…

    L'une des problématiques concrète est comment s'assurer sur le long terme et régulièrement que la backup est bonne ?

    Solutions simples :

    1. pour une application développée en interne, le développeur resynchronise régulièrement son environnement de dév (base de données) avec la backup de la veille.
    2. pour une application achetée/presta, disposer d'un environnement de test qu'on va synchroniser régulièrement et sur lequel les utilisateurs font se lâcher leurs essais.

  • # Encore un journal sur la sauvegarde !

    Posté par  (site web personnel, Mastodon) . Évalué à 4.

    Je vois que mes journaux sur la sauvegarde font des petits :-)
    Je suis également un parano de la perte des données et je passe pas mal de temps à améliorer sans cesse mon dispositif de sauvegarde en partageant régulièrement mon expérience ici même. D'ailleurs je prépare un prochain journal sur la notion d'archivage.

    A part ça pour répondre à ta question, mon dispositif de sauvegarde local est basé

    Côté hard
    - sur un serveur dell poweredge T310 avec 6To utiles montés en RAID5
    - sur un terramaster D5-300C 5 baies avec une intelligence très limitée ce qui permet de l'administrer comme je le souhaite
    - un disque externe de 4To
    - un autre PC avec une disque de 4To pour faire des copies croisées
    - un portable pour faire des copies croisées (limitées

    Côté logiciel
    - btrfs
    - borg
    - unison

    et pour le dispositif de sauvegarde distant
    - la solution kDrive d'infomaniak pour sauvegarder et partager les données de mon serveur dell mais également des téléphones du cercle familial
    - archivage chiffré sur Google Drive avec rclone

    Pour les curieux, voici les liens vers les pages de mon site qui décrivent tout ça
    - pour la sauvegarde avec borg, btrfs et borg https://www.funix.org/fr/linux/index.php?ref=sauvegarde
    - pour la sauvegarde dans le cloud https://www.funix.org/fr/linux/index.php?ref=sauvegarde-cloud

    En ce qui concerne la restauration, si la sauvegarde est locale ça ne devrait pas prendre trop de temps mais si la sauvegarde est distante, la restauration peut effectivement être potentiellement problématique. J'habite en bord de mer et on ne peut pas tout avoir je me contente d'une modeste liaison ADSL donc autant dire que le transfert sur le cloud m'a pris des semaines (au sens propre). Mais je considère qu'en cas de restauration, les données les plus importantes sont des données de bureautique qui pèsent pas bien lourd et que je récupèrerais rapidement, si je dois prendre encore un mois pour récupérer toutes mes photos et vidéos c'est pas bien grave.

    https://www.funix.org mettez un manchot dans votre PC

  • # Sinon la sobriété numérique c'est sympa aussi :D

    Posté par  . Évalué à 9. Dernière modification le 14 décembre 2021 à 09:08.

    Je vois beaucoup de matériel (des NAS, des serveurs, des redondances USB..) mais de mon côté j'ai décidé que la sobriété numérique devait aussi accompagner cette démarche.

    Donc oui, j'ai un NAS, un USB, un cloud. Je trie les données "importantes" des superflues, j'évite de me trouver avec 2To à sauvegarder, et il m'est même arrivé d'exclure ou supprimer des photos peu importantes :D

    Bref j'avais envie de pointer cette problématique qui n'est pas du tout considérée dans les commentaires de ce journal.

    Sinon PC -> volume chiffré Veracrypt sur un NAS en RSYNC, et PC -> Cloud en dedup et chiffré via RCLONE (bientot peut-être DUPLICATI), et occasionnellement NAS -> USB via DUPLICATI

    Comme j'accède à la partition Veracrypt du NAS, (en lecture seule depuis au moins 1 autre laptop, ca me permet de vérifier que la sync soit effective. Je fais des tests de restau depuis DUPLICATI également.

  • # Commentaire supprimé

    Posté par  . Évalué à 6.

    Ce commentaire a été supprimé par l’équipe de modération.

    • [^] # Re: raid 6

      Posté par  (Mastodon) . Évalué à 6.

      Pareil, après avoir eu le coup du RAID5 "j'ai un disque mort, je le change, je lance la resynchro, un 2nd meurt, j'ai tout perdu", je suis passé au RAID6.

      Après, heureusement rien de vital n'était dessus, et puis de toutes façons : RAID is no backup !

      En théorie, la théorie et la pratique c'est pareil. En pratique c'est pas vrai.

      • [^] # Re: raid 6

        Posté par  . Évalué à 4.

        et puis de toutes façons : RAID is no backup !

        Exactement ! Il faut plus voir le RAID comme un élément en faveur de la disponibilité. Si on efface un fichier par mégarde, le RAID ne vous sauvera pas.

        • [^] # Re: raid 6

          Posté par  (Mastodon) . Évalué à 3.

          Oui personnellement le raid pour du NAS ou des données personnelles, je préfère éviter car c'est du gaspillage d'argent qui est meilleur investi dans un budget backup et remplacement de disques réguliers.

          Je préfère avoir deux volumes sans RAID dans deux lieux différents avec des synchronisations régulières et une immutabilité des donnés (via des snapshots et un admin non supprimables via le matériel connecté au site primaire) que d'avoir un NAS unique avec du raid qui peut se retrouver cryptolocké du jour au lendemain ou des disques qui pètent.

          • [^] # Commentaire supprimé

            Posté par  . Évalué à 5.

            Ce commentaire a été supprimé par l’équipe de modération.

            • [^] # Re: raid 6

              Posté par  (Mastodon) . Évalué à 4. Dernière modification le 17 décembre 2021 à 08:52.

              Je parle de raid en opposition à avoir un backup redondant.

              À choisir je prends le second. À la maison en général à moins d'être un travailleur indépendant et d'y mettre tes données pros, quelques heures d'indisponibilités n'est pas la fin du monde. Et c'est uniquement à ça que sert le raid.

              Et si tu dois tout restaurer, ça a plus de sense d'aller rapatrier le volume de stockage du second site physiquement si la distance n'est pas trop élevée.

              L'essentiel est de toute manière de bien s'assurer de monitorer les disques et de les remplacer régulièrement. J'ai toujours un lab à la maison donc c'est ma maison de retraite pour les disques que je retire du service NAS après 3 ans. Ça me permet de faire tourner des VMs de tests, rester au jus des dernières techs au niveau des systèmes distribués, etc.

              • [^] # Re: raid 6

                Posté par  . Évalué à 4.

                Et c'est uniquement à ça que sert le raid.

                Il y a au moins une exception : en btrfs, le raid 1 (les autres types, je ne sais pas) permet la correction des erreurs disque. Sauvegarder, c'est bien, mais sauvegarder des données intègres, c'est mieux.

                • [^] # Re: raid 6

                  Posté par  (Mastodon) . Évalué à 3.

                  J'utilise zfs avec scrub régulier des données.

                • [^] # Re: raid 6

                  Posté par  (site web personnel, Mastodon) . Évalué à 1. Dernière modification le 17 décembre 2021 à 12:36.

                  Certaines configurations RAID améliorent aussi beaucoup les performances en lecture et écriture, ce qui est nécessaire pour certaines applications.

                  • [^] # Re: raid 6

                    Posté par  (Mastodon) . Évalué à 3.

                    Faut remettre la discussion dans son contexte. Je parle de "NAS à la maison", ce qui sous entend léger au niveau IOPS et bande passante, peu d'accès concurrents et essentiellement du contenu image, vidéo, audio et des documents de bureautique.

                    Je ne parle pas de faire tourner des VM dessus, de la VDI, ni de l'autohébergement, de streaming, accès DB, du trading temps réel ou autre truc un peu gruik.

                    Évidemment si vous utilisez ce NAS pour autre chose que le contexte cité plus haut, c'est une autre histoire.

                  • [^] # Re: raid 6

                    Posté par  (Mastodon) . Évalué à 4.

                    Accessoirement il y'en a ici qui font du raid avec du SSD? On l'utilise encore dans mon entreprise pour la plupart des usages, on sait jamais qu'un disque grille sans raison parce que son contrôleur est pourri. Par contre pour d'autres cas de figures, comme des systèmes distribués faisant du sharding avec n replicas (OSD ceph, nœud elasticsearch ou mongodb…) et des gros disques qui coûtent cher on l'a abandonné pour des raisons de coût, en gardant plutôt des spares. Parce que tout porte à croire que quand ils arriveront en fin de vie ces disques vont mourrir de manière totalement synchronisée donc le RAID ne serait de toute manière d'aucun secours.

                    • [^] # Re: raid 6

                      Posté par  . Évalué à 2.

                      Accessoirement il y'en a ici qui font du raid avec du SSD ?

                      J'ai en raid 1 btrfs :

                      / et /home sur une grappe de 2 ssd
                      /medias sur 1 grappe de 1 ssd et 2 hdd
                      /backup sur une grappe de 2 hd

                      Parce que tout porte à croire que quand ils arriveront en fin de vie ces disques vont mourir de manière totalement synchronisée donc le RAID ne serait de toute manière d'aucun secours.

                      Ce n'est pas un peu excessif de penser qu'ils vont mourir de manière totalement synchronisées ? Certes, il est recommandé de mettre des disques de type/marque différent (ou à minima de date d'achat bien différente) dans une même grappe mais à défaut de cette précaution, il y a tout de même très peu de chance qu'ils tombent tous en panne le même jour, non ?

                      • [^] # Re: raid 6

                        Posté par  (Mastodon) . Évalué à 5.

                        on parle de disques qui ont une quantité d'écriture finie.

                        Et en général quand tu achètes des serveurs chez Dell, Cisco, HP, et les autres à moins d'acheter des tailles différentes tu vas recevoir exactement le même modèle.

                        • [^] # Re: raid 6

                          Posté par  . Évalué à 2.

                          Dans ce cas, tu fais une utilisation d'un seul disque pendant une semaine (ou le délai que tu juges nécessaire) avant l'utilisation prévue. Dès qu'il lâche tu es bon pour la maj de la sauvegarde et tenter de sauver ce qui doit l'être.

                        • [^] # Re: raid 6

                          Posté par  . Évalué à 4.

                          À moins qu'il soit question des SSD maudits de chez intel qui se suicidaient au moment où ils atteignaient leur limite de garantie, la limite (effectivement bien réelle) du nombre d'écriture des cellules de mémoire flash est une moyenne.

                          Les constructeurs garantissent un certain nombre de téra-octets écrits (TBW), ça veut dire que si ton SSD tombe en panne avant d'avoir atteint cette limite ils te le rembourseront (ou remplaceront). Mais le SSD peut tout à fait être encore pleinement fonctionnel après avoir dépassé cette limite. C'est même probable, car les constructeur calculent leur limite de garantie pour ne pas devoir en remplacer trop.

                          D'ailleurs, différents constructeurs avaient revu récemment à la baisse leur garantie (trop optimistes), à cause d'une cryptomonnaie qui faisait des écritures intensives, et trop de SSD tombaient en panne avant d'avoir dépassé le nombre d'années de garantie.

                          • [^] # Re: raid 6

                            Posté par  (Mastodon) . Évalué à 2.

                            je ne parle pas d'années de garanties mais de cycles d'écriture, indépendemment du chiffre annoncé. S'ils ont les mêmes specs, ils ont un nombre de cycles égal.

                            • [^] # Re: raid 6

                              Posté par  . Évalué à 5.

                              Moi aussi je parle des cycles d'écriture, et les spécifications, ce sont des moyennes.
                              Ce n'est pas parce qu'un SSD est prévu pour 600 ré-écritures qu'il va tomber en panne à la 601, dans certains cas ce sera avant, dans d'autres ça tiendra plus longtemps (si on est prêt à prendre le risque).

                              • [^] # Re: raid 6

                                Posté par  (Mastodon) . Évalué à 3.

                                Même si ce chiffre n'est pas exacte, l'intervalle de panne peut être très très courte. Avec des disques traditionnels, la limite est moins finie et beaucoup plus variable.

              • [^] # Commentaire supprimé

                Posté par  . Évalué à 2. Dernière modification le 17 décembre 2021 à 10:26.

                Ce commentaire a été supprimé par l’équipe de modération.

  • # NAS Open-Source

    Posté par  . Évalué à 4.

    Pour le NAS, je vous recommande TrueNAS. C'est une solution open-source qui utilise OpenZFS. Il existe en 2 éditions:

    • Core: basée sur FreeBSD très mature.
    • Scale: basée sur Linux, encore en béta. Offre des nouvelles fonctionnalités tel que KVM et GlusterFS

    En raison de son système d'exploitation FreeBSD, TrueNAS Core est pointilleux sur le matériel supporté. Donc l'idéal c'est d'avoir un PC qui est connu pour bien fonctionner tel que HPE Microserver Gen8 ou HPE Microserver Gen10 Plus ou bien un serveur Supermicro.

    Grâce à son système d'exploitation Linux, TrueNAS Scale fonctionne presque partout. Pour ma part, je l'ai installé sur mes QNAP amd64 rackables (qui n'étaient pas compatible avec TrueNAS Core), après avoir installé un SSD mSATA. C'est beaucoup mieux que le système d'exploitation d'origine QTS, surtout que le fabricant ne fournit plus de mises à jour après 5 ans.

    A la maison, j'ai TrueNAS Core sur un HPE Microserver Gen8 pour archiver mes documents (principalement les photos et films souvenirs de famille)

    Au boulot, j'ai 6 serveurs TrueNAS, réparti dans 2 datacenters, pour une volumétrie totale légèrement supérieure à 1PB. J'ai aussi un serveur TrueNAS Core full-flash avec 24 x SSD Intel pour servir de datastore pour VMware.

    J'utilise TrueNAS Core qui est beaucoup plus mature, sauf sur les QNAP qui ne supportent que TrueNAS Scale.

    En revanche je n'ai encore trouvé de logiciel open-source convaincant pour tester les sauvegardes.
    Donc pour l'instant j'utilise Veeam Backup, qui permet de tester les sauvegardes:
    - il peut relire périodiquement toutes les sauvegardes pour vérifier les checksums
    - il peut tester automatiquement que les VMs redémarrent correctement, en rechargeant les backups dans un labo virtuel, ca lance des tests (la VM démarre, les applications répondent, etc.) et ca envoie un rapport par email.
    C'est le seul logiciel que je connaisse qui peut tester automatiquement les sauvegardes de Active Directory.

    Veeam est propriétaire, cher, mais il fait très bien son travail.
    Il existe une version gratuite (Community Edition) avec des fonctionnalités limitées, et aussi un agent pour les serveurs physique Linux (Veeam Agent for Linux). La version gratuite peut convenir pour un particulier ou une petite entreprise.

  • # Précision

    Posté par  . Évalué à 2.

    Woah, je ne m'attendais pas à avoir autant de réponses sur un premier journal!

    Je précise simplement (parce que la remarque a été faite dans un commentaire, et mon journal ne le précisait pas) que ma sauvegarde Cloud est elle même historisée.

    J'ai donc :

    • Mes données initiales sur mes PC.
    • Un premier niveau de backup sur le NAS, via la "Sauvegarde Windows", Syncthing ou un autre système de copie. Le tout en RAID1 avec snapshots lvm (hebdomadaire, 1 mois de rétention).
    • Un deuxième niveau de backup sur le Cloud, via l'outil QNAP (pour le moment), qui sauvegarde le RAID1. La sauvegarde est hebdomadaire avec 1 mois de rétention également.

    Prochaine étape : documenter les manips à faire pour restaurer tout ou partie (pour moi ou pour les membres survivants de ma famille) et mettre en lieu sûr et accessible (pas facile de concilier les deux) les cles de cryptage.

    Les sauvegardes, c'est long !

  • # Testez vos sauvegardes !

    Posté par  . Évalué à 2.

    👋👋

    @job on utilise des baies NetApp, une 12 et une 24 baies.

    Ca fonctionne très bien, mais ça se paye.
    En revanche, ça se gère très peu par le web. L'interface permet au mieux de configurer les partages. Tout le reste ça se fait en SSH. Mais ça s'est peut-être amélioré dans les dernières versions de ontap.

    "Testez vos sauvegardes !"
    Si ça peut te rassurer, même en entreprise, c'est parfois un gros mot.

    En perso, quand j'avais mon Syno, j'utilisais leur service de sauvegarde qui fonctionnait pas trop mal (mieux que le syno qui était anémique). Entre temps j'ai fais ma popote avec OpenMediaVault et je sauvegarde mes VM avec Proxmox Backup sur un serveur distant. Comme quoi les cordonnier sont les plus mal chaussés : hormis quelques fichiers, je n'ai encore jamais essayé une restauration complète d'une VM…

  • # Un adage et une catastrophe

    Posté par  (site web personnel) . Évalué à 5.

    Un système informatique ne vaut que ce que valent ses sauvegardes.

    En Côte d'Ivoire, on m'a cité le cas d'un ordinateur tombé en panne vers l'an 2000. Impossible à réparer, car il était d'orgine israëlienne. Impossible d'en retrouver une documentation. Ceux qui avaient conçu l'ordinateur sont restés introuvables. Une pièce contenait les bandes magnétiques des sauvegardes faites avec soin. Le problème est qu'on a pas réussi à récupérer ce quelles contenaient faute d'en connaitre la structure. Des suites de 0 et de 1, ce n'est pas explicite…
    Conclusion : 20 ans d'archivage des feuilles de paie des fonctionnaires ont été perdues.

    Je pose parfois la question : votre ordinateur a brulé ou été volé ou détruit. Quelle est votre réaction ?

    • 25 k€ et un jour de travail,
    • des mois à essayer de reconstituer l'indispensable,
    • tout est perdu.

    Une entreprise ne survivra que très rarement dans le cas des deux dernières réponses.
    Un élément facilement oublié, c'est que certaines données sont liées à un logiciel qui ne fonctionne plus avec le matériel actuel. C'est aussi le cas de certains périphériques. Certaines machines fort chères sont encore pilotées par un vieil ordinateur impossible à reconstruire.

    • [^] # Re: Un adage et une catastrophe

      Posté par  (site web personnel, Mastodon) . Évalué à 2.

      Ah les technos non documentées… (une des raisons pour lesqueles je me suis toujours méfié des formats fermés.)
      Dans une structure où j'avais travaillé, j'avais veillé à ce qu'on s'assure que les lecteurs Iomega Jaz fonctionnent, en plus d'avoir pas mal de doc dans divers formats, tant qu'on n'avais pas migré tout. À l'époque on me riait au nez en pensant qu'on en trouverait bien à acheter comme du petit pain (peut-être sur Ebay actuellement) et que c'est un constructeur reconnu qui est derrière.
      À titre personnel, j'ai fait la même chose pour : jusqu'à il n'y a pas longtemps, j'avais encore un lecteur disquettes (avec le temps ce dernier est devenu un périphérique USB mais j'avais quand mêm la possibilité de relire mes précieux) et un lecteur MD.

      “It is seldom that liberty of any kind is lost all at once.” ― David Hume

  • # QNAP c'est mauvais

    Posté par  . Évalué à 1.

    J'avais un NAS QNAP, le TS-201, et j'avais trouvé des failles de sécurité assez criantes, ainsi que plein de bugs en utilisant leurs outils.

    Plus jamais de QNAP pour ma part depuis cette expérience.

Suivre le flux des commentaires

Note : les commentaires appartiennent à celles et ceux qui les ont postés. Nous n’en sommes pas responsables.