Journal Sauvegarde suite et fin ?

Sommaire

• Rappel du contexte
• Le résumé
• Les outils
• L'archivage
  • Tentative de caractérisation
  • L'indexation des données
  • L'intégrité des données
  • L'obsolescence des technologies et la dégradation des supports
  • Le trop plein de données
  • Normalisation
  • Réglementation
• A mon (très) modeste niveau de geek
• En synthèse

'lut 'nal,

Pour commencer l'année, je continue ma série de journaux sur la sauvegarde, je vous vois venir "encore celui-là avec ses articles sur la sauvegarde, ça va commencer à devenir franchement lassant". En fait je me rends compte que je n'avais pas totalement asséché le sujet puisque je n'avais pas encore parlé d'archivage, c'est l'objet de ce journal.

Rappel du contexte

Mais un petit rappel s'impose, voici un bref résumé des précédents épisodes
- le premier journal de la série porte sur la mise en place d'une première configuration de sauvegarde basée sur un script rsync et unison suite au fait déclencheur d'une perte de données
- le deuxième journal évoque une configuration améliorée basée sur borg et btrfs
- et enfin le troisième journal parle de la sauvegarde dans le cloud
Je devrais rajouter également ces autres journaux récents sur le même sujet
- une expérience vécue parmi d'autres de perte de donnée et de restauration
- testez vos sauvegardes et prenez en compte les temps de restauration

Le résumé

Pour ceux qui n'ont pas la patience de parcourir tous ces journaux, je vais tenter de résumer ces différents journaux et les nombreux commentaires qu'ils ont suscités. Si on distingue les données chaudes comme étant celles qui évoluent régulièrement (fichiers bureautique, fichiers source) et les données froides celles qui évoluent peu (fichiers multimédia notamment), les stratégies de sauvegarde seront différentes suivant le type de données. Pour les données froides, on pourra se contenter de sauvegarde ponctuelle manuelle ou automatique à un rythme plus ou moins espacé et régulier, alors que pour les données chaudes on privilégiera les sauvegardes automatiques complètes ou incrémentales régulières. Les sauvegardes pourront être locales ou distantes, l'idéal étant de combiner les deux pour ne pas placer ses œufs dans le même panier.
Parallèlement à la sauvegarde, on pourra mettre en place des dispositifs de vérification de l'intégrité des disques pour éviter la compromission des données à bas bruit et d'amélioration de la tolérance aux pannes.

Les outils

Pour la sauvegarde des données chaudes (mais ça marche également pour les données froides) on peut citer ces outils qui permettent de faire des sauvegardes avec des variantes incrémentielles, différentielles ou complètes, de la synchronisation ou de la copie, localement ou dans le cloud, éventuellement en chiffrant les données
- rclone
- duplicity
- duplicati (qui est le seul à disposer en natif d'un GUI)
- restic

ces autres outils sont similaires mais n’intègrent pas intrinsèquement la sauvegarde dans le cloud
- rsync
- borg backup

pour les sauvegardes manuelles et ponctuelles il existe également unison qui pourra être utilisé pour sauvegarder les données froides. On pourra citer également btrfs qui est un système de fichiers qui intègre la possibilité de créer et restaurer des snapshots.

Ce journal n'a pas vocation à faire une comparaison de tous ces outils, j'ai l'impression qu'ils se valent tous plus ou moins et qu'ils font le job pour lequel ils sont destinés. Personnellement j'utilise pour mes sauvegardes locales des données chaudes btrfs, borg et unison pour les données froides. Pour les sauvegardes distantes j'utilise
- la solution kDrive d'infomaniak avec l'application kDrive pour la sauvegarde automatique des données chaudes et la sauvegarde manuelle via le navigateur pour les données froides
- la sauvergarde et archivage chiffré des données chaudes sur Google Drive avec rclone

Pour les tests d'intégrité des disques on peut compter sur smartmontools et pour les tolérances aux pannes il existe des solutions matérielles comme le RAID, en rappelant bien que RAID is no backup ! Personnellement j'utilise un serveur Dell Poweredge T310 acheté une poignée de figues sur ebay avec des disques en RAID5 hard avec le daemon smartd qui vérifie régulièrement l'intégrité de mes disques.

L'archivage

Tentative de caractérisation

On en vient à la notion d'archivage qui complète la sauvegarde, mais c'est quoi au juste la différence entre les deux ?

Pour faire vite la sauvegarde est une copie identique des données à un moment donné qui permet une restitution en cas de pertes des données d’origine, une copie de sauvegarde n'est pas destinée à être conservée ad vitam æternam, mais à être écrasée régulièrement par une instance plus récente. Alors que l'archivage est une copie des données pour une période plus ou moins longue qui peut s'étaler sur des décennies. La nuance peut paraître subtile, mais on va dire que la sauvegarde a pour finalité la protection des données en temps réel, alors que l'archivage la conservation de données dans un temps long.

L'archivage peut s'imposer pour diverses raisons, à l'échelle d'une entreprise on parlera de Système d'Archivage Électronique (SAE) et il sera nécessaire pour des raisons légales ou à titre patrimonial, la perte de données archivées présentant souvent un risque pour l'entreprise et doit être traité en tant que tel.

Autre caractéristique de l'archivage, on doit pouvoir accéder facilement aux données archivées qui doivent rester lisibles dans le temps et garder leur valeur initiale. Il se pose donc plusieurs difficultés qui sont l'indexation des données, l'intégrité des données, l'obsolescence des technologies, la dégradation des supports et le trop plein de données.

L'indexation des données

L'indexation des données doit être documentée et facilement exploitable par une personne tierce qui n'est pas à l'origine de l'archivage. Elle suppose que les données soient triées et organisées suivant un référentiel connu et partagé ce qui est loin d'être toujours le cas.

L'intégrité des données

Quelle est la garantie qu'une donnée archivée il y a des années soit toujours intègre et n'ait pas été modifiée et/ou altérée dans la période, en gros quel est le degré de confiance qu'on peut accorder à notre système d'archivage ?

L'obsolescence des technologies et la dégradation des supports

La deuxième difficulté consiste sur le fait que les données soient à nouveau accessibles et lisibles alors qu'elles ont été enregistrées il y a des années sur un support particulier potentiellement devenu obsolète ou avec une technologie (voire un chiffrement) dépassée. En plus de l'obsolescence technique des supports il ne faut pas oublier la dégradation physique des supports plus ou ou moins accélérée suivant l'environnement de conservation. Pour se prémunir de l'impossibilité de récupérer des archives, par prévention il faudra veiller à mettre en place des stratégies pour migrer régulièrement les archives en les basculant d'un support obsolète et/ou dégradé vers le support adapté du moment. Pour ce faire, il n'y a pas vraiment de recette miracle, il faut assurer une veille technologique permanente pour vérifier régulièrement que le support physique et que les outils logiciels permettent encore d'accéder et de lire les données. On pourra également confier ses données à un tiers archiveur qui s'assurera de ce service en gageant de la pérennité du dit tiers.

Le trop plein de données

Avec l'évolution des technologies et la numérisation tout azimut de notre monde, nous faisons face à un phénomène exponentiel d'afflux de données numériques en tout genre, d'aucuns parlent de big data, d'autres de vracs numériques, je préfère de loin ce dernier terme qui me parait plus parlant. Par paresse et compte tenu des coût de stockage qui ont tendance à chuter, le plus souvent peu de tri n'est pratiqué et les données sont archivées telles quelles, quand bien même le pourcentage réellement utile représente une part infime. Or un volume important de données complique l'archivage et la récupération des données. De fait des nouvelles activités et métiers font leur apparition, pour à partir d'un fouillis de données non structurées extraire les informations utiles pour les organiser et les gérer, au besoin via l'intelligence artificielle.

Voici deux liens intéressants sur le sujet particulier de l'intelligence artificielle:
- L'IA et l'archivage numérique
- L'intelligence artificielle pour gouverner les archives nationales américaines (article en anglais)

Normalisation

Pour faciliter la gestion, l'archivage et la préservation à long terme des documents numériques la norme 14721 a même été développée et propose un modèle conceptuel basé sur l'Open Archival Information System ou OAIS (Système ouvert d'archivage d'information). Toutefois cette norme reste un modèle abstrait et ne donne aucune recommandation technique sur l’architecture du système et encore moins sur la structure des paquets de données.
Elle est donc complétée par la norme ISO 14641 sur l'"Archivage électronique - Conception et exploitation d'un système informatique pour la conservation intègre de documents électroniques - Spécification" qui est dérivée de la norme AFNOR NF Z42-013. Cette norme a une portée plus limitée mais donne des spécifications techniques et organisationnelles pour l’enregistrement, l’archivage, l'accès et la restitution des documents numériques archivés en assurant leur conservation et en préservant leur intégrité. Un point important de cette dernière porte sur l'intégrité des données archivées, la traçabilité exhaustive des modifications de l'archive et sur les preuves que le SAE apporte pour justifier de l'intégrité des données et de leur non modification.

L'AFNOR délivre la certification NF461 pour les SAE qui sont conformes à ces exigences normatives (275 au total), cette certification offre une certaine garantie de pérennité, de confiance et de sécurité et répondent aux difficultés développées plus haut. A noter que l’État français impose aux prestataires de service d'archivage cette certification pour les archives publiques.
L’État a également développé sa propre solution d’archivage numérique permettant l'enregistrement, la conservation et la consultation sécurisée de gros volumes d’archives numériques. C'est le programme VITAM (Valeurs immatérielles transmises aux archives pour mémoire) qui est une solution open source qui repose sur les normes citées plus haut.

Comme les "normateurs" ne sont jamais à court d'idée, on pourra citer également la norme ISO 13008 qui définit les exigences en matière de migration des données archivées en préservant leur authenticité et intégrité.

Quelques liens utiles sur le sujet:
- Le cadre juridique du tiers archivage
- Le programme VITAM
- Présentation (succincte) de la solution logicielle VITAM
- Code source et environnement de développement de VITAM

Réglementation

Depuis La loi du 13 mars 2000 la législation reconnaît qu’un document numérique peut être une preuve recevable en cas de litige de la même force qu'un document papier “sous réserve que puisse être dûment identifiée la personne dont il émane et qu’il soit établi et conservé dans des conditions de nature à en garantir l’intégrité”. Il reste bien sûr à apporter la preuve de l'identification du rédacteur et de l'intégrité du document ! La réglementation n'impose pas la norme NF461 pour le SAE pas plus qu'elle n'impose la norme NF Z42-026 qui précise les conditions pour réaliser des "copies fidèles" de document papier. Il reste au juge d'apprécier la validité de l'archive numérique.
On peut citer néanmoins cette décision de la cour d'appel de Lyon du 3 septembre 2015 où le juge a estimé qu'une copie numérisée et conservée conformément à la norme NF Z42-013 était une preuve légale suffisante quand bien même l'original papier avait été détruit.

Je n'aborde pas ici volontairement la problématique de la conservation des données personnelles sous couvert de RGPD ni les questions de signature électronique qui débordent quelque peu du sujet initial.

Un lien utile:
- CNIL Archiver de manière sécurisée

A mon (très) modeste niveau de geek

A l'échelle d'un particulier, la frontière entre l'archivage et la sauvegarde est plutôt tenue, puisque les deux ont tendance souvent à se confondre. Certes la problématique n'est sans doute pas aussi critique que pour une entreprise mais il en reste pas moins qu'on n'a pas forcément envie de perdre les photos de tatie Odette ou des rejetons dans leurs jeunes années qui ont une certaine valeur sentimentale et on s'attachera à les conserver, même si l'usage qu'on peut en faire peut se discuter.

Pour ma part, à l'avènement de la numérisation dans les années 90, j'ai commencé à archiver sur disquettes, un support que les moins de 20 ans n'ont pas connu, puis j'ai gravé sur CD puis DVD qui disposaient d'une bien plus grande capacité, or ces derniers supports gravés sur des moyens non professionnels ont une durée de vie assez limitée (5 à 10 ans au mieux). Avec le prix du disque qui a commencé à chuter, j'ai commencé à archiver sur disque en stockant les disques à l'abri jusqu'à bon an, mal an en arriver à ma solution actuelle d'archivage local et distant sur le cloud décrite sur cette page pour la sauvegarde locale et sur cette autre page pour la sauvegarde dans le cloud.

Par ailleurs j'avoue que je n'ai pas fait l'effort de trier, mais je suis loin de maintenir un big data, mes données personnelles sont a minima structurées pour pouvoir les retrouver, il faut néanmoins que je travaille sur le bus factor pour que les données ne se perdent pas à jamais.
Je n'ai pas pour ambition de développer un SAE certifié NF461 mais néanmoins ça m'intéresserait que certains de mes documents personnels puissent être certifiés et aient une valeur légale reconnue, je pense notamment à mes titres de propriété ou feuilles de paye que j'ai scannérisés et archivés numériquement. Comme quoi il me reste de la matière pour compléter cette série de journaux et je ne m'imaginais que suite à une banale perte de donnée je puisse tirer la pelote à ce point.

En synthèse

Un parchemin peut se conserver plusieurs milliers d'année, les papiers plusieurs siècles et paradoxalement à l'ère numérique nos supports informatiques ont une très faible pérennité et nous rendent extrêmement fragiles d'autant que le support papier tend à disparaitre et que le volume des données croit de manière exponentielle. Le sujet de la sauvegarde et de l'archivage constitue donc un véritable enjeu à l'échelle d'une entreprise mais également du particulier, même s'il est a priori peu concerné par les considérations normatives ce qui n'est pas forcément le cas pour les aspects réglementaires.

Je vous laisse maintenant faire part de votre expérience sur la manière dont vous archivez vos données et compléter ainsi ce journal.