Forum général.cherche-logiciel Raid offline

Posté par  .
Étiquettes : aucune
0
30
oct.
2009
Salut,
Je cherche à faire un 'raid offline'.
En clair au lieu de faire du raid1 je veux synchroniser les deux disques offline (boot sur livecd ou usb stiick ou mini partition) avec un outil du type ghost/clonezilla pour pouvoir me servir du deuxième disque pour booter si le premier lâche.
Pas de problème pour faire la copie, un simple dd ferait l'affaire d'ailleurs, mais ce que je cherche c'est un outil capable de ne copier que les blocks qui ont changés.
Donc une première synchro qui va prendre forcement du temps mais ensuite ça devrait pouvoir ne copier que les blocks modifiés donc beaucoup plus rapide.
Attention j'ai 3 OS bootables donc il faut que ça fasse du block à block et que ça ne travaille pas au niveau du filesystem. De toute façon aucun outil ne comprendra rien à zfs.
Clonezilla ou un autre saurait faire ça ?

L'idée d'éviter le fake raid type ICHR et de pouvoir éventuellement me servir du clone comme d'une sauvegarde à court terme, disons une synchro par semaine. C'est clair que si chaque synchro prend 2-3 heures je ne vais jamais le faire ...

  • # Paragon ?

    Posté par  . Évalué à 1.

    En grattant j'ai trouvé Paragon backup & recovery free edition qui à l'air de faire ça (hot copy et differential backup) à partir d'une session windows. A tester.
    Et dans le libre ?

    • [^] # Re: Paragon ?

      Posté par  . Évalué à 7.

      "j'ai trouvé X qui à l'air de faire ça"
      Et tu y crois vraiment ?
      Je veux dire: peut être qu'ils le font, mais ce n'est certainement pas en s'affranchissant de l'OS ou du système de fichier.
      Pour une raison très simple : comment savoir si un bloc ou autre a été modifié sur un disque ?
      Quand tu as un fs, tu as une table (pour faire simple)avec la liste des blocs (correspondance: tel fichier est sur tels blocs) et quand ils ont été écrits, alors c'est très simple de savoir qu'est ce qui a été modifié.
      "La dernière date que j'ai sur ma précédente svg c'est .... , quels sont les blocs/fichiers qui ont été modifié depuis".

      Mais sur un disque, tu n'as rien de tout ça (peut être sur les ssd, et encore), donc ton logiciel il sait comment qu'un bloc a été modifié sans lire tous les blocs et tous les comparer ?

      Au mieux, tu peux conserver un full, tu fait ensuite un zdelta ou équivalent entre ton full et et ton dd, et voila tu fait de la svg incrémentale.
      Mais ca t'obligera toujours a lire tout le disque dur.

      Non le plus simple, pour ce que tu veux faire, c'est quand même que tu configure tes disques en raid mirroring.
      Avantage 1 : ca récupérera des erreurs MEME en marche. tu n'as pas d'interruption de service.
      Avantage 2 : Copie TOUJOURS a jour, ca sera pas la copie de la veille... ou de deux semaine parce que la semaine dernière, quand il devait faire la sauvegarde, il y a eu une coupure de courant.


      Et puis si le mirroring te convient pas parce que tu veux le booter sur une autre machine et que tu as peur que si ton pc crame tu n'ais plus de svg, ben utilise des outils styles drbd, et/ou des disques dur réseaux (AOE, ...)


      Ps : j'aime beaucoup le "c'est clair que si faire la copie fait 2 3 heure [par semaine] je vais jamais le faire".
      Tes services sont vraiment critiques pour pas pouvoir faire la copie entre le samedi 23h et le dimanche 4h, mais pas assez critiques pour les maittres en mirroring ou au moins en RAID5 ?
      Et très critiques pour pas perdre 3h/semaines, mais pas suffisament critiques pour pouvoir se permettre de faire une svg hebdomadaire mais pas quotidienne ?

      • [^] # Re: Paragon ?

        Posté par  (site web personnel) . Évalué à 4.

        si je traduis bien, svg pour toi c'est sauvegarde, c'est bien ça ?
        (oui pour moi c'est Scalable_Vector_Graphics ou SVG)

        bin une full, ça paraît évident, surtout que de disque à disque, s'il est cohérent, c'est fait en 2h pour 1 Tio et je ne vois pas de souci au moins une fois par semaine (en vérifiant que ça fonctionne correctement régulièrement).

  • # Pas forcement beaucoup plus rapide

    Posté par  . Évalué à 2.

    Posons les hypothèses suivantes :
    * Tes 2 disques durs peuvent tenir 100Mo/s en lecture séquentielle et 50 Mo/s en écriture séquentiel.
    * Reste de ton système n'est pas limitant (ram et cpu infiniment rapide).
    * Les disques font 100Go. (on va dire 1Go = 1000Mo pour simplifier les calculs)

    Lors de la première sauvegarde, la vitesse sera limitée par le débit en écriture du deuxième disque. Ça prendra 100*1000 / 50 soit 2000 secondes, une bonne demi heure.

    Lors des passes suivantes, imaginons qu'il n'y ai aucune différence à sauvegarder, la limite sera le débit en lecture. Ça prendra 100*1000/100 soit 1000 secondes, un bon quart d'heure.

    Dans un cas plus réaliste, je pense que l'écart entre les deux sera moins élevé et il faudra probablement plusieurs heures dans tout les cas...

  • # Développe

    Posté par  (site web personnel) . Évalué à 1.

    Je sais ma réponse n'est pas forcément très constructive, mais c'est typiquemnt un boulot pour device mapper ca.
    Un petit module noyau dans device-mapper pour mapper directement sur le disque et noter les blocs modifiés au fur et à mesure des écriture dans un fichier (pas si dur à faire).

    Ensuite un petit soft userland qui lance un dd des blocs kivontbien lorsqu'il en a envie et voila.

    Sinon peut-être qu'en détournant la cible snapshot de dm il doit y avoir moyen, genre miroir, puis snapshot avant de débrancher le 2e disque, les modif sont enregistrée sur une partition séparée du premier, puis un commit du snapshot à chaque rebranchement du disque (je ne sais plus si ce patch est dans vanilla par contre).

  • # Outils standards

    Posté par  . Évalué à 6.

    Ce que tu recherches à faire n'existe pas car ce n'est pas considéré comme étant la bonne solution. Qui a tort, qui a raison, peu importe.

    Tu peux obtenir ce que tu souhaites en utilisant le RAID logiciel de Linux. Il y a une option qui permet d'avoir une table des zones modifiées ou non. Cela permet d'accélérer la reconstruction. C'est --bitmap=internal qui me semble le mieux.

    En fonctionnement normal, tu as ton disque "maître" uniquement. Lorsque tu veux dupliquer, tu réassemble ton RAID.
    Avantage: ça se fait pendant que tu travailles.
    Inconvénient: à la réflexion pas tant que ça.
    Si c'est un disque USB par exemple, la bonne ligne dans /etc/udev/xxx permet de s'occuper de tout.

    Sinon rsync fonctionne très bien. Et tu auras les mêmes limitations qu'avec le RAID: les modifications de partition et de secteur de démarrage ne sont pas gérées. Sa reste rare.

    • [^] # Re: Outils standards

      Posté par  . Évalué à 1.

      Et oui je crois que je tiens mon truc en piochant dans tes suggestions.

      1 - J'installe mes OS sans raid d'aucune sorte
      2 - Je fais un clone disque à disque donc je récupère un deuxième disque bootable, copie exacte du premier.
      3 - J'utilise rsync à partir de BSD (à cause de zfs) pour faire la mise à jour au niveau des filesystems (ntfs, ext2, ufs2, zfs); donc que le delta. Bon pour zfs c'est pas forcement utile je vais surement utiliser le raid soft.

      Ca devrait le faire sauf s'il a du mal avec certains flags ntfs mais ça devrait aller.

Suivre le flux des commentaires

Note : les commentaires appartiennent à celles et ceux qui les ont postés. Nous n’en sommes pas responsables.