Forum Linux.debian/ubuntu Impossible de monter une grappe RAID5 suite remplacement d'un disque

Posté par  . Licence CC By‑SA.
Étiquettes :
1
16
mar.
2024

Bonjour,

J'ai une grappe RAID5 avec 4 disques - qui étaient en mode clean dégradé, un des disques avaient enlevé automatiquement de la grappe.

J'ai donc acheté un nouveau disque et je l'ai rajouté à la grappe en utilisant Webmin afin de remplacer le disque défaillant sda7 par le disque sde6.

J'ai pu suivre l'ajout du disque sde6 dans la grappe ce qui a pris plus 6h. A la fin j'ai éteint le PC qui me sert de NAS.

Depuis j'ai du commenter le point de montage de la grappe car le montage est impossible avec l'erreur suivante:

manu29chatel@NAS:/home/deneufchatel_family$ sudo mount /dev/md127 /export/media3
mount: /export/media3: wrong fs type, bad option, bad superblock on /dev/md127, missing codepage or helper program, or other error.

Voici le détail de la grappe:

manu29chatel@NAS:/home/deneufchatel_family$ sudo mdadm -D /dev/md127
/dev/md127:
           Version : 1.2
     Creation Time : Sat Jan  9 18:15:50 2016
        Raid Level : raid5
        Array Size : 2196869568 (2.05 TiB 2.25 TB)
     Used Dev Size : 732289856 (698.37 GiB 749.86 GB)

      Raid Devices : 4
     Total Devices : 4
       Persistence : Superblock is persistent

       Update Time : Thu Mar 14 07:08:23 2024
             State : clean 
    Active Devices : 4
   Working Devices : 4
    Failed Devices : 0
     Spare Devices : 0

            Layout : left-symmetric
        Chunk Size : 64K

Consistency Policy : resync

              Name : NAS:media3  (local to host NAS)
              UUID : c417fb9d:0bc3d299:e6704467:f6cfe34c
            Events : 70249

    Number   Major   Minor   RaidDevice State
       0       8       49        0      active sync   /dev/sdd1
       1       8       35        1      active sync   /dev/sdc3
       5       8       70        2      active sync   /dev/sde6
       4       8       19        3      active sync   /dev/sdb3

J'ai été clairement idiot car je n'ai pas sauvegardé les données avant l'opération de l'ajout du disque dans la grappe en remplacement de celui qui était défaillant.

Existe-il un moyen de pouvoir monter la grappe et récupérer les données ?

En vous remerciant pour votre aide.

Cdt,

Zoobie

  • # mdadm.conf

    Posté par  . Évalué à 3. Dernière modification le 16 mars 2024 à 15:05.

    Comme ça je ne vois pas trop, mais voici trois pistes :

    • Est-ce que des fois il existe un /etc/mdadm.conf qui référence encore l'ancien /dev/sda7 ?
    • Que dit cat /proc/mdstat ?
    • Que dit fdisk -l /dev/md127
    • [^] # Re: mdadm.conf

      Posté par  . Évalué à 1.

      Voici le détail de fdisk -l /dev/md127

      manu29chatel@NAS:/home/deneufchatel_family$ sudo fdisk -l /dev/md127
      Disque /dev/md127 : 2,73 TiB, 2999596744704 octets, 5858587392 secteurs
      Unités : secteur de 1 × 512 = 512 octets
      Taille de secteur (logique / physique) : 512 octets / 4096 octets
      taille d'E/S (minimale / optimale) : 65536 octets / 196608 octets
      Type d'étiquette de disque : gpt
      Identifiant de disque : CF293D4E-1C6A-4951-8B60-828D08CA3678

      Périphérique Début Fin Secteurs Taille Type
      /dev/md127p1 2048 5858586623 5858584576 2,7T Système de fichiers Linux

      Ainsi que le retour de cat /proc/mdstat:
      manu29chatel@NAS:/home/deneufchatel_family$ cat /proc/mdstat
      Personalities : [raid1] [raid6] [raid5] [raid4] [linear] [multipath] [raid0] [raid10]
      md123 : active raid5 sde7[3] sdd4[0] sdc4[1]
      245167872 blocks super 1.2 level 5, 64k chunk, algorithm 2 [3/3] [UUU]

      md124 : active raid5 sde6[5] sdc3[1] sdd1[0] sdb3[4]
      2196869568 blocks super 1.2 level 5, 64k chunk, algorithm 2 [4/4] [UUUU]

      md125 : active raid1 sdc5[1] sdb4[0]
      244588480 blocks super 1.2 [2/2] [UU]

      md126 : active raid5 sda6[2] sdd3[0] sdb2[4] sdc2[1]
      2929293696 blocks super 1.2 level 5, 64k chunk, algorithm 2 [4/4] [UUUU]

      md127 : active raid5 sda5[4] sdd2[0] sdb1[2] sdc1[1]
      2929293696 blocks super 1.2 level 5, 64k chunk, algorithm 2 [4/4] [UUUU]

      unused devices:

      Par contre ce qui est bizarre c'est que le fichier mdadm.conf

      manu29chatel@NAS:/etc$ ls -l mdadm*
      total 4
      -rw-r--r-- 1 root root 1144 mars 13 21:32 mdadm.conf

      Voici le contenu de mdadm.conf

      GNU nano 6.2 mdadm.conf

      • [^] # Re: mdadm.conf

        Posté par  . Évalué à 1.

        En fait la grappe semble changer de nom à chaque demarrage voici pour la bonne grappe:

        manu29chatel@NAS:/etc$ sudo fdisk -l /dev/md124
        Disque /dev/md124 : 2,05 TiB, 2249594437632 octets, 549217392 secteurs
        Unités : secteur de 1 × 4096 = 4096 octets
        Taille de secteur (logique / physique) : 4096 octets / 4096 octets
        taille d'E/S (minimale / optimale) : 65536 octets / 196608 octets
        Type d'étiquette de disque : dos
        Identifiant de disque : 0x00000000

        Périphérique Amorçage Début Fin Secteurs Taille Id Type
        /dev/md124p1 1 4294967295 4294967295 16T ee GPT

        La partition 1 ne commence pas sur une frontière de cylindre physique.

        C'est un peu du chinois pour moi

  • # sda, sde

    Posté par  . Évalué à 3.

    C'est un peu complexe comme installation, je trouve : 5 disques physiques et 5 volumes RAID5 avec des tables de partitions différentes sur chaque disque physique. Rien ne l'interdit (c'est l'avantage du RAID logiciel), mais je trouve ça alambiqué et difficile à maintenir :).

    Je me demande un truc : quand tu as retiré sda7, qu'est-il advenu des autres partitions qui étaient sur le disque physique sda (sda5, sda6, par exemple) ? Le disque sda défectueux est toujours dans la grappe ? Si c'est le cas, tu devrais envisager de le remplacer complètement, ce qui n'est pas trivial car j'imagine que c'est le disque de démarrage.

    Résumé des partitions et des volume RAID :

         |  md123  md124  md125  md126  md127
    -----+-----------------------------------
    sda  |  .      .      .      6      5
    sdb  |  .      3      4      2      1
    sdc  |  4      5      5      2      1
    sdd  |  3      1      .      3      2
    sde  |  7      .      .      4      .
    

    En tout cas, d'après ce que tu as mis au niveau de mdstat, tout semble aller bien.

    Ceci semble suspect :

    Périphérique Amorçage Début      Fin Secteurs Taille Id Type
    /dev/md124p1 1        4294967295 4294967295   16T    ee GPT
                                                  ^^^    
    

    Ça fait vraiment 16To ?

    Vois-tu des messages d'erreur liés aux lectures/écritures dans dmesg ?

    Peut-être qu'il suffit de faire un fsck sur le md qui t'embête…

    • [^] # Re: sda, sde

      Posté par  . Évalué à 3.

      je valide l'analyse de CG

      si tu as bien certains volumes qui sont passées sur sd*e*

      il en reste un sur sd*a*5

      Personalities : [raid1] [raid6] [raid5] [raid4] [linear] [multipath] [raid0] [raid10]
      md123 : active raid5 sde7[3] sdd4[0] sdc4[1]
      245167872 blocks super 1.2 level 5, 64k chunk, algorithm 2 [3/3] [UUU]

      md124 : active raid5 sde6[5] sdc3[1] sdd1[0] sdb3[4]
      2196869568 blocks super 1.2 level 5, 64k chunk, algorithm 2 [4/4] [UUUU]

      md125 : active raid1 sdc5[1] sdb4[0]
      244588480 blocks super 1.2 [2/2] [UU]

      md126 : active raid5 sda6[2] sdd3[0] sdb2[4] sdc2[1]
      2929293696 blocks super 1.2 level 5, 64k chunk, algorithm 2 [4/4] [UUUU]

      md127 : active raid5 sda5[4] sdd2[0] sdb1[2] sdc1[1]
      2929293696 blocks super 1.2 level 5, 64k chunk, algorithm 2 [4/4] [UUUU]

      il te faut donc corriger ton md127 en lui signalant que sda5 est faulty, et qu'il a été remplacé par sdeX

    • [^] # Re: sda, sde

      Posté par  . Évalué à 2. Dernière modification le 20 mars 2024 à 21:00.

      Bonjour désolé pour la réponse tardive j'étais en déplacement.

      J'ai réussi à revenir à une situation antérieur en enlevant le nouveau disque de ma grappe. avec les commandes faulty et remove.

      Je suis en train de faire le backup de la totalité des données sur la grappe.

      J'ai l'impression que la problématique vient du nouveau disque qui a fait tout dérailler, ce nouveau disque de 8Tb est sous advanced format (avec des secteurs physiques et logiques de 4096 octets contre 512/512 ou 512/4096 pour les autres disques intégrés dans la grappe). Cela déclenche les effets de bords suivants:

      • le format de la partition de la grappe qui était en 512o passe a 4096o
      • les partitions composant la grappe ne semble pas être alignées

      Existe-il un tuto ou de la doc pour:
      1- aligner les partitions en terme de secteur
      2- faire une grappe avec un mix de disque qui n'ont pas une même définition de taille de secteur ?

      J'ai eu le même problème sur chacune des grappes après l'intégration des partitions du disque sde

      • [^] # Re: sda, sde

        Posté par  . Évalué à 2.

        Hello, ça alors, je ne connaissais pas ce "Advanced Format" ! Comme souvent, le wiki de Archlinux a des infos qui peuvent aider, mais la faisabilité semble dépendre du modèle de disque.

        J'ai aussi trouvé une info qui dit que ça fonctionne si la grappe est construite avec le nouvel alignement dès le départ, mais il faut tout reformater.

        J'aurai bien conseillé de faire une grande grappe RAID5 unique avec du LVM par-dessus, ou du ZFS pour la simplicité de maintenance et le meilleur rendement niveau espace utilisable (1/5 de parité au lieu de 1/3), mais comme tes disques semblent avoir des tailles très différentes, ça te fera perdre plein de place.

        Bonne chance, et vérifie bien tes précieux backups :).

Suivre le flux des commentaires

Note : les commentaires appartiennent à celles et ceux qui les ont postés. Nous n’en sommes pas responsables.