RAID nicht mehr da

  • OMV2

Diese Seite verwendet Cookies. Durch die Nutzung unserer Seite erklären Sie sich damit einverstanden, dass wir Cookies setzen. Weitere Informationen

  • RAID nicht mehr da

    Hallo Forum,

    ich bin neu hier und habe leider fast keine Erfahrungen mit Linux :( und bin eigentlich nur ein OMV Nutzer.
    Ich habe vor ein paar Jahren einen Mini Server mit OMV 2 geerbt. Verbaut sind 4 2TB Platten als Raid 5 sowie eine System Platte mit 250GB

    Das ganze hat ein paar Jahre prima funktioniert.

    Nun habe ich seit kurzem das Problem, dass mein RAID nicht mehr sichtbar ist


    Ich habe mir ähnliche Beiträge angesehen, komme damit aber nicht weiter. In den Beiträge werden meist Anfragen bzgl. best. Commandos in der Console gestellt, die ich hier mal aufliste.

    Vielleicht hat jemand eine Idee, ob ich mein RAID noch retten kann (leider gibt es nicht von allem eine Datensicherung) :/
    Herzlichen Dank für jeglichen Tipp!

    dpkg -l | grep openmediavault

    Quellcode

    1. ii openmediavault 2.2.5 all Open network attached storage solution
    2. ii openmediavault-clamav 2.1 all OpenMediaVault ClamAV plugin
    3. ii openmediavault-keyring 0.4 all GnuPG archive keys of the OpenMediaVault archive
    4. ii openmediavault-netatalk 2.0 all OpenMediaVault netatalk (AppleTalk Protocol Suite) plugin
    5. ii openmediavault-omvextrasorg 2.13.2 all OMV-Extras.org Package Repositories for OpenMediaVault

    cat /proc/mdstat

    Quellcode

    1. Personalities : [raid6] [raid5] [raid4]
    2. md0 : inactive sdd[0] sda[3] sdb[2]
    3. 5860150536 blocks super 1.2
    4. unused devices: <none>
    blkid

    Quellcode

    1. /dev/sde1: UUID="17a0598e-fea5-4a52-b775-ac6897c2e8ef" TYPE="ext4"
    2. /dev/sde5: UUID="62f5ecd2-daf3-404a-bcad-edbee49dd6d4" TYPE="swap"
    3. /dev/sda: UUID="aea277a2-344d-4315-d191-f6c78c64b8df" UUID_SUB="fe9812dc-c41c-7dcc-47fe-3a6c4bbcd52b" LABEL="openmediavault:RaidDrive1" TYPE="linux_raid_member"
    4. /dev/sdb: UUID="aea277a2-344d-4315-d191-f6c78c64b8df" UUID_SUB="05fc0d08-cdec-5cd1-d105-263f717729e3" LABEL="openmediavault:RaidDrive1" TYPE="linux_raid_member"
    5. /dev/sdd: UUID="aea277a2-344d-4315-d191-f6c78c64b8df" UUID_SUB="0e5c031b-eaf9-14c4-7b0b-3c6e08f3128a" LABEL="openmediavault:RaidDrive1" TYPE="linux_raid_member"
    6. /dev/sdc: UUID="aea277a2-344d-4315-d191-f6c78c64b8df" UUID_SUB="d2902194-686f-0c85-7a93-b7ee0cd4c4fe" LABEL="openmediavault:RaidDrive1" TYPE="linux_raid_member"


    fdisk -l | grep "Disk "

    Quellcode

    1. Disk /dev/sda doesn't contain a valid partition table
    2. Disk /dev/sdb doesn't contain a valid partition table
    3. Disk /dev/sdc doesn't contain a valid partition table
    4. Disk /dev/sdd doesn't contain a valid partition table
    5. Disk /dev/sda: 2000.4 GB, 2000398934016 bytes
    6. Disk identifier: 0x00000000
    7. Disk /dev/sdb: 2000.4 GB, 2000398934016 bytes
    8. Disk identifier: 0x00000000
    9. Disk /dev/sdc: 2000.4 GB, 2000398934016 bytes
    10. Disk identifier: 0x00000000
    11. Disk /dev/sdd: 2000.4 GB, 2000398934016 bytes
    12. Disk identifier: 0x00000000
    13. Disk /dev/sde: 250.1 GB, 250059350016 bytes
    14. Disk identifier: 0x000b2a9f
    Alles anzeigen


    cat /etc/mdadm/mdadm.conf

    Quellcode

    1. # mdadm.conf
    2. #
    3. # Please refer to mdadm.conf(5) for information about this file.
    4. #
    5. # by default, scan all partitions (/proc/partitions) for MD superblocks.
    6. # alternatively, specify devices to scan, using wildcards if desired.
    7. # Note, if no DEVICE line is present, then "DEVICE partitions" is assumed.
    8. # To avoid the auto-assembly of RAID devices a pattern that CAN'T match is
    9. # used if no RAID devices are configured.
    10. DEVICE partitions
    11. # auto-create devices with Debian standard permissions
    12. CREATE owner=root group=disk mode=0660 auto=yes
    13. # automatically tag new arrays as belonging to the local system
    14. HOMEHOST <system>
    15. # definitions of existing MD arrays
    16. ARRAY /dev/md0 metadata=1.2 name=openmediavault:RaidDrive1 UUID=aea277a2:344d4315:d191f6c7:8c64b8df
    Alles anzeigen


    mdadm --detail --scan --verbose

    Quellcode

    1. ARRAY /dev/md0 level=raid5 num-devices=4 metadata=1.2 name=openmediavault:RaidDrive1 UUID=aea277a2:344d4315:d191f6c7:8c64b8df
    2. devices=/dev/sdd,/dev/sdb,/dev/sda


    mdadm -D /dev/md0

    Quellcode

    1. ARRAY /dev/md0 level=raid5 num-devices=4 metadata=1.2 name=openmediavault:RaidDrive1 UUID=aea277a2:344d4315:d191f6c7:8c64b8df
    2. devices=/dev/sdd,/dev/sdb,/dev/sda
    3. root@openmediavault:~# mdadm -D /dev/md0
    4. /dev/md0:
    5. Version : 1.2
    6. Creation Time : Tue Jun 7 18:01:23 2016
    7. Raid Level : raid5
    8. Used Dev Size : 1953382912 (1862.89 GiB 2000.26 GB)
    9. Raid Devices : 4
    10. Total Devices : 3
    11. Persistence : Superblock is persistent
    12. Update Time : Fri Apr 17 17:46:54 2020
    13. State : active, degraded, Not Started
    14. Active Devices : 3
    15. Working Devices : 3
    16. Failed Devices : 0
    17. Spare Devices : 0
    18. Layout : left-symmetric
    19. Chunk Size : 512K
    20. Name : openmediavault:RaidDrive1 (local to host openmediavault)
    21. UUID : aea277a2:344d4315:d191f6c7:8c64b8df
    22. Events : 944480
    23. Number Major Minor RaidDevice State
    24. 0 8 48 0 active sync /dev/sdd
    25. 1 0 0 1 removed
    26. 2 8 16 2 active sync /dev/sdb
    27. 3 8 0 3 active sync /dev/sda
    Alles anzeigen
  • bei deinem RAID ist eine Plate ausgefallen (dort steht jetzt removed), dann startet es nicht mehr automatisch. => /dev/sdc fehlt im Array, was mit der Platte los ist, kann ich nicht sagen, andere Programme finden sie jedoch.
    Frage: was für Platten sind das (spezielle NAS Platten oder normale Desktop Platten)? Ich vermute nämlich, dass /dev/sdc einfach mal zu langsam war beim Lesen und deshalb aus dem Array entfernt wurde (NAS Platten haben eine definierte Antwortzeit bei Lesefehlern im Gegensatz zu Desktop Platten).

    versuch mal mdadm --run /dev/md0. das sollte das Array starten, auch wenn eine Platte fehlt. Danach kannst du das RAID auch wieder mounten (und ein Backup machen).

    dein RAID wurde über die ganzen Platten gemacht, deshalb zeigt fdisk nicht an (da dort ja auch keine Partition Tabelle liegt, sondern gleich das RAID).
    SW: OMV 4.1.35 (Arrakis), Snapraid mit mergerfs, Minidlna
    MSI B150M ECO, Intel Pentium G4400, 16GB Kingston DDR4, SSD 250GB, 4TB Daten, 3*8TB+6TB SnapRaid (8TB Parity,3+3+2TB Parity2), FSP Aurum S 400W, Fractal Node 804
  • Danke für die schnellen Antworten. Sehe gerade dass ich im initialen Post die Grafiken mit den HDD Infos wohl nicht richtig eingebunden habe..

    SDA und SDB sind SAMSUNG HD204UI
    SDC ist SAMSUNG HD203WI
    SDD ist SD2000DM001-1CH1

    versuch mal mdadm --run /dev/md0.

    Quellcode

    1. mdadm: failed to run array /dev/md0: Input/output error
    Habe ich das was falsch gemacht?
  • deine Platten sind Desktop Festplatten, da kann es mal passieren, dass eine etwas zu lange braucht und dann aus dem Array rausfliegt.

    du könntest mal mdadm --assemble --scan --force probieren.
    SW: OMV 4.1.35 (Arrakis), Snapraid mit mergerfs, Minidlna
    MSI B150M ECO, Intel Pentium G4400, 16GB Kingston DDR4, SSD 250GB, 4TB Daten, 3*8TB+6TB SnapRaid (8TB Parity,3+3+2TB Parity2), FSP Aurum S 400W, Fractal Node 804
  • Danke für die Info. Wie gesagt: Habe die Hardware "geerbt".

    Leider gibt mir OMV mdadm --assemble --scan --force das zurück:

    Quellcode

    1. mdadm: /dev/md0 is already in use.
    Muss man das evtl. zuerst stoppen?
    Ich habe mal mdadm --stop /dev/md0 gemacht und danach noch mal assemble, und siehe da

    Quellcode

    1. mdadm: clearing FAULTY flag for device 1 in /dev/md0 for /dev/sdc
    2. mdadm: Marking array /dev/md0 as 'clean'
    3. mdadm: /dev/md0 has been started with 3 drives (out of 4) and 1 spare.


    Nun sehe ich mein RAID auch wieder in der Wb UI. Nachdem ich den Datenträger in der UI wieder eingebunden habe funktionieren auch die Freigaben wieder, somit kann ich meine Daten jetzt sichern.

    HERZLICHEN DANK für die schnelle und unkomplizierte Hilfe! :)
  • Re,

    ... und HAAAAAAAALT !!!

    Bitte lese die Ausgabe richtig:

    fridi2007 schrieb:

    mdadm: /dev/md0 has been started with 3 drives (out of 4) and 1 spare.
    D.h. du hast derzeit in deinem R5-Verbund keine Redundanz mehr - die rausgeworfene Platte wurde als Spare hinzugefügt.
    (Keine Redundanz bedeutet auch, das jede weitere Platte, Die aussteigt, einen Totalausfall deines Verbundes bedeutet!)

    Bitte schaue im Frontend oder auf der Konsole via cat /proc/mdstat nach, ob der Rebuild gestartet wurde!

    Sc0rp
  • zumindest sichert er jetzt seine Daten, das ist schon mal der richtige Schritt. Ansonsten sollte er das RAID halt so wenig wie möglich derzeit verwenden.
    danach können wir uns um das Rebuild des RAID kümmern.

    und wir wissen jetzt noch einmal, dass die eine platte als fehlerhaft markiert worden ist (so wie ich vermutet hatte)
    mdadm: clearing FAULTY flag for device 1 in /dev/md0 for /dev/sdc
    SW: OMV 4.1.35 (Arrakis), Snapraid mit mergerfs, Minidlna
    MSI B150M ECO, Intel Pentium G4400, 16GB Kingston DDR4, SSD 250GB, 4TB Daten, 3*8TB+6TB SnapRaid (8TB Parity,3+3+2TB Parity2), FSP Aurum S 400W, Fractal Node 804
  • OK,

    wichtiger Hinweis, DANKE! =O
    Recovery scheint im Gange zu sein. Ich hoffe es läuft durch...


    Brainfuck-Quellcode

    1. Personalities : [raid6] [raid5] [raid4]
    2. md0 : active raid5 sdd[0] sdc[4] sda[3] sdb[2]
    3. 5860148736 blocks super 1.2 level 5, 512k chunk, algorithm 2 [4/3] [U_UU]
    4. [==>..................] recovery = 13.3% (261184436/1953382912) finish=354.0min speed=79659K/sec
  • schau dir dann auch mal die SMART Werte deiner Platten an, vielleicht zeigt ja die eine schon Auffälligkeiten.
    Im Prinzip kann es dir mit Desktopplatten jederzeit wieder passieren...
    SW: OMV 4.1.35 (Arrakis), Snapraid mit mergerfs, Minidlna
    MSI B150M ECO, Intel Pentium G4400, 16GB Kingston DDR4, SSD 250GB, 4TB Daten, 3*8TB+6TB SnapRaid (8TB Parity,3+3+2TB Parity2), FSP Aurum S 400W, Fractal Node 804
  • So, nachdem das Recovery schon bei ca. 50% war nun das

    Zustand md0 laut UI: Clean, FAILED

    cat /proc/mdstat

    Quellcode

    1. Personalities : [raid6] [raid5] [raid4]
    2. md0 : active raid5 sdd[0] sdc[4](S) sda[3](F) sdb[2]
    3. 5860148736 blocks super 1.2 level 5, 512k chunk, algorithm 2 [4/2] [U_U_]
    4. unused devices: <none>

    mdadm -D /dev/md0

    Quellcode

    1. /dev/md0:
    2. Version : 1.2
    3. Creation Time : Tue Jun 7 18:01:23 2016
    4. Raid Level : raid5
    5. Array Size : 5860148736 (5588.67 GiB 6000.79 GB)
    6. Used Dev Size : 1953382912 (1862.89 GiB 2000.26 GB)
    7. Raid Devices : 4
    8. Total Devices : 4
    9. Persistence : Superblock is persistent
    10. Update Time : Mon May 25 16:44:23 2020
    11. State : clean, FAILED
    12. Active Devices : 2
    13. Working Devices : 3
    14. Failed Devices : 1
    15. Spare Devices : 1
    16. Layout : left-symmetric
    17. Chunk Size : 512K
    18. Name : openmediavault:RaidDrive1 (local to host openmediavault)
    19. UUID : aea277a2:344d4315:d191f6c7:8c64b8df
    20. Events : 950878
    21. Number Major Minor RaidDevice State
    22. 0 8 48 0 active sync /dev/sdd
    23. 1 0 0 1 removed
    24. 2 8 16 2 active sync /dev/sdb
    25. 3 0 0 3 removed
    26. 3 8 0 - faulty spare /dev/sda
    27. 4 8 32 - spare /dev/sdc
    Alles anzeigen


    Was kann ich noch tun?

    Laut SMART habt SDA nun ein "a few bad sectors", SDC zeigt "Device is beging used outside design parameters" :S
  • Re,

    tja, jetzt wird es richtig kompliziert, da zwei von vier Platten bei einfacher Redundanz fehlen ... der Verbund ist damit erst Mal tot.

    Viele Möglichkeiten hast du nicht:
    - Verbund aufwändig reparieren (das würde ich selbst mir nicht antun, denn ...)
    - Zeit für's Backup ... nachdem du den Verbund neu aufgebaut hast (mit ordentlichen Platten!)

    Sc0rp
  • also SDC ist bereits am Sterben bzw halbt tot, SDA kurz davor.
    @Sc0rp: kann man das Array zwingen wieder mit sda, sdb und sdd zu starten (halt nur read only für Backup).
    ich würde mich an diese Anleitung halten. aber auf keinen Fall auf gut Glück probieren.

    wie heisst es schliesslich, der kritischte Punkt eines RAIDs ist das rebuild, da sterben dann die meisten Platten...
    SW: OMV 4.1.35 (Arrakis), Snapraid mit mergerfs, Minidlna
    MSI B150M ECO, Intel Pentium G4400, 16GB Kingston DDR4, SSD 250GB, 4TB Daten, 3*8TB+6TB SnapRaid (8TB Parity,3+3+2TB Parity2), FSP Aurum S 400W, Fractal Node 804
  • Um die Platten auszulesen brauchst Du keinen Adapter. Um an deine Daten zu gelangen braucht es jetzt vor allem Geduld.

    Ich würde als erstes alle Festplatten vom Raid, als Image auf eine HDD kopieren. Also HDD 8TB beschaffen und Images der einzelnen Festplatten dort ablegen.

    8TB HDD an den Rechner anschließen, partitionieren, formatieren und einhängen, kann auch ein USB Gerät sein.

    Ich gehe mal davon aus, das die (USB)HDD unter /media eingehängt ist ist.

    Image von sda erzeugen:
    ddrescue -r 3 /dev/sda /media/sda.img /media/sda.log
    ddrescue -R -r 3 /dev/sda /media/sda.img /media/sda.log

    Image von sdb erzeugen:
    ddrescue -r 3 /dev/sdb /media/sdb.img /media/sdb.log
    ddrescue -R -r 3 /dev/sdb /media/sdb.img /media/sdb.log

    Image von sdc erzeugen:
    ddrescue -r 3 /dev/sdc /media/sdc.img /media/sdc.log
    ddrescue -R -r 3 /dev/sdc /media/sdc.img /media/sdc.log

    Image von sdd erzeugen:
    ddrescue -r 3 /dev/sdd /media/sdc.img /media/sdd.log
    ddrescue -R -r 3 /dev/sdd /media/sdc.img /media/sdd.log

    Für mich ist es solchen Fällen immer wichtig, eine Datenbasis auf einem heilen Datenträger zu schaffen, von dem man beliebig viele Klone erzeugen kann.

    Wenn das fertig ist, hat man erstmal ein Backup. Was das Backup Wert ist, stellt sich erst später raus.

    Bei dem Erzeugen der Images ist es extrem wichtig, ddrescue einfach seine Arbeit machen zu lassen und Geduld zu haben.

    Jetzt kann man die defekten Festplatten gegen neue austauschen.

    Wenn man auf die Sicherheit verzichten möchte, kann man auch direkt auf die neuen Festplatten kopieren. Hier ein Beispiel

    Image von sda erzeugen:
    ddrescue -r 3 /dev/sda /dev/neuehdd /media/sda.log
    ddrescue -R -r 3 /dev/sda /dev/neuehdd /media/sda.log


    Ich mache mal mit der sicheren Methode weiter.

    Also die Images von den defekten Platten auf die neuen Festplatten wiederherstellen.

    Recovery sda
    dd if=/media/sda.img of=/dev/sda status=progress

    Recovery sdc
    dd if=/media/sda.img of=/dev/sda status=progress


    Wenn das fertig ist, hast Du folgendes gemacht. Die defekten Daten auf heile Datenträger kopiert.

    Jetzt kann man anfangen zu versuchen das Raid5 wieder zu reparieren.

    Cu
    redjack
  • Re,

    @redjacks Anleitung ist genau der komplizierte Weg, den man jetzt gehen müsste - aber nur der erste und einfache Teil. Denn den RAID-Verbund nach dieser Prozedur wieder herzustellen, wird dann nochmal richtig kompliziert - man muss wenigstens drei der vier Platten auf den gleichen internen Stand bringen, sonst läuft der Verbund nicht an ...

    Da muss man sich wirklich fragen, ob einem das wert ist.

    @wtuppa: zwei von vier Platten reichen nicht, es müssen drei sein - man könnte den Verbund zwingen, eine oder mehrere bestimmte Platten zu benutzen, aber das ist das Gleiche wie Totalverlust ... da kommt nix Rettbares mehr bei rum.

    Sc0rp
  • ich dachte daran, einfach mal zu sagen die Platte SDA ist aktuell (als wäre sie nicht aus dem Verbund gefallen). Theoretisch sollte ja nachher nichts mehr geschrieben worden sein.
    und auf keinen Fall SDC reinhängen, da ja sonst wieder ein Rebuild angestossen wird.

    siehst du da einen Weg @Sc0rp? Da bist du doch mehr der Profi als ich.
    SW: OMV 4.1.35 (Arrakis), Snapraid mit mergerfs, Minidlna
    MSI B150M ECO, Intel Pentium G4400, 16GB Kingston DDR4, SSD 250GB, 4TB Daten, 3*8TB+6TB SnapRaid (8TB Parity,3+3+2TB Parity2), FSP Aurum S 400W, Fractal Node 804
  • Re,

    man kann das versuchen - ein Anleitung dafür gibt es m.E.n. bei "Thomas Krenn" ... ich habe das aber noch nie selber gemacht (Backup geht bei mir schneller :P).
    (ich geh mal suchen, ob ich die Anleitung wieder finde)

    Zuerst muss er aber wirklich die Datenträger "imagen" wie es @redjack beschrieben hat - danach kann man eine Rettung versuchen.

    Sc0rp