Nachträgliche Backup Lösung

Diese Seite verwendet Cookies. Durch die Nutzung unserer Seite erklären Sie sich damit einverstanden, dass wir Cookies setzen. Weitere Informationen

  • Nachträgliche Backup Lösung

    Hallo Community,

    endlich ist ein Forum gefunden, das sich rege mit dem Thema NAS beschäftigt. Der Wissensaustausch hier ist super und hat mir schon bei dem ein oder anderen Problem geholfen. Danke dafür!

    Nun zu meinem aktuellen Problem. Ich habe schon seit einigen Jahren einen NAS aus alten Desktop-PC-Komponenten am laufen und benutze das System hauptsächlich als kleine Datengrube, TimeMachine-Backup und am meisten als PLEX Medienserver.

    Zu der Hardware:
    Intel Core2Quad Q6600 (2,4 GHz)
    ASUS P5Q Deluxe
    WD Red (3TB) (2x)
    8 GB DDR2 RAM
    FreeNAS
    Dateisystem ZFS

    Nun zu meinem Problem:

    Die Daten der CIFS-Shares, TimeMachine-Backups und die der Filme, Musik und Serien (90%) liegen auf den zwei WD Festplatten. Da mein Budget damals sehr klein war, hab ich mit einer Festplatte begonnen und 1 Jahr später eine zweite dazu gekauft, als der Speicher knapp wurde. Ich hab das Volume damals in FreeNAS einfach mit der neuen Festplatte erweitert. Bis auf die wöchentlichen TimeMachine-Backups und das gelegentliche Neuhinzufügen von Blu-Ray-Rips ändert sich der Datenbestand nicht wirklich häufig.

    Da sich nun Filme und Serien im Umfang von ca. 5 TB angesammelt haben, quält mich so langsam die Angst, dass eine der Festplatten die Grätsche machen könnte. Laut Backbaze sollen ja gerade die 3TB Modelle von WD Red am anfälligsten sein. Wenn ich das so richtig verstanden habe würden alle Daten bei einem Ausfall einer Platte restlos vernichtet sein, da die beiden Platten als ein Volume angesehen werden.

    Was kann ich jetzt vorbeugend tun?
    Alle Daten auf externe Festplatten schaufeln?
    Zwei neue WD Red kaufen, alle Daten auf externe Festplatten schaufeln und einen Raid5-Verbund erstellen?
    SnapRAID? (Hab ich leider nicht so ganz verstanden...)
    Oder gibt es andere Möglichkeiten?

    Ich hab mir leider vorher nicht so viele Gedanken über ein Backup gemacht und möchte das jetzt nachholen. Ein Datenverlust wäre zum jetzigen Stand eine Katastrophe.
    Ich bedanke mich für eure Hilfe!

    Andreas
    Mein System:

    OMV 4.1.21-1 Arrakis
    Intel Pentium G4400 | 3,3 GHz
    8 GB RAM
    3x3TB WD Red (SnapRAID)
  • Wenn du ein Backup hast, schwenk auf Openmediavault um.
    1. ZFS benötigt ECC Arbeitsspeicher, da es viele Daten im Ram hält
    2. Die Platten dürfen ja nicht in den Spindown gehen, sind damit dauerläufer. Snapraid ist für Medienserver perfekt geeignet. Lesestoff

    Dann würde ich mir ein paar gedanken machen mit der Hardware, dein alter Quad6600 verbraucht unglaublich viel Strom im vergleich zur aktruellen Hardware. Mal deinen Verbrauch gemessen?

    Lies dich mal ein wenig bei uns im Openmediavault Thema ein, das System bringt für fast alles ein Plugin mit ;)
    Hardware: Asrock H97 Performance, Intel I3 4160, 2x G.Skill F3-1600C11S-8GNT (16gb Ram), be quiet Pure Power L8 300W, Thermalright LeGrande Macho,
    Nanoxia Deep Silence 5 Rev.b, Kingston SSDNow V300 2,5" SSD 120 GB, Western Digital Red 3x4tb,1x4tb HGST Deskstar Nas

    Software: Openmediavault 3.0.99 Erasmus, 4.9.0-0.bpo.6-amd64, Snapraid mit mergerfs Pool, Minidlna, Plex, MySql, ClaimAV, Powertop und Sonstiges
  • Tagchen,

    Die Wahl von FreeNAS stellt viele Nutzer vor Probleme, und zwar genau und immer dann, wenn es um die Erweiterung geht. ZFS lässt sich mal eben nicht so schnell erweitern (leigt meist am fehlende Konzept und auch an der "Mindermenge" Drives die man im SOHO-NAS einsetzt).

    Von daher bleibt dir quasi nur eine Wahl:
    - eine 8TB Seagate Archive v2 kaufen und erstmal alles sichern
    - dann dein System erweitern:
    1) FreeNAS: alte ZFS-Pools löschen, neue zusätzliche Platte einbauen, neuen ZFS-Pool erstellen (um dann später wieder Probleme bei der Erweiterung zu haben
    2) OMV einsetzen: alles leer machen, neu aufbauen

    Vorteile FreeNAS: m.E.n. keine (für dich und deine Ansprüche)
    Nachteile FreeNAS: viele (für dich hauptsächlich im Speichersubsystem)

    Vorteile OMV: flexibel (mehrere Speicherkonzepte), Plugins, und nicht zuletzt: eine starke Community (und ein starkes Mod-/Admin-Team ;))
    Nachteile OMV: ältere BS-Basis (zieht viele "Treiber-Probleme" nach sich, lassen sich aber alle lösen)

    Fazit:
    - um ein Backup kommst du nicht herum (ggf. musst du hier eine Backup-HDD kaufen)
    - ggf. eine neue Datenplatte für den Verbund kaufen (je nachdem, was dein Ziels ein soll)
    - Beschäftigung mit den Speicherkonzepten / Beschäftigung mit den Betriebssystemen

    Für alle Fragen stehen wir natürlich zur Verfügung, aber wir haben auch schon ganz viel Informationen im Forum zusammengetragen - daher meine Bitte: lesen, lesen, lesen ;) !

    Sc0rp
  • Super, vielen Dank für die ausführliche Antwort.

    Ich denke ich werde dann in Zukunft auf OMV setzen und erstmal meine ganzen Daten auf ner Seagate speichern. Dazu noch eine Frage: Lassen sich die Daten problemlos von ZFS im FreeNAS auf die Backup HDD übertragen, auch so, dass das spätere OMV diese Daten lesen kann? Und wie? - Über CIFS-Shares?

    Da ich aktuell 2x WD Red 3TB habe, wie viele neue WD Red benötige ich dann erstmal für meinen aktuellen Datenbestand von 5,5TB?

    Ich werde mich jetzt erstmal in diese ganze Thematik einlesen und mich bei Fragen wieder melden! Vielen Dank!
    Mein System:

    OMV 4.1.21-1 Arrakis
    Intel Pentium G4400 | 3,3 GHz
    8 GB RAM
    3x3TB WD Red (SnapRAID)
  • Tagchen,

    naikon schrieb:

    Lassen sich die Daten problemlos von ZFS im FreeNAS auf die Backup HDD übertragen, auch so, dass das spätere OMV diese Daten lesen kann?
    Klar, die Backup-HDD kannst du ja mit jedem Dateisystem formatieren, das du haben möchtest. Sogar unter Windows mit NTFS ... OMV nimmt alles, bei FreeNAS kenn ich mich nicht aus - zur Not eben die HDD in einen Windows-PC einbauen und übers Netzwerk sichern.

    naikon schrieb:

    Da ich aktuell 2x WD Red 3TB habe, wie viele neue WD Red benötige ich dann erstmal für meinen aktuellen Datenbestand von 5,5TB?
    Kommt auf deine Redundanz-Ansprüche an:
    - RAID-Level5 = ZFS RAID-Z1 = SnapRAID mit 1 Paritätsplatte -> 1 HDD darf ausfallen (+1 HDD zusätzlich) = 3x3TB
    - RAID-Level6 = ZFS RAID-Z2 = SnapRAID mit 2 Paritätsplatten -> 2 HDD's dürfen ausfallen (+2 HDD zusätzlich) = 4x3TB
    - RAID-Level "n" = ZFS RAID-Z3 = SnapRAID mit 3 Paritätsplatten -> 3 HDD's dürfen ausfallen (+3 HDD zusätzlich) = 5x3TB

    Das macht man üblicherweise von den Daten abhängig, meine Emfehlung:
    - wichtige Daten mind. R6 (zweifache Redundanz)
    - normal wichtige Daten R5 (einfache Redundanz)
    - unwichtige Daten (habe ich nicht :P)
    - immer ein (funktionierendes) Backup vorhalten!

    Wobei ich jedem rate, ab 3TB/Drive mind. ein R6 einzusetzen, bei der Größe wird ein Rebuild schnell zum gefährlichsten Unterfangen für den Datenbestand ...

    D.h. - FAZIT - meine Empfehlung wäre bei mittelwichtigen Daten (funktionierendes Backup vorh.):
    - ein R5 aus 3 HDD für dich zum Start, und bei Bedarf später erweitern (3x3TB)
    - Alternative wäre hier SnapRAID einsetzen und als nächstes ein 4TB-Platte für die Redundanz zu kaufen, dann kann dein Konzept das Durchtauschen der Festplatten beinhalten und du wärest flexibel, was die Beschaffung angeht
    - Zukunftssicherer wäre es allerdings, gleich mit 3x4TB zu starten, die 4er kosten im Preis/TB etwa genauso viel wie die 3er (die 3er dann verkaufen, oder als Backup-Platten benutzen, dann kannst dir die 8er sparen)

    Für wichtige Daten einfach eine zusätzliche Redundanz-HDD einplanen ... alle Verbünde lassen sich später erweitern.

    Sc0rp
  • Zum Thema übertragen der Daten unter ZFS/OMV kann ich dir nichts sagen da ich aus der Windows Ecke kommen aber da gibt es bestimmt gute Kopierfunktionen.

    Zum Thema Plattenplatz:
    Bei einen Ausfallgeschützen Raid (Raid 1 , 5 , Snapraid) verliert man immer (mindestens) eine HDD als Parity Platte für die Ausfallsicherheit.
    Also bei 2 * 3TB bleiben nur 3 TB verfügbar, bei 3*3TB = 6 TB , 4*3 TB = 9 TB
    Wichtig ist auch das die Parity Platte immer min. so groß sein wie die größte HDD im Raid.

    Grundsätzlich must du dir überlegen was du als Ausfall Sicherheit haben willst:

    Derzeit hast du unter ZFS praktisch keine Sicherheit sogar noch noch die Ausfall gefahr verdoppelt.
    Wen bei dir auch nur eine der beiden HDD's ausfällt sind immer ALLE Daten weg beim ZFS .

    Nun könntest du auch unter ZFS oder OMV (oder WIndows) noch eine 3. Platte hinzufügen und darauf dann ein Raid 5 (oder unter OMV ein Snapraid) machen.
    Dann kann EINE beliebige Festplatte ausfallen , alle Daten bleiben erhalten.

    Alternative kann ich dir auch mein Sicherheitskonzept vorstellen:
    Grundlage ist folgenes:
    Auf meinen NAS befinden sich halt Filme/Serien/Musik und Datensicherungen von meinen Client, also keine EXTREM wichtigen Daten weil es halt eh schon backup daten sind oder halt Mediadiles die man zur Not nochmal bekommen kann.

    Ich habe auf mein Nas KEIN Raid also fällt die Platte aus ist alles weg.
    (derzeit habe ich 2 NAS eine MybookLive 3TB (ist mitlerweile fast immer ausgeschaltet) und einen neuen Windows NAS rechner mit einmal 4TB)

    Zur Sicherheit habe ich seit langen eine exteren Sicherungsplatte in einen USB 3 Gehäuse.
    Diese Platte schließe ich an meinen Windows PC an und mappe mir vom NAS das Netzlaufwerk.
    Dann hat die USB platte den Laufwerksbuchstaben E: und das NAS hat Z:
    Jetzt gebe ich in der DOS-Box den Befehl ein:
    ROBOCOPY Z: E: /MIR
    Damit wird das Laufwerk Z: (NAS) auf E: (Sicherungsplatte) kopiert, das dauert beim ersten Mal sehr lange weil halt alle daten neu angelegt werden müssen.
    Beim nächsten Mal werden aber nur noch geänderte Daten kopiert und das sich halt in der Regel nur neue Filme, aktuellere Backup-Files und geht dann sehr schnell bei mir meist 1-2 Minuten.

    Vorteil der Lösung;
    - sie ist günstig und einfach
    - sie ist extren so kann ich die Festplatte auch mal zum Freund mitnehmen um ihn was zu koppieren
    - ist auch sicherer gegen Schädlinge Trojaner/Vieren die können durchaus die Daten auf den NAS löschen/verschlüsseln aber an die Platte im Schrank kommen die nicht ran.
    - die ist komplett unabhängig von der Hard und Software des NAS sprich paßt zu jeden NAS und sollte es mal Problem mit den Filesystem geben kann man auch bei einem Raid mal alle Daten verlieren.
    - die Sicherung ist sehr sicher weil sie extern im Schrank liegt und da auch Überpsannungsschaden nichts ausrichten kann
    - ein wechseln auf ein anderes NAS ist in der Regel einfacher weil du immer ein 100% Backup im Schrank hast

    Nachteile:
    - komplett manuell, du must immer selber daran Denken das du die Daten auf die USB platte sicherst.
    - Im Datenverlusfall verlierst du ALLE Daten die seit deinen letzten Backup geändert wurden
    - ein Raid 1,5,6 ist immer 100% auf den aktuellen Stand, ein Snapraid liegt in der Regel max. 24h zurück
    - Ein Raid 5/6 ist theoretisch schneller wobei in unseren Bereich ist in der Regel das Netzwerk immer das Nadelöhr

    Für mich überwiegen im Privaten Bereich die Vorteile halt erheblich.
  • Re,

    falo999 schrieb:

    Nun könntest du auch unter ZFS [...] noch eine 3. Platte hinzufügen
    Nein, das geht nicht ... ZFS-Verbünde sind ziemlich monolithisch ... das ist das Problem vieler Benutzer, besonders wenn ihr FreeNAS-Build an die Kapazitätsgrenze kommt, steigen viele davon auf OMV um.

    falo999 schrieb:

    - ein Raid 1,5,6 ist immer 100% auf den aktuellen Stand, ein Snapraid liegt in der Regel max. 24h zurück
    ... was die Redundanz angeht, allerdings kann man das bei SnapRAID ja auch anpassen (alle 4h/ alle 8h/ alle 12h/ ...)
    Man muss halt die beiden Redundanzkonzepte verstehen, das gehört einfach dazu ...

    Sc0rp
  • Sc0rp schrieb:

    was die Redundanz angeht, allerdings kann man das bei SnapRAID ja auch anpassen (alle 4h/ alle 8h/ alle 12h/ ...)
    Fast^^, du kannst ein "scrub" nach zeit einstellen, wobei er den eh alle 7 Tage macht, nach vorgabe.
    ein Sync kannst du einstellen, je nach geändertem speicherplatz. Wird in GB eingestellt. Ich habe z.b. 20gb bei mir vorgegeben.
    Hardware: Asrock H97 Performance, Intel I3 4160, 2x G.Skill F3-1600C11S-8GNT (16gb Ram), be quiet Pure Power L8 300W, Thermalright LeGrande Macho,
    Nanoxia Deep Silence 5 Rev.b, Kingston SSDNow V300 2,5" SSD 120 GB, Western Digital Red 3x4tb,1x4tb HGST Deskstar Nas

    Software: Openmediavault 3.0.99 Erasmus, 4.9.0-0.bpo.6-amd64, Snapraid mit mergerfs Pool, Minidlna, Plex, MySql, ClaimAV, Powertop und Sonstiges
  • Sicher kann man das, nur der Sinn ist fragwürdig.
    Snapraid ist dazu geeignet Medien Datein bereitzustellen für ka. bis zu 10 Clients, ab da würde wohl die Festplatte/das Gbit Lan limitieren.

    Zum produktiven arbeiten ist es nicht geeignet.

    Schneide ich filme zurecht, schiebe Bilder oder Musik auf die Kiste sind 20Gb schnell erreicht, bräuchte ich es in echtzeit bzw. alle 2-4h würde ich hier auf ein Raid5/6 gehen.
    Die Festplatten würden einfach zuoft hochstarten, und das ist nicht der Sinn vom Snapraid und macht die Vorteile zunichte.
    Hardware: Asrock H97 Performance, Intel I3 4160, 2x G.Skill F3-1600C11S-8GNT (16gb Ram), be quiet Pure Power L8 300W, Thermalright LeGrande Macho,
    Nanoxia Deep Silence 5 Rev.b, Kingston SSDNow V300 2,5" SSD 120 GB, Western Digital Red 3x4tb,1x4tb HGST Deskstar Nas

    Software: Openmediavault 3.0.99 Erasmus, 4.9.0-0.bpo.6-amd64, Snapraid mit mergerfs Pool, Minidlna, Plex, MySql, ClaimAV, Powertop und Sonstiges
  • Perfekt, so setzte ich das jetzt erstmal um. Hab jemanden im privaten Umfeld gefunden, bei dem ich meine Daten zwischenspeichern kann. Sobald die neue HDD da ist, werde ich mich ans Aufsetzen von OMV machen. Vielen Dank, ich bin nun langsam echt beruhigter dass ich doch noch zu einer Backup-Lösung gekommen bin. Vielen Dank für die Hilfe!

    Zwei Fragen noch:

    Sc0rp schrieb:

    und als nächstes ein 4TB-Platte für die Redundanz zu kaufen, dann kann dein Konzept das Durchtauschen der Festplatten beinhalten und du wärest flexibel, was die Beschaffung angeht
    Wenn ich mir nun eine 4TB als Parity Platte dazu kaufe, wäre ich in der Zukunft flexibel was die Erweiterung (max. 4TB) angeht, richtig?
    Heisst defakto: Wenn ich meinen Verbund als nächstes um 4TB erhöhen wollen würde, würde das nur gehen, wenn auch die Parity Platte 4TB hat?

    Bzw.: Egal um wie viel neue 4TB Platten ich meinen Verbund erhöhe, im Resultat bleibt es immer bei den 4TB Parity? Hab ich das so richtig verstanden?

    Sc0rp schrieb:

    Wobei ich jedem rate, ab 3TB/Drive mind. ein R6 einzusetzen, bei der Größe wird ein Rebuild schnell zum gefährlichsten Unterfangen für den Datenbestand ...
    Was bedeutet das in der Praxis? Ein SnapRAID mit 1 Paritätsplatte ist in der Wiederherstellung ein Drahtseilakt?

    Grüße Andi
    Mein System:

    OMV 4.1.21-1 Arrakis
    Intel Pentium G4400 | 3,3 GHz
    8 GB RAM
    3x3TB WD Red (SnapRAID)
  • naikon schrieb:

    Was bedeutet das in der Praxis? Ein SnapRAID mit 1 Paritätsplatte ist in der Wiederherstellung ein Drahtseilakt?
    Nicht wenn du ein Backup hast.

    Die Festplatten werden über Stunden sehr beansprucht bei der Wiederherstellung, achte auf die Temperatur der Festplatten. Bis 45°C ist alles gut, ab 45°C benötigst du eine Kühlung.
    Hardware: Asrock H97 Performance, Intel I3 4160, 2x G.Skill F3-1600C11S-8GNT (16gb Ram), be quiet Pure Power L8 300W, Thermalright LeGrande Macho,
    Nanoxia Deep Silence 5 Rev.b, Kingston SSDNow V300 2,5" SSD 120 GB, Western Digital Red 3x4tb,1x4tb HGST Deskstar Nas

    Software: Openmediavault 3.0.99 Erasmus, 4.9.0-0.bpo.6-amd64, Snapraid mit mergerfs Pool, Minidlna, Plex, MySql, ClaimAV, Powertop und Sonstiges
  • Hallo,

    naikon schrieb:

    Wenn ich mir nun eine 4TB als Parity Platte dazu kaufe, wäre ich in der Zukunft flexibel was die Erweiterung (max. 4TB) angeht, richtig?
    Heisst defakto: Wenn ich meinen Verbund als nächstes um 4TB erhöhen wollen würde, würde das nur gehen, wenn auch die Parity Platte 4TB hat?

    Bzw.: Egal um wie viel neue 4TB Platten ich meinen Verbund erhöhe, im Resultat bleibt es immer bei den 4TB Parity? Hab ich das so richtig verstanden?
    Ja, hast du. Die größte Platte sollte bei SnapRAID immer die Parität aufnehmen.
    Du könntest also jetzt eine 4TB-Platte kaufen und als Paritätsplatte einsetzen - dann könntest du alle Festplatten bis 4TB-Größe in den Verbund als Datenplatten aufnehmen, inkl. deiner beiden vorh. 3TB.

    naikon schrieb:

    Was bedeutet das in der Praxis? Ein SnapRAID mit 1 Paritätsplatte ist in der Wiederherstellung ein Drahtseilakt?
    Wiederherstellung ist entweder immer ein Drahtseilakt, oder eben nicht - SnapRAID macht da erstmal keinen extra Unterschied. Bei der Rückrechnung der Parität werden alle Festplatten voll beansprucht, für mehrere Stunden.
    Je älter die Festplatten dann sind, umso höher ist natürlich dann die Wahrscheinlichkeit eines weiteren Ausfalles (einer anderen Festplatte).
    Theoretisch ...

    Sc0rp
  • Hallo,

    ab der nächsten SnapRAID Version (11) gibt es dann Splitted Parity. Ist schon im BETA. Da kann dann die Parity auf mehrere Platten aufgeteilt werden und wenn eine Platte defekt wird, ist nur ein Teil der Parity verloren.
    z.B. Datenplatten a 4GB, Parity auf 2*2GB. Hier ein Beispiel mit 2GB Daten und 1GB Parity Platten.

    Walter
    SW: OMV 4.1.22 (Arrakis), Snapraid mit mergerfs, Minidlna
    MSI B150M ECO, Intel Pentium G4400, 16GB Kingston DDR4, SSD 250GB, 4TB Daten, 3*8TB+6TB SnapRaid (8TB Parity,3+3+2TB Parity2), FSP Aurum S 400W, Fractal Node 804
  • wtuppa schrieb:

    ab der nächsten SnapRAID Version (11) gibt es dann Splitted Parity. Ist schon im BETA. Da kann dann die Parity auf mehrere Platten aufgeteilt werden und wenn eine Platte defekt wird, ist nur ein Teil der Parity verloren.
    z.B. Datenplatten a 4GB, Parity auf 2*2GB. Hier ein Beispiel mit 2GB Daten und 1GB Parity Platten.
    Ich kann einfach keinen Vorteil davon erkennen :(
    Egal wie man die Parity aufsplittet beim ausfall einer Platte muß man nach den Austausch immer den Inhalt komplett rebuilden.
  • naja, nimm einfach mal 8TB Platten (für die Daten) und nimm deine alten 4TB für die Parity. Geht dann mit SnapRaid.
    bis jetzt musstest du eine 8TB Platte für die Parity opfern und die beiden 4TB waren parallel (also mehr Drives).

    als Beispiel:
    3*8TB und 2*4TB als Parity -> entspricht 4 Platten (beide 4TB oder eine 8TB darf ausfallen)
    2*4TB+2*8TB Daten und 1*8TB als Parity -> entspricht 5 Platten und maximal eine darf ausfallen (egal welche)

    hat als schon Vorteile. Im refernzierten Beispiel oben ist es mit doppelter Parity graphisch dargestellt.
    Übrigens sollte man niemals Daten auf Parity Platten geben.
    Walter
    SW: OMV 4.1.22 (Arrakis), Snapraid mit mergerfs, Minidlna
    MSI B150M ECO, Intel Pentium G4400, 16GB Kingston DDR4, SSD 250GB, 4TB Daten, 3*8TB+6TB SnapRaid (8TB Parity,3+3+2TB Parity2), FSP Aurum S 400W, Fractal Node 804