Welches RAID System bei 48TB NAS? Snapraid sinnvoll? Fragen zu OMV

Zitat von Schrullenbulle

Was mich abschreckt ist diese Sync/Scrub Geschichte die lt. Artikel "Sehr viel Zeit und sehr viel Ram frisst"

Der erste Sync wird schon eine Zeitlang dauern. Ansonsten wird nur gesynct was frisch hinzukommt, oder geändert wurde.
Bei meinen netto 16tb liegt der Speicherverbrauch bei 1.5gb. Wenn du einen Sync anwirfst nimmt sich Snapraid nochmal 800mb dazu.

Zitat von Schrullenbulle

Im Artikel steht, dass 1TB ca 1h zum syncen/scrubben braucht.

Einfach rechnen, meine Wd red haben einen Schnitt von 160Mb/s. Also 9.6gb/min, 576gb/std.
Du siehst das das Limit bei den Platten liegt

Zitat von Schrullenbulle

Dann noch eine Frage zum Ram. Ich würde erst mal nur 8GB verbauen. 1GB wird ja pro 10TB Storage empfohlen.

Nur beim Sync, Prüfen, bereinigen oder wiederherstellen nimmt sich Snapraid ein wenig mehr Ram. Wird aber nach getaner Arbeit wieder freigegeben.

Zitat von Schrullenbulle

Lässt sich das NAS z.B. auch für einen Snapraid Scrub automatisch nachts starten

Klar, kein Problem, Ich starte einmal die Woche einen Sync inkl prüfung.

Zitat von Schrullenbulle

Läuft OMV auch Rockstable? Das war z.B. ein Grund warum ich bisher immer zu "Fertig NAS" gegriffen habe. Ich hatte schonmal vor Jahren (~2010) ne Eigenbaulösung versucht und dauernd ist mir irgendwo das Softwareraid weggeflogen.

Omv schmierte bei mir nur ab, wenn ich etwas rumbastelte, wovon ich mal las aber keine Ahnung hatte xD
Es läuft absolut stabil.

Alternativ gibt es XPEnology, was auf der Software deiner Synology basiert. Erfahrungen hat hier aber bisher keiner, darum der Link zu reinschmökern.

Zitat von Schrullenbulle

1.) Ich lese sehr viel von Snapraid als Alternative zu Raid 5 (Eine Platte soll als Ausfallschutz dienen). Ich habe auch den Artikel auf Technikaffe überflogen. Ich denke für mein Media-Storage ist das eine schicke Sache. Was mich abschreckt ist diese Sync/Scrub Geschichte die lt. Artikel "Sehr viel Zeit und sehr viel Ram frisst" - Da ich insgesamt 6x8TB Platten einsetze stellt sich mir die Frage: Macht das mit Snapraid Sinn? Wie verhält sich dieses Scrub/Sync? Werden nur die geänderten Daten gesynced/gescrubbt oder jedes mal das komplette System? Im Artikel steht, dass 1TB ca 1h zum syncen/scrubben braucht. Das wären ja bei 30TB schon satte 30 Stunden! Das wäre für mich leider inakzeptabel. Ist das wirklich so heftig? Oder bezieht sich das auf geänderte Daten? Dann wäre das wieder was völlig anderes.

Der erste Sync/Scrup braucht natürlich bei den Datenmengen sehr viel Zeit weil selbet die 1TB/h ist schon relative hoch angesetzt.
Das liegt halt daran das alle Daten von allen Datenplatte gelesen werden müssen und halt die Paritiyplatten beschrieben werden müssen.
So hats du normal eine maximal Schreibleistung von ca. 100MB/s und dann braucht man halt 22h um eine 8TB vollzuschreiben, daber gleichzeitig noch von 4-5 Platte auch mit 100MB/s gelesen werden müßte und die CRC Checksumme gebilden werden muß wird es vermutlich sogar noch länger dauern.
Also wenn du wirklich mit 30 TB an daten startest rechne mir mehr als einen Tag.

Aber bei den weiteren Sync werden nur noch änderungen neu geschrieben .

Hast du die Festplatten schon gekauft ?
Grundsätzlich sollte man bei solchen Datenmengen bei einem Raid (egal ob 5/6 oder Snapraid) sehr auf die Festplatten achten.
Das Problem ist die meisten Festplatten haben nur eine 'Unrecoverable read error rate' von 10^14 haben das heißt statistisch gesehen gibt es alle 12,5TB die gelesen werden einen nicht korgierbaren Lesefehler.
Das ist vorallen wichtig beim einen Fehlerfall , wenn eine Festplatte ausfällt und man die ersetzt ist die Gefahr sehr hoch das beim Arrayrebuild zu so einen Lesefehler kommt und das Rebuild abbricht.
Deswegen sollte man bei solch großen Datenmengen immer mehr als eine Parity Platte einsetzten.
Snapraid empfiehlt ab 5 Festplatte 2 Parity und bei Raid 6 nutz man halt auch mehr als eine Parity Platte (das ist ja der unterschied zu Raid5).

Allerdings gibt es mittlerweile auch gut bezahlbare Festplatten mit 10^15 Unrecoverable read error rate wie z.B. die Ironwolf NAS 8/10TB.
Bei den Enterprise Serverfestplatten sind sogar 10^16 Unrecoverable read error rate normal.

Zu deinen OMV spezifischen Fragen kann ich dir nichts sagen da ich halt Snapraid unter [definition=40,0]Windows[/definition] einsetze.

bei einem klassischem R5 wäre das Raid nun platt.
Beim Snapraid haben wir zwar auch das 12tb Limit, allerdings werden die Daten nicht verteilt.

Somit wäre das unerheblich.

Zitat von Schrullenbulle

Eine Sache ist mir noch nicht so ganz klar beim scrubben. Sollte man hier einen 100% Scrub durchführen? Oder reicht da auch wöchentlich ein 10% Scrub? Irgendwie ist mir da die Funktionsweise noch nicht so ganz klar

Beim Scrub werden die Daten überprüft, sprich es werden die Daten von alle Datenplatte und der Parityplatte gelesen und überprüft ob die Daten richtig sind.
Jede Woche ein volles Scrob würde halt bedeuten das jede Woche alle Daten komplett gelesen werden was halt wieder so 1-2 Tage dauern wird.
Ich mache selbst den 10% Scrub bei mir nicht weil ich den Stress nicht den Platten antuen möchte.
Allerdings habe ich auch nur 'unwichtige' oder extern gesicherte Daten auf meinen Snapraid liegen.

Für mich ist einer der großen Snapraid Vorteil auch der manuelle Sync und man kann Daten recht einfach zurückholen, so hatte ich mal aus versehen einen Ordner mit 100 GB gelöscht,
den konnte ich problemlos wiederherrstellen, bei normalen Raid wäre ja das Löschen sofort gesynct worden.

Zitat von Schrullenbulle

Was passiert denn, wenn der Rebuild bei nem Read-Error abbricht. Kann man dann nicht neu starten und hoffen, dass er durchläuft?

Grundsätzlich heißt das ja 'unrecoverable' sprich da ist nomal der Sector kaputt und wird von der HDD Electronik auch so vermerkt.
Sprich die Daten die da drin stehen sind verloren.

Die große Frage ist nur was passiert dann , der Parity Inhalt ist ja in einer großen Daten Datei von Snapraid diese Datei wäre ja an einer Stelle jetzt nicht lesbar.
Ich würde erwarten das Snapraid dann nur die Datei nicht wiedeherrstellen kann die in den defekten Sektor liegt, kann aber natürlich auch sein das Snapraid das Recover immer an dieser Stelle abbricht (was ich nicht glaube/hoffe).

Zitat von Schrullenbulle

Im Worstcase käme ich immer noch an die Daten der Platten, die nicht abgeraucht sind, wenn ich das richtig sehe? Also einfach reinstecken und die Daten per Linux auslesen. Das geht auch wenn die Platten im Pool sind ?

Ja, grundsätzlich würde man im Extremfall halt nur die Daten der abgerauchten Platte verlieren.
Zusätzlich hat man halt die Möglichkeiten des Rebuild wobei aber natürlich dann alle Daten aller übrigen Platten gelesen werden müssen um den ausfall zu recovern.
Diese bedeutet halt ziemlichen Stress für alle Platten.

So wie ich das mit den 'Pool' verstehe ist das nur eine zusätzliche Verlinkung sprich man greif über die Pooladresse die von AUFS Verwaltet wird zu aber an den Speicherort auf der HDD ändert sich nichts.
Also sollte ein normaler Zugriff auf die Daten über die HDD möglich sein.

... ich wollte vorhin schon anmerken .....
Ich wage mir gar nicht vorzustellen, wie lange es dauert, ein rebuild von 30TB Daten auf einem Raid5 / 6 zu fahren.....

Den Erst-Aufwand hat man natürlich - dann gehts aber ganz locker.
Bei DER Plattenmenge - achte darauf, die Platten sehr gut (!) zu entkoppeln! Die Plattenausfallwahrscheinlichkeit steigt bei den Platten unterschiedlich stark an - je nach Modell. Ich weiß jetzt nicht, wie das bei den Deinen ist; müßtest Du mal recherchieren.
Das hat was damit zu tun, dass die geringen Vibrationen der Einzelplatte sich mit denen der anderen quasi hoch schaukelt.

Deshalb hatte ich mal gelesen, je mehr Platten verbaut sind, desto überproportional höher die Ausfallwahrscheinlichkeit.

Re,

Zitat von Michelle_Br

Ich wage mir gar nicht vorzustellen, wie lange es dauert, ein rebuild von 30TB Daten auf einem Raid5 / 6 zu fahren.....

Ohne CPU-Limitierung und Störungen? Ca. Plattenspeed (Schreibleistung) -10-20% als grober Richtwert ...

Zitat von Schrullenbulle

Das ist ein interessanter Punkt, den ich bisher noch nicht auf dem Schirm hatte. Die Festplatten habe ich schon gekauft. HGST Deskstar NAS 8TB, die übers Wochenende im Angebot waren. Bei 207€/Stk. gabs keine Alternative. Die haben in der Tat nur 10^14 URE.

Also ich weiß nicht, warum @falo999 immernoch auf den URE's rumreitet, aber wir haben das schon mal in aller Ausführlichkeit beleuchtet: für die Heimanwender ist das uninteressant. Erstens ist das nur ein theoretischer Wert (der auch noch recht konserativ angelegt ist), und zum Zweiten fehlt jegliche Praxisrelevanz ... @falo999: wann hattest du deinen letzten URE? Und was ist dabei unwiederbringlich kaputt gegangen?

Ich kann mich an keinen einzigen URE in meiner gesamten IT-Laufzeit erinnern ... Backup ist aber immer höchste Pflicht!

Zitat von falo999

Diese bedeutet halt ziemlichen Stress für alle Platten.

Nicht wirklich, Leseoperationen sind kein Stress, Schreiben dagegen schon ... ausreichende Kühlung vorausgesetzt. Das Einzige, worauf rotierende Platten empfindlich reagieren, ist "mechanischer" Stress - meist von außen ... Platten, die von sich aus vibrieren wie Waschmaschinen, sollte man vorher aussortieren
(Für die reinen Desktop-Platten sind es u.U. aber auch die Start-/Stopzyklen)

Sc0rp

Naja, je größer die Platten werden, aber die URE's nicht, wird es so langsam interessant. Wir sind nicht mehr bei 4tb per Platte, so langsam werden 8tb bezahlbar.

Da leider die Consumer Platten immernoch bei einem URE -14 sind, wird das spannend bei einem R5 mit z.b. 4x8tb. Entweder kommt es bei der erstellung zu einem Fehler, oder wenn es drauf ankommt, einem Rebuild. Ich wäre da vorsichtig mit "kommt nicht vor, oder ist im Home Bereich uninteressant".
Klar es kann Passieren, muß aber nicht, aber genau da ist ein R5 in meinen augen bei 24tb+ als unsicher zu bezeichnen und veraltet.

Ich hole mir lieber 4 URE-14er Platten, lasse zwei davon als Parität laufen als eine URE-15 Platte.

@TE: Hast du CPU und Mainboard schon geholt? Wenn nein, rate ich dir zu einem ECC-System. AMD+ASUS ist da ein guter Kandidat, ältere Intel Systeme oder die Server-Systeme von Intel (auf reg und unbuffered achten!). Das macht bei diesen Datenmengen schon Sinn und du kannst dann auf fehlerkorrigierende Dateisysteme wie BTRFS und ZFS-RAIDZ2 oder 3 setzen. Ich nutze letzteres und bin sowohl von der Leistung als auch von der Administratierbarkeit sehr angetan. Dafür gibt es sogar ein OMV-Plugin Nutz du den Server nur als Datengrab, ist mergerfs und snapraid eine gute Alternative.

Zitat von Schrullenbulle

Danke noch mal für die Antworten Die Platten sind in einem Fractal R4 verbaut. Die Festplatten sind also schön entkoppelt. Generell haben aber NAS Platten aber ja auch Vibrationssensoren und sind weniger anfällig.

Das ist mir neu das NAS Platten normal Vibrationssensoren haben.
Mir ist genau eine Serie NAS Platten bekannt die im Homebereich bezahlbar ist und Vibrationssensoren haben und das sind die schonmal erwähnte Irowolf NAS ab 4?TB.

Ansonsten geht es erst ab 45€/TB los deswegen ist ja die Ironwolf NAS derzeit so intressant weil sie halt Schnell, Helium und Vibrationssensoren haben und das für 32€/TB.

Naja, mir stellt sich da eher die frage, wie lange hält das helium im gehäuse?
Ganz dicht kann die Iron nicht sein. Nur was passiert, wenn sich das gas nach 3 oder 4 jahren "verdünnt"?

Das wird sich halt zeigen, aber ich bin mir recht sicher das die ausreichend lange halten weil so neu ist die Helium Technik halt nicht.

Es gibt ja auch die Therorie das nur relative geringe Mengen Helium entweichen können weil die in der Luft enthaltenen O/N Atome halt wesentlich größer sind.
So kann zwar das Helium in geringen mengen entweichen (selbst dünne Metallbleche sind nicht 'Heliumdicht') aber es kann kein Sauerstoff oder Stickstoff nachströmen und so bildet sich halt ein kleiner unterdruck in der Platte was halt den weiteren Heliumaustritt verhindert.

Ob das wirklich stimmt kann ich mangels Physik/Chemie Studium nicht sagen.

WD hat schon 2016 über 10 Millionen Helium Platten verkauft und setzt He mittlerweile in praktisch allen Serien >8TB ein ich würde die Technik also nicht mehr als neu und ungewöhnlich ansehen.

Auch bei der Seagate Archive mit SMR Technik wurden sehr hohe ausfallraten erwartet und die halt bislang erstaunlich gut.

hmm, ich seh das so, das gleichmäßige füllen aller Platten hat den Vorteil das der Sync speed nicht auf einmal in den keller geht.
Dazu noch das, bei gleichmäßiger füllung, nicht immer die selbe platte arbeitet.

Habe grade geschaut, tdp hab ich auch nichtmehr zur auswahl, gab es aber devinitiv anfang des Jahres.

Re,

dann wäre "epmfs" die passende Policy ... das wäre auch mein Wahl.

Was Joogie meinte, war, das bei "tdp" beim Sync ja auch alle Platten laufen müssen - obwohl sie keine Daten haben. Und der Snyc-Speed ist weniger von einer Platte abhängig ...

Sc0rp

Ich bin eher der Filmjunkie^^
Bei den lütten Daten, ka wieviel du da hast, könnte man die blockgröße evt noch reduzieren um den Overload nicht zu hoch zu treiben.