Datenverteilung Aufs - mergerfs Snapraid

    Diese Seite verwendet Cookies. Durch die Nutzung unserer Seite erklären Sie sich damit einverstanden, dass wir Cookies setzen. Weitere Informationen

    • Datenverteilung Aufs - mergerfs Snapraid

      Hallo zusammen

      Habe mich gründlich durch euren Guide zu Snapraid gelesen.
      Erstmal: Super Guide. :)

      Eine Frage bleibt dabei offen bei mir. Es gibt ja die Richtlinen für die Datenverteilung.
      In euerem Turtorial empfehlt ihr:
      mfs (most free space) - Die Datei wird auf die Festplatte kopiert, die über den meisten freien Speicherplatz verfügt

      Wie sieht das genau aus?
      Wenn ich nun einen Ordner mit einer Serie bei der die Folgen 25 Minuten gehen, werden die dann auf die Festplatten verteilt?
      Oder wird dann der ganze Ordner auf eine Festplatte geschireben und der nächste Ordner dann auf die Platte mit dem meisten freien speicher?

      Ich frage deshalb, weil ich vor habe die Platten nach 10-15 min in den Sleepmodus zu versetzten damit nur die Platte am laufen ist auf der die Serie liegt.
      Da man ja bei so kurzen Folgen meist nich nur eine schaut 8) möchte ich nicht das die Platten nach jeder folge anlaufen müssen wenn die Serie auf alle Platten verteilt ist.

      Gibt es einen grossen nachteil wenn ich z.B.

      tdp (top-down-parent) - Füllt eine Festplatte nach der anderen (Default in OpenMediaVault)
      nehmen würde?


      MFG Floppy Disk
    • Floppy Disk schrieb:

      mfs (most free space) - Die Datei wird auf die Festplatte kopiert, die über den meisten freien Speicherplatz verfügt
      Korrekt, Datei


      Floppy Disk schrieb:

      Wie sieht das genau aus?
      Wenn ich nun einen Ordner mit einer Serie bei der die Folgen 25 Minuten gehen, werden die dann auf die Festplatten verteilt?
      S.o., Ordner Interessiert nicht, die Platte die mehr Platz bietet bekommt die Datei (Serie), unabhängig vom Ordner. Der Ordner ist eh auf allen Datenplatten vorhanden bei anlegen.


      Floppy Disk schrieb:

      Ich frage deshalb, weil ich vor habe die Platten nach 10-15 min in den Sleepmodus zu versetzten damit nur die Platte am laufen ist auf der die Serie liegt.
      Genau das ist der Vorteil von Snapraid, es wird nur von der Platte gelesen die die Datei beinhaltet, die anderen bleiben im Spinndown.


      Floppy Disk schrieb:

      tdp (top-down-parent) - Füllt eine Festplatte nach der anderen (Default in OpenMediaVault)
      Je voller die Platte, desto langsamer wird sie, abgesehen von der abnutzung.
      Hardware: Asrock H97 Performance, Intel I3 4160, 2x G.Skill F3-1600C11S-8GNT (16gb Ram), be quiet Pure Power L8 300W, Thermalright LeGrande Macho,
      Nanoxia Deep Silence 5 Rev.b, Kingston SSDNow V300 2,5" SSD 120 GB, Western Digital Red 3x4tb,1x4tb HGST Deskstar Nas

      Software: Openmediavault 3.0.99 Erasmus, 4.9.0-0.bpo.6-amd64, Snapraid mit mergerfs Pool, Minidlna, Plex, MySql, ClaimAV, Powertop und Sonstiges
    • Danke für die schnelle Antwort

      Das hab ich mir fast gedacht.

      Dann werd ich tdp (top-down-parent) - Füllt eine Festplatte nach der anderen (Default in OpenMediaVault) nehmen.
      Die Geschwindigkeit spielt denke ich keine grosse rolle bei Serien/Filmen.
      Gerade bei Serien ist "mfs (most free space) - Die Datei wird auf die Festplatte kopiert, die über den meisten freien Speicherplatz verfügt"
      diese methode nicht wircklich gut da ich die Platten ja früh in den Sleep schicke, und dann alle 25 oder 45 min sobald eine neue Folge kommt wieder anlaufen müssen,
      was denke ich nicht nur schlecht für die Platten ist sondern auch den Stromverbrauch erhöt und vorallem jedes mal eine wartezeit auslöst bis die nächste folge starten kann
      da die Platte erst wieder hochfahren muss.

      Eine Option zum einstellen das immer ein gesammter Ordner auf eine Festplatte geschrieben werden muss und der nächste Ordner auf die Platte mit dem meisten freien speicher wäre super.
      Aber vermute mal so etwas gibt es nicht? :)

      MFG Floppy Disk

      Dieser Beitrag wurde bereits 3 mal editiert, zuletzt von Floppy Disk ()

    • Hallo,
      das mit der Verteilung ist so eine Sache bei mergerfs. Wenn bestimmte Sachen auf einer Platte landen sollten (weil dort bisher der Pfad existiert), kannst du "epmfs" (also mfs mit existing path) verwenden. Damit werden nur die Platten verwendet, wo der Pfad schon existiert (notfalls wird eh eine neue genommen). Und bei SnapRAID sollten die Platten wenn möglich etwa gleich gefüllt sein, dann ist die Parity Datei am kleinsten (entspricht in etwa immer dem meisten verbrauchten Platz) und die Performance (bei Check/Scrub) am größten. Aber immer bei SnapRAID daran denken, dass veränderte Dateien Gift sind bis zum nächsten Sync (da dann die Parity nicht mehr stimmt und ein Plattenausfall unter Umständen nicht mehr rekunstruiert werden kann).
      SW: OMV 4.1.22 (Arrakis), Snapraid mit mergerfs, Minidlna
      MSI B150M ECO, Intel Pentium G4400, 16GB Kingston DDR4, SSD 250GB, 4TB Daten, 3*8TB+6TB SnapRaid (8TB Parity,3+3+2TB Parity2), FSP Aurum S 400W, Fractal Node 804

      Dieser Beitrag wurde bereits 1 mal editiert, zuletzt von wtuppa ()

    • falls du wegen SnapRAID meinst, da muss man einfach den minimal freien Platz einer Platte etwas höher als den Default setzen. Am besten mind. 20GB (+max.Filegröße die normalerweise geschrieben wird). Ist ja bei heutigen Plattengrößen kein Problem mehr. Falls der freie Platz dann kleiner wird, wird der Pfad einfach auf der nächesten Platte (mit meisten freien Platz) angelegt und schon geht es weiter.
      den Overhead für die Pariy kannst bei SnapRAID mit dem Befehl snapraid status abfragen. Bei mir ist sogar ein Wert negativ, da ich die Paritätsplatten anders initialisiert habe, sodass das FileSystem etwas mehr Platz hergibt.
      SW: OMV 4.1.22 (Arrakis), Snapraid mit mergerfs, Minidlna
      MSI B150M ECO, Intel Pentium G4400, 16GB Kingston DDR4, SSD 250GB, 4TB Daten, 3*8TB+6TB SnapRaid (8TB Parity,3+3+2TB Parity2), FSP Aurum S 400W, Fractal Node 804
    • Den minimalen freien speicherplatz hatte ich vor auf 50GB zu setzten, hab das irgendwo gelesen und auf die to do liste gesetzt, könnte sein das ich das hier im forum gelesen habe. :)
      Als platten kommen wd reds mit 6 TB zum einsatz.

      Ich habe vor den sleep so zu konfigurieren das die platten (da muss ich dann noch bischen testen was am sinvollsten ist) ca 5-10 oder vielleicht auch erst nach 15 minuten in den sleep gehen.
      Stelle mir das optimal so vor:
      Serie A vollständig auf Daten 1
      Serie B vollständig auf Daten 2
      Serie C vollständig auf Daten 3
      Bei den Filmen ist mir das nicht so wichtig die gehen ja in der regel ca 1h30m - 2h30m.
      Aber gerade bei Serien ist das anders mit 25m - 45m pro folge.

      Wenn ich mir z.B. von einer Serie Staffel 1 ansehe, will ich nicht das die einzelnen platten dauernd hochfahren und wieder in den sleep gehen sobald eine neue Folge startet oder ich eine überspringe. Ich denke das ist nicht nur schlecht für die Platten sondern erhöt auch den Stromverbrauch und vorallem löst es jedes mal eine wartezeit aus bis die nächste folge starten kann da die Platte erst wieder hochfahren muss.

      Wenn das mit epmfs einwandfrei funktioniert wäre das genau das was ich suche.
      Ansonsten bleibt mir nur tdp übrig.

      MFG Floppy Disk

      Dieser Beitrag wurde bereits 2 mal editiert, zuletzt von Floppy Disk ()

    • Du kannst dir doch nebenbei eine Platte freigeben und mergerfs umgehen für deine Serien.
      Als Spinndownzeit würde ich richtung 20min gehen, jedes erneute hochdrehen in kurzer Zeit mögen Platten gar nicht. Zumal OMV bei unter 20min gerne mal rumspackt.

      michelle hatte mal ein Problemchen mit den 20gb, da hast du es gelesen ;)
      Hardware: Asrock H97 Performance, Intel I3 4160, 2x G.Skill F3-1600C11S-8GNT (16gb Ram), be quiet Pure Power L8 300W, Thermalright LeGrande Macho,
      Nanoxia Deep Silence 5 Rev.b, Kingston SSDNow V300 2,5" SSD 120 GB, Western Digital Red 3x4tb,1x4tb HGST Deskstar Nas

      Software: Openmediavault 3.0.99 Erasmus, 4.9.0-0.bpo.6-amd64, Snapraid mit mergerfs Pool, Minidlna, Plex, MySql, ClaimAV, Powertop und Sonstiges
    • Re,

      Floppy Disk schrieb:

      Den minimalen freien speicherplatz hatte ich vor auf 50GB zu setzten, hab das irgendwo gelesen und auf die to do liste gesetzt, könnte sein das ich das hier im forum gelesen habe.
      Ich habe das in meinem Medianarchiv so gemacht, da ich die 8TB Seagate Archive v2 als Datenplatten da einsetze und wirklich auch viele kleinere Dateien (MP3's) habe ... funktioniert bisher super!

      Man sollte grundsätzlich auch bei rotierenden Datenträger nie die Füllung bis auf das Maximum ausdehnen ... auf wenn hier der Bereich kleiner ist, als bei SSDs.

      Sc0rp
    • @Joogie
      Mergerfs umgehen will ich eigentlich nicht da ja immer mal wieder neue daten dazukommen und die serien hdd dann irgenwann auch voll sein wird.
      Gut zu wissen das OMV mit unter 20min sleep probleme machen kann, werd ich sicher testen und wenns probleme gibt weiss ich warum :)

      @Sc0rp
      Guter einwand die MP3s hab ich vergessen :)
      Hdds bis zum Maximum füllen hab ich nie gemacht auch bevor ich mich mit Snapraid beschäftigte, mit snapraid siehts ja anders aus :)

      Ich tendiere immer mehr zu tdp (top-down-parent) - Füllt eine Festplatte nach der anderen (Default in OpenMediaVault)
      Da kann ich das Problem umgehen mit den Serien und auch MP3s und wenn eine Platte voll ist und nur eine Serie auf 2 Platten verteilt wird ist das nicht so schlimm wie wenn jede Folge aller Serien verteilt werden.
      Vom aufwand her ist tdp denk ich die einfachste Methode das Ziel zu erreichen.

      Am liebsten hätte ich es schon so wie oben beschrieben das eine Serie Vollständig auf eine Platte kommt und die nächste Serie auf eine andere Platte.

      Solange es sich nur auf die Geschwindikeit auswirkt sollte das kein Problem sein, da dann nur der erste Sync bischen länger dauert, danach werden ja nur die neuen daten die dazu kommen gesynct.

      Wegen dem verschleiss (das z.B. eine Platte mehr beansprucht wird als die anderen) mach ich mir keine sorgen ist so immer noch um einiges besser als bei einem Raid5 oder Raid6 :)

      Von den wichtigen Daten hab ich sowieso noch ein Backup :) .

      Wäre schön gewesen wenn es eine Option geben hätte bei der man bestimmen kann, das immer komplette Ordner auf eine Platte geschrieben werden und der nächste Ordner auf eine andere.
      Gerade bei Mediensammlungen mit Snapraid fände ich das sinnvoll. Es würde die Hdds doch um einiges schonen und vorallem den Stromverbrauch um einiges senken. :)

      MFG Floppy Disk
    • Edit / PS
      Der sinn von Snapraid mit mergerfs sollte ja sein das nur die Hdd läuft auf der aktuell gelesen/geschrieben wird?
      Wenn die einzelnen Dateien auf alle Hdds verteilt werden, führt das den sinn und zweck nicht ad absurdum?

      Gerade bei Mediensammlungen Serien, Filmen, Bildern, MP3s die Platten nicht wirklich im sleepmodus gehalten werden können mit
      mfs (most free space) - Die Datei wird auf die Festplatte kopiert, die über den meisten freien Speicherplatz verfügt
      sobald man eine neue datei läd (Was bei Medien ja öfters der fall ist), werden die Hdds noch mehr belastet durch das dauerende hoch und runterfahren und der Stromverbrauch erhöt, als in einem z.B. Raid 5 oder 6 ?

      Nach meinen recherchen zu epmfs (Of all the drives on which the relative path exists choose the drive with the most free space. For create category functions it will exclude readonly drives and those with free space less than minfreespace. Falls back to mfs.) scheint das teils probleme zu bereiten.
      Muss ich da die Pfade erst anlegen auf den verschiedenen Hdds?
      Oder wird es wenn ich das richtig verstanden habe, der letzte Ordner in einem Verzeichniss ausschlaggebend sein auf welche Hdd der Ordner geschrieben wird?
      (z.B. "D:\Serien\A" kommt auf Hdd1 "D:\Serien\B" kommt auf Hdd2)
      Dann würde das so funktionieren wie ich es haben will. :)

      Oder wird der erste Ordner als anhaltspunkt genommen?
      Also im obigen Beispiel D:\Serien
      Dann käme es ja fast wieder auf das gleiche raus wie mit tdp (top-down-parent) - Füllt eine Festplatte nach der anderen (Default in OpenMediaVault).

      Der Grund warum ich auf Sanpraid mit mergerfs umsteigen will ist ja gerade der Stromverbauch, die lautstärke und auch einwenig der verschleiss der Hdds, damit nicht immer alle Hdds laufen wenn ich mir ein Film oder eine Serie anschaue.

      MFG Floppy Disk
    • epmfs verwendet beim Generieren immer den vollen Pfad als Ausgangspunkt. Existiert der auf einer/mehreren Platten, wird die Platte genommen, die noch am meisten Platz hat. Existiert der Pfad nicht, wird als fallback mfs verwendet (also alle Platten => der Pfad wird auf der Platte mit dem meisten freien Speicher angelegt).
      wenn jetzt alle Folgen einer Serie in demselben Verzeichnis sind, landen sie alle auf derselben Festplatte.
      ich vermute mal (ohne zu testen), dass auch Verzeichnisse anlegen dieser Regel folgen, d.h. wohl alle Serien landen dann auf derselben Festplatte.
      Allerdings finde ich bei mergerfs keine Dokumentation zu tdp. Den Modus hat es nur bei aufs (wird nicht mehr gepflegt, war mal bei OMV2 das Default Union File System) gegeben.
      ALSO:
      • "D:\Serien\A" exstiert auf Hdd1
      • "D:\Serien\B" existiert auf Hdd2
      => dann wird bei epmfs schon verteilt auf die beiden Platten (je nach Pfad)
      legst du allerdings den neuen Order "D:\Serien\C" an, kann der entweder auf Hdd1 oder Hdd2 angelegt werden, je nachdem wo mehr Platz ist. Diese Platte wird dann auch weiterhin für diesen Pfad verwendet (wegen epmfs).
      Ich hoffe, ich habe alles richtig beschrieben...

      die Stromersparnis wird wohl nur beim Abspielen sein, beim Booten fahren immer alle Platten an.
      SW: OMV 4.1.22 (Arrakis), Snapraid mit mergerfs, Minidlna
      MSI B150M ECO, Intel Pentium G4400, 16GB Kingston DDR4, SSD 250GB, 4TB Daten, 3*8TB+6TB SnapRaid (8TB Parity,3+3+2TB Parity2), FSP Aurum S 400W, Fractal Node 804
    • Re,

      wtuppa schrieb:

      wenn jetzt alle Folgen einer Serie in demselben Verzeichnis sind, landen sie alle auf derselben Festplatte.
      Solange "minfreespace" nicht erreicht wurde ... wohlgemerkt.

      wtuppa schrieb:

      die Stromersparnis wird wohl nur beim Abspielen sein, beim Booten fahren immer alle Platten an.
      Oder den Tag über, wenn das Medienarchiv bei 17W idelt und nur abends die Platte(n) startet, von der etwas geholt wird ... das macht sich auf jeden Fall bei einer höheren Anzahl Platten bemerkbar ...

      Sc0rp

      EDIT: @wtuppa der Rest sollte passen ... @Floppy Disk: man kann später auch die Dateien umräumen, dazu würde ich allerdings "mergerfs" stoppen und dann erst "umräumen" ... obwohl es mergerfs nicht stören sollte.
    • wtuppa schrieb:

      legst du allerdings den neuen Order "D:\Serien\C" an, kann der entweder auf Hdd1 oder Hdd2 angelegt werden, je nachdem wo mehr Platz ist. Diese Platte wird dann auch weiterhin für diesen Pfad verwendet (wegen epmfs).
      Genau das war mir wichtig :)

      wtuppa schrieb:

      die Stromersparnis wird wohl nur beim Abspielen sein, beim Booten fahren immer alle Platten an.
      Die Platten will ich darum nach ca 5-15 min in den sleep schicken. Was ich noch bedenken muss ist was Joogie schrieb.

      Joogie schrieb:

      Als Spinndownzeit würde ich richtung 20min gehen, jedes erneute hochdrehen in kurzer Zeit mögen Platten gar nicht. Zumal OMV bei unter 20min gerne mal rumspackt.
      Falls das zu keinen problemen fürht. da werd ich bischen testen müssen :)

      Sc0rp schrieb:

      Oder den Tag über, wenn das Medienarchiv bei 17W idelt und nur abends die Platte(n) startet, von der etwas geholt wird ... das macht sich auf jeden Fall bei einer höheren Anzahl Platten bemerkbar ...
      Wird das Nas längere Zeit nicht gebraucht hab ich vor es in den Soft-off zu versetzten, dann verbraucht es noch ca. 0.6 Watt. :)
      Und mit Wake-on-LAN wieder aufwecken wenns gebraucht wird. 8)

      Sc0rp schrieb:

      man kann später auch die Dateien umräumen, dazu würde ich allerdings "mergerfs" stoppen und dann erst "umräumen" ... obwohl es mergerfs nicht stören sollte.
      Gut zu wissen, falls es mit epmfs probleme gibt. :)

      Dann kanns sobald ich Zeit hab losgehen :D

      Vielen dank für eure hilfe :) :D

      Mfg Floppy Disk