[Gelöst] - Mergerfs epmfs funktioniert nicht

    Diese Seite verwendet Cookies. Durch die Nutzung unserer Seite erklären Sie sich damit einverstanden, dass wir Cookies setzen. Weitere Informationen

    • [Gelöst] - Mergerfs epmfs funktioniert nicht

      Hallo zusamen

      Habe nun OMV installiert nach der Anleitung hier auf Technikaffe.

      Habe für meine Serien 2 Hdds (Hdd: Serien1 + Hdd Serien2) mit Mergerfs zu einem Pool genannt Serien zusammengefasst, als Richtlinie habe ich "Vorhandener Pfad, meister freier Speicherplatz." gewählt. Die Hdds waren zu beginn Leer ich habe sie mit OMV auf Ext4 Formatiert.

      Im Windows Explorer sieht das nun so aus:
      Serien (\\IP Adresse) (F:)
      F:\Serien\A\Files
      F:\Serien\B\Files
      F:\Serien\C\Files

      Leider werden beim kopieren von meinem Backup alle Daten auf Hdd: Serien2 geschrieben und nicht wie ich es gerne hätte jede serie Komplett auf eine Hdd und die nächste auf die andere Hdd

      Hdd: Serien1 - F:\Serien\A\Files
      Hdd: Serien2 - F:\Serien\B\Files
      Hdd: Serien1 - F:\Serien\C\Files

      Habe den Server neu gestartet, hat leider nichts gebracht :(
      Habt ihr vielleicht einen Rat oder die Lösung für mein problem?

      Mfg Floppy Disk
    • Re,

      laut Homepage von mergerfs bedeutet "epmfs":

      mergerfs schrieb:

      Of all the drives on which the relative path exists choose the drive with the most free space. For createcategory functions it will exclude readonly drives and those with free space less than minfreespace. Falls back to mfs.
      Also aus allen Drives in der der relative Pfad vorhanden ist, wird das Laufwerk ausgewählt, welches den meisten Speicherplatz hat ... was faktisch bedeutet, das "Serien" als Ordner bereits vorhanden ist - vermutlich wurde dieser Ordner zuerst auf Platte2 angelegt. Und dann benutzt, um so lange Alles unter /Serien zu speichern, bis eben "minfreespace" erreicht ist ...

      Sc0rp
    • Habe in der zwischenzeit nochmals verschiedene optionen durchprobiert aber keine führte zum erfolg :(

      Was ich nicht verstehe ist, beide Hdds waren Leer und so wie ich es verstanden habe sollte mit "Vorhandener Pfad, meister freier Speicherplatz." auf die Hdd geschrieben werden bei der der Pfad vorhanden ist und wenn nicht, sollte mergerfs zurückfallen auf mfs (meister freier Speicherplatz) und somit auf die Hdd schreiben die den meisten freien speicheplatz hat.

      Habe auch versucht die 2 Hdds erst einzeln Freizugeben und dann testweise jeweils eine Serie auf die Hdds kopiert.
      Danach habe ich die freigabe wieder gelöscht und versucht mit Union Filesystem die platten zusammen zu legen,
      was leider auch nicht funktionierte da ich nicht herausgefunden habe wie ich die beiden ordner (beide hatten den selben namen (Hdd1: serien/serieA - Hdd2: serien/serieB)
      wieder mit Union Filesystem auf einen Pool zusammen bekomme. ich konnte nur jeweils bei den Hdds einen Pfad auswählen, aber nicht beide Pfade.

      Mfg Floppy Disk
    • Ps:

      Ich habe vor ein paar Monaten als ich in der vorbereitung für das Nas war schon mal nachgefragt wie ich es konfigurieren kann. Datenverteilung Aufs - mergerfs Snapraid


      wtuppa schrieb:

      epmfs verwendet beim Generieren immer den vollen Pfad als Ausgangspunkt. Existiert der auf einer/mehreren Platten, wird die Platte
      genommen, die noch am meisten Platz hat. Existiert der Pfad nicht, wird
      als fallback mfs verwendet (also alle Platten => der Pfad wird auf der Platte mit dem meisten freien Speicher angelegt).
      wenn jetzt alle Folgen einer Serie in demselben Verzeichnis sind, landen sie alle auf derselben Festplatte.
      Wenn ich es richtig verstehe sollte damit, dass funktioniert der letzte Ordner im verzeichniss ausschlaggebend sein.

      z.B. Die Hdds sind Leer und frisch mit Union Filesystem zu einem Pool (serien) zusammen gelegt. Name ist: Serien - Lauferk ist: Serienpool - Relativer Pfad ist: Serien/
      F:\Serien\SerieA\files (werden dann auf Hdd1 Kopiert)
      F:\Serien\SerieB\files (werden dann auf Hdd2 Kopiert)

      aber ebend dies funtioniert nicht und alles wird auf eine Hdd kopiert.
      nun die Frage: wie bekomme ich das so gebacken das die serien immer jeweils komplett auf eine Hdd abwechselnd geschrieben werden damit die beiden Hdds gleichmässig gefüllt werden?

      Mfg Floppy Disk

      Dieser Beitrag wurde bereits 3 mal editiert, zuletzt von Floppy Disk ()

    • Re,

      Floppy Disk schrieb:

      Was ich nicht verstehe ist, beide Hdds waren Leer und so wie ich es verstanden habe sollte mit "Vorhandener Pfad, meister freier Speicherplatz." auf die Hdd geschrieben werden bei der der Pfad vorhanden ist und wenn nicht, sollte mergerfs zurückfallen auf mfs (meister freier Speicherplatz) und somit auf die Hdd schreiben die den meisten freien speicheplatz hat.
      Tja, was die meisten Leute daran aber vergessen, bzw. nicht beachten (und das ist anscheinend bei dir auch so) ist, das "mergerfs" gar nicht weiß welchen Teil des Pfades man getrennt haben möchte - daher spricht man hier vom relativen Pfad:
      - /Serien/A/Serie1 -> geht zurück auf /Serien/A -> geht zurück auf /Serien, d.h. wenn du /Serien/B/Serie5 schreibst, ist für mergerfs der Pfad "/Serien" schon vorhanden - und dann wird die Platte genutzt, welche den Pfad bereits angelegt hat. Das führt auch dazu, das Serien in den Episoden "auseinandergerissen" werden, wenn der Pfad "/Serien/A/Serie1" auf beiden Platten vorhanden ist (das wird dann nach "mfs" entschieden).

      Floppy Disk schrieb:

      Leider werden beim kopieren von meinem Backup alle Daten auf Hdd: Serien2 geschrieben und nicht wie ich es gerne hätte jede serie Komplett auf eine Hdd und die nächste auf die andere Hdd
      Da das eine "menschliche" Ordnung ist, kann das auch nur von einem Menschen gemacht werden - auf der Konsole.
      Dazu einfach "mergerfs" beenden und die entsprechenden Ordner per Hand (mc oder mv) auf die Platten "verteilen" bzw. verschieben. Danach "mergerfs" wieder starten.
      Es gibt auch i'wo Tools die das machen - habe ich mal gelesen, aber nie selbst eingesetzt ... ich ordne meine Sammlung selber via mc oder/und mv ...

      Floppy Disk schrieb:

      Habe auch versucht die 2 Hdds erst einzeln Freizugeben und dann testweise jeweils eine Serie auf die Hdds kopiert.
      Das kann man auch machen, sogar parallel - man muss aber bei der SMB-Freigabe höllisch aufpassen, was man da konfiguriert, denn mergerfs geht ja nur auf gesamte Blockgeräte (aka Partitionen), die SMB-Freigaben kann man (und sollte man) nur auf Unterordner machen.
      Der mergerfs-Pool bekommt ja eine eigene UUID und daher auch einen eigenen Mountpoint unter /srv, genauso wie die jeweiligen Partitionen ... damit kann man dann unterschiedliche SMB-Freigaben auf gleiche Ressourcen erzeugen ...

      Btw. ich habe zuerst auf dem mergerfs-Pool ein Unterverzeichnis angelegt, welches ich später als SMB-Freigabeziel gwählt habe, mein Medienzeugs liegt also physisch z.B. unter /srv/dev-disk-by-label-xxxxxxxx/Medien-Pool/Serien/[0-9,A-Z]/Serienname, der mergerfs-Pool liegt unter /srv/<UUID mergerfs-Pool>/ - wobei eben "nur" ab "Medien-Pool" per SMB freigegeben wurde (das Verzeichnis sieht man also nicht im Explorer, sondern erst ab "/Serien", die Freigabe geht auf den Pfad /srv/<UUID mergerfs-Pool>/Medien-Pool/). Ich könnte also meine einzelnen Festplatten noch über den Pfad /srv/dev-disk-by-label-xxxxxxxx/ freigeben, sogar mit oder ohne dem Unterverzeichnis "Medien-Pool" ...
      Allerdings ist es mir recht egal, wie mergerfs meine Daten auf dem Pool verteilt - da ich nur über den Pool "arbeite" sehe ich ja nur das "Ganze" ;).

      Sc0rp
    • Sc0rp schrieb:

      Da das eine "menschliche" Ordnung ist, kann das auch nur von einem Menschen gemacht werden - auf der Konsole.
      Dazu einfach "mergerfs" beenden und die entsprechenden Ordner per Hand
      (mc oder mv) auf die Platten "verteilen" bzw. verschieben. Danach
      "mergerfs" wieder starten.
      Es gibt auch i'wo Tools die das machen - habe ich mal gelesen, aber nie
      selbst eingesetzt ... ich ordne meine Sammlung selber via mc oder/und mv
      ...
      Und genau das sehe ich nicht so ganz ein. Mit mergerfs bekommt man ein tool zur hand das schon dieverse richtlinen beherscht, und nach meinen recherchen im internet und auch hier im Forum sollte mit der Richtlinie: epmfs (Vorhandener Pfad, meister freier Speicherplatz.) das ohne konsole funktionieren.

      Ich möchte auch nicht immer wieder die Daten auf dem Nas über die Konsole hin und her verschieben damit die Hdds gleichmässig befüllt werden, den dafür sind ja die richtlinien in mergerfs da.


      Sc0rp schrieb:

      Allerdings ist es mir recht egal, wie mergerfs meine Daten auf dem Pool verteilt - da ich nur über den Pool "arbeite" sehe ich ja nur das "Ganze" ;).
      Genau das ist mir nicht egal :) vorallem bei den serien. ich möchte das eine serie immer komplett auf einer HD liegt und die nächste auf der anderen HD.
      Der Grund ist einfach: Da die folgen einer serie meistens nicht länger als 45min dauern oder sogar noch weniger und ich mir meistens (wie viele andere auch) gleich eine komplette staffel ansehe,
      will ich nicht das die Hdds immer wieder anlaufen müssen was nicht nur schlecht für die Hdds ist, sondern so auch warte zeit entsteht wenn eine neue folge startet.
      (Die Hdds gehen nach 15 min schlafen)

      Wie ich schon in diesem Post schrieb: Datenverteilung Aufs - mergerfs Snapraid
      Der sinn von Snapraid mit mergerfs sollte ja sein das nur die Hdd läuft auf der aktuell gelesen/geschrieben wird?
      Wenn die einzelnen Dateien auf alle Hdds verteilt werden, führt das den sinn und zweck nicht ad absurdum?

      wtuppa schrieb:


      • "D:\Serien\A" exstiert auf Hdd1
      • "D:\Serien\B" existiert auf Hdd2
      => dann wird bei epmfs schon verteilt auf die beiden Platten (je nach Pfad)

      legst du allerdings den neuen Order "D:\Serien\C" an, kann der
      entweder auf Hdd1 oder Hdd2 angelegt werden, je nachdem wo mehr Platz
      ist. Diese Platte wird dann auch weiterhin für diesen Pfad verwendet
      (wegen epmfs).
      genau das habe ich versucht wie oben geschrieben zuerst mit dem Leeren Pool was nicht funktionierte und danach habe ich die Hdds getrennt und da probeweise die Pfade erstelt und jeweils eine serie rein kopiert hat aber nicht funktioniert, ich konnte die 2 verzeichnisse nicht zusammenführen auf dem pool.

      Ich wär wircklich froh wenn mir jemand eine lösung aufzeigen kann, bei der ich nicht immer wieder die daten hin und her schiebn muss über die konsole.
      Der ausgangspunkt ist zur zeit so das alle Platten leer sind und die freigaben habe ich gelsöcht fals dort der fehler lag.
      Welche schritte muss ich in OMV vornehmen das die Daten so wie wtuppa schrieb verteilt werden?

      Irgendwo scheine ich ein fehler zu machen, den bei anderen funktioniert es ja das die Daten aufgetelt werden mit der richtlinie epmfs.

      Mfg Floppy Disk

      Dieser Beitrag wurde bereits 1 mal editiert, zuletzt von Floppy Disk ()

    • Endlich!!! :)

      Nach vielen versuchen und testen habe ich einen Workaround gefunden mit dem es klappt :D

      1. Den Pool erstellen mit der Richtlinie MFS (Meister Freier Speicheplatz)
      2. Dann 2 Ordner in die Freigabe Kopieren. und vergewissern das die Daten verteilt wurden. (Es werden die einzelnen Files auf die 2 Platten verteilt)
      3. Die Richtline umstellen auf EPMFS (Vorhandener Pfad, meister freier Speicherplatz)
      4. Die 2 Ordner sammt inhalt wieder löschen und danach kann das Kopieren vom Backup starten. :)

      Nun werden abwechseln die Hdds befüllt und jeweils eine Komplette Serie auf eine Hdd geschrieben und die nächste auf die andere. :D

      Keine ahnung warum das nicht gleich mit EPMFS Funktionierte ?(

      Ich Hoffe dieser kleine Workaround hilft weiter falls jemand vor dem gleichen Problem steht :)

      Mfg Floppy Disk