Rsnapshot - Migrieren des inkrementellen Backups - Deduplizierung???

  • OMV2

Diese Seite verwendet Cookies. Durch die Nutzung unserer Seite erklären Sie sich damit einverstanden, dass wir Cookies setzen. Weitere Informationen

  • Rsnapshot - Migrieren des inkrementellen Backups - Deduplizierung???

    Liebe Leute,

    Googeln allein bringt mich nicht mehr weiter, deshalb wende ich mich mit ein paar Fragen an Euch:

    seit längerem stellt sich mir die Frage was ich tue, wenn mir auf der Backup-Platte der Speicherplatz ausgeht oder anderweitige nicht eingeplante Adaptierungen der Sicherungsstruktur anstehen? Das wird gerade wieder konkret, weil erstens der Platz auf der Backup-Platte ausgeht und zweitens ich irgendwann von OMV 2.2 updaten sollte...
    Nachträgliche Anmerkung: Es läuft einmal am Tag ein per WebGUI konfigurierter Rsnapshot durch, (7 tägliche, 4 wöchentliche, 3 monatliche und 1 jährlicher Snapshot werden behalten)

    Mittlerweile glaube ich zu wissen, dass es Möglichkeiten gibt den Backup-Datenbestand samt Hardlinks zu kopieren. Ich bin funktionaler Linux- und Konsolen-Analphabet, habe mir aber mittlerweile das wichtigste in einer Kurzdoku notiert, so dass ich bei Bedarf meist zurecht komme.
    FRAGE 1: Kann mir jemand hier aufschreiben wie der Befehl lauten muss, wenn ich ein ganzes mit Hardlinks referenziertes Verzeichnis z.B.: auf eine andere (größere Platte) schieben wollte?


    Mein NAS-Konzept mit 6 Platten (zzgl. System-SSD) sieht vor, dass es ggfls. auch eine zweite Sicherungsplatte geben könnte. Der Plan wäre, dass die beiden Platten dann gepoolt (bisher wäre es AUFS, zukünftig muss es wohl was anderes sein, MergerFS anscheinend) werden, auf dem Pool ein Freigegebener Ordner erstellt wird und in diesen weiter ge-Rsnapshotted wird.
    FRAGE 2: Funktioniert das einerseits grundlegend? und kann ich meinen bisherigen hardgelinkten Backup-Datenbestand in so eine Freigabe einbringen (hineinkopieren? den bestehehenden Ordner als Freigabe nutzen?), oder habe ich da etwas grob übersehen?


    Ein weiteres Problem, dass mich beschäftigt, seit ich das NAS angelegt habe, ist, dass - insbesondere in meiner Ablagestruktur der Fotos - immer wieder gröbere Änderungen stattfinden bzw. noch bevorstehen, weil das leider anfangs ungeplant gewachsen ist, irgendwann gesichert werden musste und dann mit dem Anwachsen der Fotosensor-Auflösungen sowie der Qualität der Smartphone-Fotos unfassbare Mengen angenommen hat, die irgendwann in einem weiteren Leben auch einigermaßen ordentlich abgelegt werden sollen. Wenn ich nun z.B.: wiedereinmal ein Jahr durchgearbeitet und in die korrekte Ablagestruktur geschoben habe, explodiert der Speicherbedarf am Backup, weil - neuer Speicherort - Rsnapshot natürlich keinen Hardlink sondern eine Kopie anlegt.
    FRAGE 3: Gibt es eine Möglichkeit das zu konsolidieren?


    Ich bin per Google auf ein Programm namens "Hardlink" ( dinotools.de/2013/07/10/linux-platz-sparen-mit-hardlinks/ bzw. manpages.debian.org/stretch/hardlink/hardlink.1.en.html ) gestoßen, dass dafür ideal scheint und wollte es bereits testen, konnte es allerdings nicht installieren (evtl. wegen veraltetem Debian? oder wegen sonstiger Unfähigkeit).
    ( Shell sagt: Fehl ftp.tu-graz.ac.at/mirror/debian/ wheezy/main hardlink amd64 0.2.0 404 Not Found
    Fehlschlag beim Holen von ftp.tu-graz.ac.at/mirror/debia…/hardlink_0.2.0_amd64.deb 404 Not Found )
    FRAGE 4: Kennt das Programm jemand und eignet es sich für meine Zwecke? Ich bin fast sicher eine erhebliche Menge Speicherplatz auf der Backup-Platte freiräumen zu können, der nur durch verschobene nicht geänderte Daten belegt wird)


    Danke für jeden Hinweis!


    P.S: Mein NAS-Layout:
    Ein Pool mit Daten und Fotos (Derzeit 1x 6TB WD Red, Pool, damit ich erweitern kann, ohne viel an den Freigaben zu ändern)
    Ein Pool mit Filmen und Musik (Derzeit 3x 1TB Uralt-Platten, die erstaunlicher Weise nach wie vor gute SMART-Werte haben)
    Eine Snapraid-Parity (1x 6TB WD Red)
    Eine Backup-Platte (8TB Seagate Archive), die außerhalb des Snapraids liegt.
    Erweiterbarkeit: die drei 1TB-Platten gegen anständige Platten ersetzten.

    Bewußt ist mir, dass...
    ...die drei alten 1TB-Platten aus Risiko-Sicht im Snapraid-Verband vermutlich sehr ungünstig sind.
    ...es ein weiteres Backup irgendwo Extern geben sollte (In vager Planung ist, dass sich ein Bruder ebenfalls ein NAS hinstellt und in diesem eine Backup-Platte für mich betreibt, während ich das selbe für ihn mache)
    NAS - mit OMV : Gehäuse: Fractal-Design Node 304 (white) - Mainboard: AsRockN3700-ITX - System-Disk: Kingston SV300S37A (120GB) - Ram: Kingston KVR16LS11/8GB - zusätzl. SATA: Syba PCI-Express Controller 4x SATA III - Netzteil: ListanBN220 Be Quiet PurePower L8 - HDDs: 2x WD RED 6TB, 3x alte WDs 1TB (alle 5 imSnapRaid), 1x Seagate Archive 8TB (für autom. Backups mit RSnapShot)

    ZBook 15, i7, Quadro K2100m, 16GB, 1TB SSD (Arbeitsgerät) - Compaq 8710w (Reservegerät) - 2x Dell U2713HM

    Dieser Beitrag wurde bereits 1 mal editiert, zuletzt von Bausau ()

  • Re,

    Frage 1) cp -a <quelle> <ziel> oder rsync -H ...
    siehe:
    forum.ubuntuusers.de/topic/har…-andere-device-portieren/
    blog.himmelrath.net/blog/2011/…-mit-hard-links-kopieren/

    Frage 2) nein, da Hardlinks nur im gleichen Dateisystem funktionieren (andere Festplatte oder andere Partition = anderes Dateisystem, damit ist hier nicht EXT oder BTRFS gemeint)

    Frage 3) per Hand? Oder per Fotoverwaltungssoftware ... es könnte aber auch andere Möglichkeiten von Dedup(lizierung) geben, da muss man dann echt suchen gehen ...

    Frage 4) nein, und unter Linux gibt es bereits das "ln" zum Erstellen von Links (symbolische wie auch harte), da frage ich mich schon, was "hardlinks" anders machen sollte ...

    Und nein, das ist m.E.n. kein Lösung für dein Problem, denn "Unordnung" mit harten Links zu Leibe zu rücken, erzeugt nur andere Probleme ... u.A. das Kopierproblem! Daher: erst mal ordentliches Konzept ausdenken, dann gründlich aufräumen, dann neues Backup anlegen (am Besten gleich auf die neue Platte) und dann weiter machen ...

    Ich musste meinen Foto-Ordner noch nie umräumen ... und da haben sich auch schon einige TiBi angesammelt.

    Sc0rp
  • Danke für die Rückmeldung!


    Bedeuten Deine Antworten zur Frage 1 und Frage 2 dann auch, dass ich per cp -a <quelle> <ziel> oder rsync -H den Datenbestand samt Hardlinks komplett in einen neuen Pool (anderes Dateisystem) verschieben könnte, oder erfüllen Pools nicht die Eigenschaft des "selben Dateisystems"?


    Zur Frage 4 habe ich mittlerweile selbst getestet und auch eingesetzt. Hardlink vergleicht die Dateien eines Pfades auf Übereinstimmung anhand des hash (man kann Kriterien einstellen ob z.B. ein anderer Dateiname oder anderer Zeitstempel ignoriert werden soll) und ersetzt übereinstimmende Files durch Hardlinks. Eigentlich genau was ich gesucht habe um hin- und wieder den Back-Up-Bestand zu hinsichtlich Speicherplatz konsolidieren ohne auf die Vorteile des inkrementiellen Backups verzichten zu müssen.
    Bei einem größeren Datenbestand kann das dann allerdings auch erhebliche Zeit in Anspruch nehmen.

    zum Fotoordner:
    Das Problem entsteht schon in dem Moment, wo ich Fotos schnell von der Speicherkarte ziehe und sie nicht sofort "importiere" inkl. Anpassung des Dateinamens (ich will nicht alle 10.000 Aufnahmen wieder gleichlautende DSCF0123-Dateinamen haben). Sobald zwischen runterladen von der Speicherkarte und "Importieren" ein Tag vergangen ist, ist das Rsnapshot schon drüber gelaufen. "Importiere" ich jetzt einen Tag später, dann habe ich das selbe Foto zweimal im Backup mit unterschiedlichen Dateinamen.
    NAS - mit OMV : Gehäuse: Fractal-Design Node 304 (white) - Mainboard: AsRockN3700-ITX - System-Disk: Kingston SV300S37A (120GB) - Ram: Kingston KVR16LS11/8GB - zusätzl. SATA: Syba PCI-Express Controller 4x SATA III - Netzteil: ListanBN220 Be Quiet PurePower L8 - HDDs: 2x WD RED 6TB, 3x alte WDs 1TB (alle 5 imSnapRaid), 1x Seagate Archive 8TB (für autom. Backups mit RSnapShot)

    ZBook 15, i7, Quadro K2100m, 16GB, 1TB SSD (Arbeitsgerät) - Compaq 8710w (Reservegerät) - 2x Dell U2713HM
  • Neu

    Re,

    Bausau schrieb:

    oder erfüllen Pools nicht die Eigenschaft des "selben Dateisystems"?
    Pools sind Overlay-Dateisysteme, daher erfüllen sie nicht diese Eigenschaft. Hardlinks verweisen auf die gleiche Inode der "eigenen" bzw. gleichen Partition ...

    Bausau schrieb:

    zum Fotoordner:
    Jedes System hat eben seine Limitierungen ... auch rsync/rsnapshot.

    Sc0rp