NAS – Expert für 6 Festplatten mit ECC-Ram, AES-Ni und IPMI

Dieser Vorschlag für ein NAS richtet sich an alle, die viel Wert Sicherheit legen - Safety first! Bis zu 16GB DDR3 ECC-Ram sorgen für eine hohe Dateiintegrität, der Intel Core i3-4160 mit AES-Ni (Ver- und Entschlüsselung via Hardware) kann auch große Datenmengen nahezu ohne Performanceverlust schützen.

Zudem verfügt das verwendete ASRock Rack E3C226D2I Mainboard neben 2 Intel Gigabit Schnittstellen auch über ein IPMI 2.0, mit dem das System auch im ausgeschalteten Zustand ferngesteuert werden kann. Ein Monitor ist also selbst während der Einrichtung überflüssig.

CPU, Mainboard und Arbeitsspeicher


Dieses NAS ist vollgepackt mit netten Features. Wichtigstes Bauteil ist hierbei das Mainboard, denn für eine ECC-Ram Unterstützung können wir nicht einfach ein normales Mainboard nutzen, sondern müssen zu Serverhardware greifen. Meine Wahl ist auf das ASRock Rack E3C226D2I mit dem Sockel 1150 gefallen, welches von ASRocks Serversparte ASRock Rack vertrieben wird und aktuell knapp 210 Euro kostet. Sicherheit und Funktionsumfang haben eben ihren Preis.

Auf sehr kleinem Raum (Mini-ITX) hat ASRock Rack sehr viele Features gepresst, die durch den Intel C226 Server-Chipsatz bedient werden. Neben 16GB DDR3 ECC-Ram im Dual-Channel Modus (1.35 + 1.5V) befindet sich ein PCIe 3.0 x16 Slot auf dem Mainboard, welcher z.B. mit einem Hardware-Raid Controller bestückt werden kann.

Die 6 SATA3 (6Gb/s) Ports unterstützen auf Wunsch auch Intels onBoard Raid, der mit den Raid-Leveln 0,1,5 und 10 umgehen kann. In unserer Anleitung verzichten wir allerdings auf den Intel onBoard Raid und benutzten stattdessen den Software-Raid Raid-Z von FreeNAS.

Neben den 2 Intel i210 Netzwerkschnittstellen, die sich auf Wunsch per Teaming/Link Aggregation zusammenfassen lassen, ist auch eine Realtek RTL8211E für dediziertes LAN management (IPMI) samt ASPEED AST2300 BMC Controller vorhanden, booten von Netzwerk-Images über PXE wird unterstützt.

-

-

Anschlüsse
- VGA D-SUB
- 2x USB 2.0 (+2 USB 2.0 Header + 1 USB-A onBoard)
- 2x USB 3.0 (+1 USB 3.0 Header)
- 6x SATA 6G (max. ~550MB/s), Intel Raid
- 2x Intel i210 Gigabit LAN (Teaming, Wake-On-Lan, Wake-On-Wan, 802.3az EEE, PXE)
- 1x Realtek RTL8211E Management LAN
- 1x COM1 Serial Port
- 1x COM2 Serial Port Header

Das ASRock Rack E3C226D2I verfügt über einen eigenen Grafikcontroller, daher können auch Intel Xeon Prozessoren ohne integrierte Grafikeinheit problemlos genutzt werden. In unserer Anleitung nutzen wir einen Intel Core i3-4160 (Details: 2x 3.6GHz, HT, 54W TDP) der über die AES-Ni verfügt.

Auf dem Mainboard ist zudem ein TPM Header vorhanden, wer sich für die Sicherungsfunktion TPM interessiert, dem sei unser Artikel TPM einrichten und sinnvoll nutzen ans Herz gelegt. In diesem NAS wird TPM allerdings nicht genutzt.

Beim Arbeitsspeicher haben wir zum Kingston KVR16E11/8 (8GB DDR3-1600, ECC, CL11, 1.5V) gegriffen, der für seine gute Kompatibilität bekannt ist und ca. 85 Euro für einen 8GB Riegel kostet. Achtet beim Kauf unbedingt auf die Produktbezeichnung (diese muss ein E enthalten), damit ihr wirklich ECC Ram kauft. Die günstigeren Riegel mit einem N in der Bezeichnung sind ungeeignete Non-ECC Speicher!

Wir benutzen in dieser Anleitung FreeNAS, welches sehr Arbeitsspeicher-hungrig ist. 8GB solltet ihr mindestens einbauen. Je großer euer Raid-Verbund, desto mehr Arbeitsspeicher ist sinnvoll, mit der Maximalbestückung von 16GB kommt ihr aber auch bei größeren Raids gut aus.

Systemfestplatte - SSD oder SLC-Stick empfehlenswert


Um möglichst keinen der 6 SATA-Ports mit einer System-SSD zu belegen, greife ich auf einen USB-Stick mit SLC-Speicherzellen (wichtig!) wie den WINKOM-USB 3.0 Memory-Stick 16 GB oder den Mach Xtreme MX-ES series MXUB3SES als Systemdatenträger zurück. Durch den USB-A Port kann der Stick dann direkt auf das Mainboard gesteckt werden.

Leider sind USB-Sticks mit SLC-Speicherzellen recht selten und teuer. Warum dies so ist und wo der Unterschied zu einem normalen MLC-USB-Stick ist, könnt ihr hier nachlesen: USB mit SLC-Speicherzellen als Systemfestplatte - Ein SSD Ersatz ?.

Als Alternative - wenn ihr z.B. nicht alle 6 SATA-Ports für Datenfestplatten benötigt - empfehle ich eine kleine SSD wie die Intel SSDSA2CT040G310 (40GB). Solltet ihr euch für FreeNAS entscheiden, empfehlen wir aktuell keinen SLC-Stick weil FreeBSD Probleme mit der Kompatibilität von SLC-Sticks hat. Unter OpenMediaVault funktionieren die SLC-Sticks hingegen einwandfrei.

Das richtige Gehäuse


Hier habt ihr die Qual der Wahl: Das Mainboard passt in ein kleines Mini-ITX Gehäuse. Wenn ihr allerdings 6 Datenfestplatten einbauen möchtet, ist eine gute Belüftung der Festplatten sehr wichtig. Wenn ihr euch also wirklich für ein Mini-ITX Gehäuse entscheidet, achtet auf die Belüftungsmöglichkeiten.

Wem die Gehäusegröße nicht so wichtig ist, dem empfehle ich das Fractal Design Define R5. Mit 115 Euro ist das Gehäuse zwar recht teuer, überzeugt aber durch die einfach Aufnahme von bis zu 8 Festplatten (3,5 Zoll), die von 2 sehr leisen 140mm Lüftern optimal gekühlt werden.


Zudem verfügt das Gehäuse über eine eingebaute Lüftersteuerung (5/7/12V) an die maximal 3 Lüfter angeschlossen werden können. Die beiden beiliegenden 140mm Lüfter sind wirklich sehr leise.

Wem das Fractal Design Define R5 zu teuer ist, dem empfehle ich den Xigmatek Asgard Midi-Tower, dem mit nur 37 Euro wirklich eine günstige Lösung ist und 7 3,5 Zoll Festplatten aufnehmen kann.

-

-

Netzteil


Bei einem NAS für 6 oder mehr Festplatten empfehle ich ein effizientes ATX-Netzteil und keine Pico-PSU, wie wir sie in unseren kleineren NAS-Anleitungen empfehlen. Der Grund ist, dass normale ATX-Netzteile erst ab einem bestimmten Leistungsbereich (meistens größer 35W) wirklich effizient arbeiten.

Wir benutzen seit längerem Netzteile von Be quiet. Für dieses NAS empfehle ich das Be quiet! BN140 System Power 7. Das kleine 300W-Netzteil ist vollkommend ausreichend. Die Effizienz wird mit guten 87% angegeben, alle gängigen Schutzschaltungen wie Überhitzungsschutz, Überstromschutz, Überspannungsschutz, Unterspannungsschutz sowie ein Kurzschlussschutz sind vorhanden. 36 Euro kostet das Be quiet! BN140 System Power 7 - 300W aktuell.

Das Netzteil besitzt 4x SATA-Power, für 6 Festplatten sind also 2x Wentronic Internes Stromadapterkabel (SATA Kupplung auf 2x SATA Stecker) für je 2,59 Euro erforderlich.

Festplatten


Das wichtigste in einem NAS sind natürlich die Festplatten. Bei mir kommen 3 Festplatten vom Typ Western Digital Red mit je 3TB in einem Raid-Z zum Einsatz, diese Festplatten eignen sich durch eine auf NAS-Systeme optimierte Firmware besonders gut für unser System. So unterstützen die WD Red Festplatten z.B. TLER (Time-Limited-Error-Recovery). Diese Funktion sorgt durch eine Kommunikation mit dem Raid-Controller für eine höhere Stabilität.

Zusammenbau


Egal für welches Gehäuse ihr euch entscheidet - der Zusammenbau ist denkbar einfach. Der Prozessor wird in den Sockel des Mainboards gesetzt, der beiliegende CPU-Lüfter muss danach nur aufgesteckt werden und rastet in den 4 Löchern des Mainboards ein. Wärmeleitpaste muss nicht installiert werden, da der Intel CPU-Lüfter bereits ein Wärmeleitpad besitzt.

Selbst wenig versierte Anwender sollten die Komponenten in unter einer Stunde zusammenbauen können. Besondere Bios-Einstellungen müssen nicht vorgenommen werden, das System ist nach dem Zusammenbau direkt einsatzbereit.

Bilder werden geladen ...

Betriebssystem


Ihr könnt auf diesem NAS ein Betriebssystem euer Wahl installieren. Da es sich mit dem ASRock Rack E3C226D2I um ein Server-Mainboard handelt, werden nahezu alle Plattformen (Windows Server 2008 R2, 2012, Linux Server, CentOS, FreeBSD) sowie auch VMWare ESXi 5.1/5.5 unterstützt.

Vergleich der NAS-Betriebssysteme


Ihr könnt auf diesem NAS ein Betriebssystem euer Wahl installieren. Auch Windows 8.1 oder Windows 10 (Preview Version) sind möglich, da Microsoft ab Windows 8 mit den Windows Storage Spaces einen eigenen Software-Raid ermöglicht. Windows Home Server ist aktuell nur noch schwer oder gebraucht zu bekommen, ist aber auch eine gute Möglichkeit.










OpenMediaVaultFreeNAS
Basis OSDebian 7 (Wheezy)FreeBSD 9.3
Raid-LevelJBOD, 0, 1, 5, 6, 100, 1, Raid-Z (5), Raid-Z2 (6), Z3
DateisystemeExt3, Ext4, XFS, JFSZFS, UFS
Arbeitsspeichermin. 2GBmin. 8GB
BedienungWeboberfläche, KonsoleWeboberfläche, Konsole
SchwierigkeitEinfachFortgeschritten
AnleitungJa, vollständigJa, vollständig

Ich verwende in dieser Anleitung das NAS Betriebssystem FreeNAS welches auf FreeBSD setzt. Die Bedienung wird über eine Weboberfläche vorgenommen. FreeNAS beherrscht perfekt die Verschlüsselung per Daten und kann dafür auf die Hardwarefeatures des Prozessors zurückgreifen.

Eine vollständige und stets aktuelle Schritt-für-Schritt Anleitung zur Installation von FreeNAS findet ihr natürlich auch bei uns.

ECC vs. Non-ECC Arbeitsspeicher in FreeNAS


Immer öfter wird empfohlen ECC-Ram zu benutzen, der Single-Bit Flips (also Fehler im Speicher) erkennen und beheben kann. Werden diese Fehler unbemerkt auf die Festplatten geschrieben, kann es zu einer Datenkorruption kommen. Zwar prüft und repariert sich das ZFS-Dateisystem - korrekt eingestellt - in regelmässigen Abständen selbst, ein Restrisiko bleibt aber bestehen.

ECC-Ram bietet Schutz vor Single-Bit Flips und ist Non-ECC Ram eigentlich immer vorzuziehen. Dies gilt nicht nur für FreeNAS. ECC-Ram ist ca. 10-20% teurer als Non-ECC Ram. Da FreeNAS allerdings sehr Arbeitsspeicher-hungrig ist, werden selbst für kleinere NAS-Systeme mindestens 8GB Arbeitsspeicher empfohlen.

Das Hauptproblem bei ECC ist allerdings, dass nur wenige Mainboards mit ECC Ram umgehen können. ECC-Ram wird seit Jahren in allen Servern und Enterprisegeräten eingesetzt, für den Heimbereich hat sich dieser Arbeitsspeichertyp allerdings bisher nicht etabliert. Daher muss man dann auf Server- oder Workstation-Mainboards ausweichen, die meist 100 Euro teurer als vergleichbare Mainboards für die private Nutzung sind.

Wie hoch ist das Risiko einer Datenkorruption in FreeNAS ? Umfangreiche Studien gibt es meines Wissens nach (noch) nicht, denn durch die Selbstprüfung anhand von Checksummen im ZFS-Dateisystem können auftretende Fehler automatisch behoben werden.

Fakt ist, dass ein Risiko vorhanden ist. Google hat zusammen mit der Universität von Toronto über 2 Jahre lang erforscht, wieviele Fehler “Bit-Flips” im Arbeitsspeicher auftreten und wieviele davon repariert werden können (ECC). Allerdings wurde hier mit DDR bzw. DDR2 getestet und nicht mit aktuellem DDR3 bzw. DDR4 Speicher.

Über alle 6 überwachten Server hinweg waren 8% der Arbeitsspeicher-Riegel von einfachen Bit-Flips betroffen, 92% hingegen nicht. Bei den 8% die betroffen waren, wurden im Durchschnitt 4000 Fehler pro Jahr erzeugt. Die Chance auf einen Multi-Flip Fehler, der auch von ECC-Ram nicht mehr behoben werden kann, lag im Durchschnitt bei sehr geringen 0,2% pro Jahr. Jeder 2te Server war mindestens 1x pro Jahr von einem Fehler im Arbeitsspeicher betroffen.

Dabei darf man natürlich nicht vergessen, dass hier Produktivserver von Google getestet wurden, die unglaublich große Mengen an Daten zu bewältigen haben. Für ein eigenes, kleines NAS im privaten Bereich ist die Wahrscheinlichkeit aufgrund der deutlich reduzierten Datenmengen um ein vielfaches geringer.

Soll man nun also ECC-Ram einsetzen oder mit einem kleinen Risiko leben ? Einer der Mitentwickler des ZFS-Dateisystems, Matt Ahren, schreibt dazu:

Theres nothing special about ZFS that requires/encourages the use of ECC RAM more so than any other filesystem. If you use UFS, EXT, NTFS, btrfs, etc without ECC RAM, you are just as much at risk as if you used ZFS without ECC RAM. I would simply say: if you love your data, use ECC RAM. Additionally, use a filesystem that checksums your data, such as ZFS.
Quelle

Zu Deutsch: Das Risiko, eine Dateikorruption in einem ZFS-System durch einen Fehler im Arbeitsspeicher zu erhalten ist genauso hoch wie in jedem anderen Dateisystem auch.

IPMI - Intelligent Platform Management Interface


Durch das IPMI könnt ihr jederzeit per Remote auf euer NAS zugreifen - egal ob es eingeschaltet oder ausgeschaltet ist. Per Java-Anwendung ist es möglich einen virtuellen Monitor zu erzeugen, der sich so verhält als ob er real an das NAS angeschlossen wäre. Um diesen virtuellen Zugang nutzen zu können, benötigt ihr die aktuellen Java-Runtimes. Zum kostenlosen Java Runtime Download.

Danach könnt ihr euch auf die IP-Adresse des IPMI mit eurem Browser verbinden. Der Standard-Login lautet “admin” mit identischem Passwort. Zum IPMI stellt ASRock ein umfangreiches Handbuch zur Verfügung.

Bilder werden geladen ...

Ich habe via IPMI z.B. einwandfrei die FreeNAS Konsole benutzen können, dies kann z.B. dann sinnvoll sein wenn sich die normale Weboberfläche von FreeNAS durch einen Fehler nicht mehr erreichen lässt. FreeNAS selbst unterstützt das IPMI über eine LAN-Brücke. D.h. es muss theoretisch nur 1 Lan-Kabel (über die normale Netzwerkschnittstelle) mit dem Mainboard verbunden werden. Das IPMI ist dann nach dem Start von FreeNAS zusätzlich über eine eigene IP-Adresse erreichbar.

Da diese Methode allerdings einige Einschränkungen mit sich bringt, bietet es sich an das IPMI mit einem eigenen Netzwerkkabel zu verbinden.

Stromverbrauch


Ein wichtiger Punkt bei einem NAS oder Home-Server ist der Stromverbrauch. Daher sind alle von uns ausgewählten Komponenten sehr sparsam:







SituationVerbrauchBemerkung
Ausgeschaltet, IPMI aktiv2,8W
Im Betrieb (ohne Festplatte)25W
Im Betrieb (mit 3 ruhenden WD Red 3TB Festplatten)30W
Im Betrieb (mit 3 aktiven WD Red 3TB Festplatten)39W

Zusammenstellung


Hier haben wir alle Komponenten noch einmal zusammen aufgelistet.


















KomponenteNamePreis
ProzessorIntel Core i3-4160 (2x 2.6GHz, HT, AES)118 Euro
MainboardASRock Rack E3C226D2I210 Euro
ArbeitsspeicherKingston KVR16E11/8 - 8GB DDR3-1600 CL11 1.5V85 Euro
System-StickMach Xtreme MX-ES series MXUB3SES44 Euro
System-Stick (alternativ)WINKOM-USB 3.0 Memory-Stick 16 GB40 Euro
System-SSD (alternativ)Intel SSDSA2CT040G310 (40GB)40 Euro
NetzteilBe quiet! BN140 System Power 736 Euro
GehäuseFractal Design Define R5115 Euro
Gehäuse (alternativ)Xigmatek Asgard Midi-Tower37 Euro

Zubehör (ab 5 Festplatten)Wentronic Internes Stromadapterkabel (SATA Kupplung auf 2x SATA Stecker)3 Euro

DatenfestplattenWestern Digital Red, Preis je TB Kapazität42 Euro

SummeGünstigste Zusammenstellung ohne Datenfestplatten526 Euro

Fazit


Etwas über 500 Euro kostet das NAS aus dieser Anleitung in der Basisversion mit einem Intel Core i3-4160, 8GB DDR3 ECC Ram und dem ASRock Rack E3C226D2I Server-Mainboard. Die zahlreichen Features und Sicherheitsfunktionen kosten Geld. Geld das allerdings sinnvoll angelegt ist. Die meisten von uns hatten sicherlich schon einmal einen Datenverlust zu vermelden - sei es eine defekte Festplatte, ein verlorener USB-Stick oder ein fehlerhafter Raid-Verbund.

Diese Bauanleitung richtet sich vor allem an Personen, die wichtige Daten vorhalten möchten und dabei maximale Sicherheit wünschen. Ein Backup ersetzt aber auch ein professionelles System mit ECC-Ram nicht.

FreeNAS ist der ideale Partner dieses Hardware-Gespannes und überzeugt mich vor allem durch seine Verschlüsselungsfunktionen. Allerdings profitieren auch andere Dateisysteme wie das in OpenMediaVault genutzte EXT4 von ECC-Ram, hier fehlt allerdings die Verschlüsselungsfunktion (die sich manuell aber nachrüsten lässt).

Vergesst nicht, euch unsere Detaillierte Installationsanleitung für FreeNAS durchzulesen, hier wird auch noch einmal das IPMI und das zusammenfassen von mehreren Netzwerkschnittstellen erklärt.

Das ASRock Rack E3C226D2I Mainboard mit seinen vielen Features und dem IPMI hat mich vor allem durch die leichte Bedienung positiv überrascht. Zwar ist hier etwas mehr Einarbeitungszeit einzuplanen als bei einem Standard-Mainboard für den Heimbereich, wirklich überfordern tut aber auch das Profi-Mainboard nicht.

Einziger Nachteil ist der um ca. 10W höhere Stromverbrauch im Vergleich zu unserem NAS - Advanced, welches auch 6 Datenfestplatten (allerdings ohne ECC-Ram) aufnehmen kann.

Wem dieser Vorschlag nicht zusagt, dem empfehle ich unsere NAS Übersicht mit zahlreichen Bauanleitungen.

Update vom 30.06.2015: Bei einigen sehr alten Bios Versionen kann es zu Problemen mit dem Standby-Modus (S3) kommen. Bitte aktualisiert euer Bios auf die neuste Version. Am einfachsten ist es, die Instant Flash Bios Version von der ASRock Rack Webseite herunterzuladen und dann auf einem USB-Stick zu entpacken. Diesen schließt ihr dann an das Mainboard an und führt das Update direkt aus dem Bios aus.

Update vom 03.07.2015: Offiziell gibt ASRock Rack keinen Support für die S3 / Standby Funktion.