Eilerlegende Wollmilch ... vShpere/ESXi + NAS

Diese Seite verwendet Cookies. Durch die Nutzung unserer Seite erklären Sie sich damit einverstanden, dass wir Cookies setzen. Weitere Informationen

  • Re,

    itbastler schrieb:

    was das konkret für eine Auswirkung hat. Ich vermute aber, "das kommt darauf an"
    bei dir hat das mit Sicherheit fatale Auswirkungen, da deine jetzigen Einstellungen nicht auf dein verwendeten Lüfter passen :P

    Die Werte sollte man ordentlich einstellen, denn im richtigen Leben (Wirkumfeld) sind die Werte entscheidend für einen (kostbaren) Technikereinsatz im Rechenzentrum ;)

    bei dir müsste LNR=200, LCR=400 und LNC=600 sein ... wenn du den Lüfter ausmisst, ggf. noch genauer nachstellen. Und auch die "upper" Werte würde ich noch einstellen, wenn du einmal dabei bist.

    Dann erkennt man z.B. an der Häufigkeit der Meldungen, ob der Lüfter bei bester Gesundheit ist, oder schon kurz vor dem Absterben (wird ja alles Langzeit-Überwacht, da werden dann statistische Mittel gebildet und sogar schon Vorhersagen abgeleitet). Das dient dazu, teure Technikereinsätze besser zu planen und ggf. auch mal halbkaputte Lüfter (ggf. auch Ausreisser der Serienstreuung) bei einem Einsatz gleich mit zu wechseln.

    Sc0rp
  • naja, da der Rechner hier steht und ich der Techniker bin ... aber sonst stimmt das natürlich.
    Werde mir mal gelegentlich die Werte genauer ansehen - im Moment dreht der Lüfter tatsächlich bei genau 400 rpm (CPU ca. 21°) - insofern sollte man meinen, die 400 wäre die korrekte Untergrenze - oder evtl. etwas weniger. Ich denke aber dass - so man so eine Einstellung überhaupt hat - während des Systemstarts die rpm kurzzeitig evtl. deutlich drunter liegt und so ggf. ungewollte Warn-Mails auslöst. Allerdings wird so ein Server ja selten neu gestartet - und ggf. wäre das ja auch eine gute Kontrolle, dass so eine Mail überhaupt generiert wird + ankommt.

    btw: bei 400 rpm macht der Lüfter (Lager?) ein deutliches Geräusch, dass bei höherer Drehzahl verschwindet. Bin da nicht vom Fach aber vermute dass der "gerade so eben" genug Schwung hat und dadurch das Geräusch kommt.
    Im Betrieb wird aber die Drehzahl wohl ohnehin etwas nach oben gehen wenn die CPU die 20° verlässt - dann sollte das gelöst sein.
  • Re,

    itbastler schrieb:

    btw: bei 400 rpm macht der Lüfter (Lager?) ein deutliches Geräusch, dass bei höherer Drehzahl verschwindet. Bin da nicht vom Fach aber vermute dass der "gerade so eben" genug Schwung hat und dadurch das Geräusch kommt.
    Normalerweise kommen Geräusche nur vom Lager, seltener vom Motor - bei PWM-Lüftern auch von der Pulsweitenmodulation selber (inkl. gewisser Eigenschwingungen). Bei heftigen Lüftern hört man manchmal auch mehr den "Luftstrom" als alles Andere - von daher wäre eine Benachichtigung manchmal sehr hilfreich :P

    Welche Geräusche macht er denn? Mehr "Klackern" (kommt von niedrigem PWM-Wert) oder mehr "Schleifen" (Lager oder Blattschleifen am Rahmen)?

    Das dein Lüfter nicht weniger als 400rpm macht, liegt sicher daran, das er nicht weniger "versteht" - es ist doch ein PWM-Lüfter, oder? Ansonsten wäre es bei deinen IPMI-Werten schon recht seltsam ...

    Sc0rp
  • Sc0rp schrieb:




    Welche Geräusche macht er denn? Mehr "Klackern" (kommt von niedrigem PWM-Wert) oder mehr "Schleifen" (Lager oder Blattschleifen am Rahmen)?

    Das dein Lüfter nicht weniger als 400rpm macht, liegt sicher daran, das er nicht weniger "versteht" - es ist doch ein PWM-Lüfter, oder? Ansonsten wäre es bei deinen IPMI-Werten schon recht seltsam ...

    Sc0rp

    Ich glaube es war eher das Klackern. Werd's mir aber gelegentlich nochmal genauer anhören - bei offenem Gehäuse - bei geschlossenem Gehäuse höre ich nämlich genau gar nichts - bin extra hinten dicht mit dem Ohr ran ;)
    Da ich bisher die Power-LED noch nicht angeschlossen hab (hab nix auf dem MB gefunden ... evtl. gibts das bei Servern nicht?) weiß man nie, ob dder Rechner nun an ist oder nicht ...
  • Re,

    itbastler schrieb:

    Da ich bisher die Power-LED noch nicht angeschlossen hab (hab nix auf dem MB gefunden ... evtl. gibts das bei Servern nicht?)
    Üblicherweise gibt es sogar mehr LED-Anschlüsse auf Server-Mainboards ;). Deins ist aber mehr ein Workstation-Board ;) ... dennoch:
    soll ich für dich googeln, oder schaffst du es selber ins Manual zu schauen? ;)

    (kleiner Tipp: du findest die Info unter "JF1 = Front Panel Header" ... auf Seite 38)

    Sc0rp
  • danke für die Mühe ... ich hätte aber natürlich schon nochmal ins Handbuch geschaut. Tatsächlich hatte ich wohl auf der o.g. Seite die PINs übersehen, aber einige Seiten weiter steht es ja dann nochmal explizit.
    Dafür habe ich bisher nichts gefunden, wie man IPMI abschaltet (also im Sinne von Jumper) werde da aber nochmal nachsehen.
    Kann aber sein, dass der ESX dann auch nicht mehr die Daten zu rpm, Temp etc liefert? Kurz: es gibt noch viel zu entdecken!
  • Re,

    itbastler schrieb:

    Dafür habe ich bisher nichts gefunden, wie man IPMI abschaltet (also im Sinne von Jumper) werde da aber nochmal nachsehen.
    Bei meinen Server-Boards ist es eine Extra-Karte - da stellt sich die Frage nicht. Man müsste die Fernwartungsoptionen dann aber im BIOS/UEFI deaktivieren können.

    itbastler schrieb:

    Kann aber sein, dass der ESX dann auch nicht mehr die Daten zu rpm, Temp etc liefert? Kurz: es gibt noch viel zu entdecken!
    Dürfte nicht sein, da der BMC ja nur ein Coprozessor ist und keine "Messeinheit". Der Environment-Chip sollte extra sein ...
    Aber auf dem Board scheint wohl ein Teil der PCH zu machen und ein Teil der BMC, so richtig schlau wird man nicht aus dem Manual.
    Also bleibt es wirklich beim "entdecken".

    Sc0rp
  • so ... gestern nur wenig Zeit gehabt aber mal einige VMs installiert und die erste WD Red - dabei ist mir aufgefallen, dass die Entkopplung offenbar nicht so dolle ist ... werd man einen anderen Schacht testen ...

    Die wichtigere Frage: als ich die OMV VM gestartet habe kam mir die Frage, wie ich der die Datenplatten/Partitionen zur Verfügung stellen soll. Technisch wäre es wohl das einfachste, eine virtuelle Platte zu mounten ... aber erst im ESX > Storage > HDDs mit vmfs > wieder an OMV - ob das so sinnig ist (Performance)?
    Welche Möglichkeiten gibt es sonst noch?

    - HDDs direkt durchreichen (+ dann SW-RAID, Snap-Raid oder was auch immer)
    - HW-RAID (aber auch da: wie bekommt OVM die HDDs/RAID?)
    - oder eben doch irgendwie über ESXi verwalten / zur Verfügung stellen
  • Sc0rp schrieb:

    Abend,

    hab mich lange um die Antwort gedrückt ... ich habe meine Tipps und Bedenken schon vorher ausreichend dokumentiert.
    Inkl. der Storage-Geschichte ...

    Sc0rp

    habs gemerkt ... das mit dem Drücken.

    Also - nachdem ich komische Probleme mit der fertigen OMV VM hatte ist mir aufgefallen, dass das Version 0.5 oder 1.x war... neu vom ISO installiert und Größtentweils alles OK.

    Storage: ja stimmt sicher - da muss ich noch das (vorläufige) Optimum finden. Die beiden WD Red verbrauchen deutlich mehr (ca 10 W?), als ich dachte (sogar mehr als lt. Datenblatt => Verlustleistung Netzteil?). Schalten wohl im Moment nicht in idle/sleep.
    Der HW. Controller käme nochmal mit ca. 8-10 W dazu ... außerdem habe ich wohl übersehen, dass ich, wenn ich ihn durchreiche, nicht mehr für die SSDs mit den VMs verwenden kann? Oder gibts doch Controller, die das können? Gehört aber nicht primär hier her ...
  • Re,

    itbastler schrieb:

    Storage: ja stimmt sicher - da muss ich noch das (vorläufige) Optimum finden.
    Für dein Vorhaben gibt es vermutlich das "Optimum" nicht. So wie du deinen Server aufgebaut hast, wäre natürlich das Pooling unter ESXi mit einem HW-RAID-Controller am Besten - das ergibt zumindest das bessere Gesamtsystem für alle virtuellen Maschinen. Dann buist du aber halt auch ganz klar vom Stromsparthema weg ... es geht nur das Eine, oder eben das Andere.

    Festplatten durchreichen können nur wenige HW-RAID-Controller. Für dich würde sich aber eine Mischkonfig anbieten: also die NAS-Platten an die SATA-Ports des Mainboards (oder einen der Syba-Controller) und diese dann im ESXi an die OMV-VM durchgereicht. (Für dieses Konstrukt kannst du dir aber den ESXi-Unterbau sparen!)

    Das bessere Gesamtkonzept ergibt natürlich eine "richtige" ESXi-Umgebung: HW-RAID-Con. eingebaut, mind. sechs Platten WD Red, besser mit 4 Stk. WD Red Pro starten. RAID5 oder 6 aufgesetzt und dann den Storage-Pool im ESXi an die jeweiligen VM's verteilt.

    itbastler schrieb:

    Die beiden WD Red verbrauchen deutlich mehr (ca 10 W?), als ich dachte (sogar mehr als lt. Datenblatt => Verlustleistung Netzteil?).
    Sollten aber ehr weniger nehmen, 10W halte für Eine zuviel, für Beide zusammen wäre es okay ...


    Sc0rp
  • Sc0rp schrieb:

    für die Nachwelt: WD Red Datenblatt ... (in deutsch)
    Dank dir. Leider steht hier kein "Spin Up und Down" mit drin.
    Dieser Wert würde mich interessieren. Hab auch schon google befragt...Fehlanzeige.

    Leistung:
    Die 22W werden die Platten kurzzeitig beim Hochfahren ziehen. Wahrscheinlich ist dies der Anlaufstrom und sollte nach ein paar Hundert ms deutlich sinken.
    Bei mir im System - leider nur ein Schätzwert, da ich nicht weiß, was die CPU beim booten mehr zieht - sind es ca. 15 - 20W (hab eine WD RED 3TB).

    Grüße
    Karva
    Eins ist sicher: Die Platte wird sterben. Mach ein Backup.
  • da der HW-Controller zwar im ESXi angezeigt wurde (+durchgereicht), aber keine HDDs, die daran angeschlossen waren, hab ich sie erstmal wieder direkt über SATA onboard und so an OMV durchgereicht.
    Scheinen aber leider nicht in seleep zu gehen, wenn ich mir die W so ansehe (+/- 26W mit 2x WD Red) - so grob würde das evtl. mit idle hinkommen.
    Mal sehen ob sich das beheben lässt, wenn mein OMV ohne Fehler läuft
  • Re,

    ob die Platten jemals in ein echtes Sleep übergehen, wage ich mal zu bezweifeln - du hast ja nun drei Ebenen, die den Plattenzugriff generieren können: OMV (in VM), ESXi als Hypervisor und den HW-RAID-Controller selber ...

    Aber 26W sind immernoch zuviel, die Platten müssten i'was zw. 3 und 4 Watt pro Stück ziehen, Lesen+Schreiben ist bei denen ja auf 4,1W spezifiert, d.h. ohne Aktionen liegen die bei 3W/Stk.

    Sc0rp
  • öhm ... die 26W waren nicht für die beiden Platten - sonder Gesamtsystem *inkl.* der beiden Platten. (ohne lag ja alles bei so ca. 18W meine ich).

    uuuund: da jetzt mein OMV-Error gefix ist, scheint auch sleep/spindown zu gehen (oder liegts am neuen Kernel), egal:

    Aktuell Gesamtsystem

    - Xeon Skylake (4C/8T)
    - SM Board mit 4x GBit-Lan
    - 2x 16GB RAM
    - 1x SSD (Samsung Evo)
    - 2x WD Red (je 4TB)
    - 2 zusätzl. Lüfter (ka was die brauchen, evtl. je nach rpm?)
    - IPMI/BMC noch aktiv (ka ob/wie das aus geht)
    - vSphere 6 (ESXi) + OMV als VM (gestartet)

    ca. 20-21W
  • 20W sind top, SM scheint da auch gute Arbeit zu machen.

    20W inkl. Powertop?
    Das Tool bringt bei mir allein ca 5W.
    Hardware: Asrock H97 Performance, Intel I3 4160, 2x G.Skill F3-1600C11S-8GNT (16gb Ram), be quiet Pure Power L8 300W, Thermalright LeGrande Macho,
    Nanoxia Deep Silence 5 Rev.b, Kingston SSDNow V300 2,5" SSD 120 GB, Western Digital Red 3x4tb,1x4tb HGST Deskstar Nas

    Software: Openmediavault 3.0.99 Erasmus, 4.9.0-0.bpo.6-amd64, Snapraid mit mergerfs Pool, Minidlna, Plex, MySql, ClaimAV, Powertop und Sonstiges
  • Joogie schrieb:

    20W sind top, SM scheint da auch gute Arbeit zu machen.

    20W inkl. Powertop?
    Das Tool bringt bei mir allein ca 5W.
    Powertop? Kenn ich nicht - also wohl eher "ohne Powertop" ;)

    hab mal kurz danach gesucht - scheint was für Linxu zu sein? Da bei mir das Ganze in einer VM unter ESX läuft bring das da evtl. nichts? Oder?

    die 20W (naja - schon eher 21) sind aber natürlich nur, wenn nix los ist. Ich denke ohne IPMI etc wäre es noch sparsamer - habs aber bisher nicht deaktiviere können ... mal sehen.