Hoher I/O-Wait

  • Tagchen,


    hatte ich dir dazu nicht schon eine Bug-ID mitgeteilt? Aber wie wäre es mit Google:


    IO-Wait's können von allem Möglichen kommen und sind in der Reinform recht unspezifisch, daher erstmal auf die Suche gehen, was die entsprechenden Werte erzeugt:
    https://www.thomas-krenn.com/d…ance_Messungen_mit_vmstat
    oder auch iostat


    Dann schauen, ob man dann den entsprechenden Prozess / die Prozesse "optimieren" kann.


    IO-Wait's kommen z.B. vom (extensiven) Logging, Fragmentierung, suboptimale Datenlayouts und von "schlechten" Programmen ;), natürlich kann man auch Abfrage-Intervalle für bestimmte Deamons auf Werte setzen, die IO-Wait's erzeugen ...


    Sc0rp

  • Ausgabe von IOstat

    Code
    avg-cpu:  %user   %nice %system %iowait  %steal   %idle
               3,74    1,18   28,99   12,61    0,00   53,48
    
    
    Device:            tps    kB_read/s    kB_wrtn/s    kB_read    kB_wrtn
    sdc               0,19         0,91         0,01       4818         52
    sdd              68,85         2,13     32377,83      11294  171680868
    sde               4,90        68,26        21,86     361924     115892
    sda               0,23         1,18         0,01       6274         52
    sdb             263,06     32433,34        10,00  171975182      53016


    (kopiere gerade Daten von sdb auf sdd)


    Ausgabe von VMstat:

    Code
    procs -----------memory---------- ---swap-- -----io---- -system-- ----cpu----
     r  b   swpd   free   buff  cache   si   so    bi    bo   in   cs us sy id wa
     0  0      0 145460 100712 6981536    0    0 16677 16626 3551 1385  5 29 53 13
  • Für mich sieht das danach aus, das dein Leselaufwerk schneller ist als dein Laufwerk auf das du schreibst.
    Damit schiebt OMV alles erstmal in den Ram, bis die Festplatte wieder luft hat etwas aufzunehmen.

    Hardware: Asrock H97 Performance, Intel I3 4160, 2x G.Skill F3-1600C11S-8GNT (16gb Ram), be quiet Pure Power L8 300W, Thermalright LeGrande Macho,
    Nanoxia Deep Silence 5 Rev.b, Kingston SSDNow V300 2,5" SSD 120 GB, Western Digital Red 3x4tb,1x4tb HGST Deskstar Nas


    Software: Openmediavault 3.0.99 Erasmus, 4.9.0-0.bpo.6-amd64, Snapraid mit mergerfs Pool, Minidlna, Plex, MySql, ClaimAV, Powertop und Sonstiges

  • Niemand ne Idee? Ein Server, der im Idle 20% CPU Last braucht, ist weder Effizient, noch praktsich nutzbar :(


    ich habe mittels iotop -a herausgefunden, dass wohl kworker/u8:2 den IO-Wait verursacht, der möglicherweise mit jbd2 zusammenhängt, hin und wieder kommt auch kworker/u8:1 dazu, wenn nginx: worker process und rsyslogd -c5 und monit -c /etc/monit/monitrc läuft


    Aktuell kopiere ich Daten von /sde auf /sdb. Deshalb hat mc. Deswegen sieht es so aus wie im Anhang. Wie gesagt, auch wenn die HDDs schlafen, habe ich einen IO-Wait von ca. 20%


    Mögliche im Internet gefundenen Analyse-/Lösungsschritte:


    - Perf installieren (wie genau?)
    - Hand XCHI OFF im Bios auf disables stellen

  • Tagchen,


    alles, was ich zu "kworker" Prozessen gefunden habe, scheinen auf Treiberprobleme oder Logging-Sachen zu basieren.
    (wie ich vorher schon mal schrieb, erzeugen auch ungünstig gesetzte Zeitintervalle solche Zustände)


    Daher wäre es erstmal wichtig, zu analysieren, wie dein System aufgebaut ist ... also die Hardware an sich, danach die Software (Plugins) und zum Schluss das Zusammenspiel zw. Hardware und Software.


    Sc0rp

  • Okay, dann fangen wir mal an:

    in den Syslogs steht übrigens jede Minute:
    postifx/postqeue[xxx]: fatal: Queue report unavailable - mail system is down


    Auch ist /sda zu 99,8% gefüllt (weil AUFS ja versagt hatte).


    Das System lief so über ein Jahr ohne Probleme.


    Grüße

  • Re,

    in den Syslogs steht übrigens jede Minute:

    Na das könnte ja schon ein Indiz sein ...


    ICY Dock MB992SKR-B Raidgehäuse (Raid 1)

    Huh, wie sieht das das System dann? Eine "normale" 250GB-Platte?


    Das System lief so über ein Jahr ohne Probleme.

    Und was hat sich / was hast du dann verändert?


    Fragen:
    Wie sieht dein cat /proc/partitions aus? (Output bitte posten)
    Wie sieht deine SnapRAID-Konfig aus? (welches Datenplatten, welches Paritätsplatten - in Worten reicht ;))


    Sc0rp

  • Ja, OMV sieht es als einfache 250GB HDD. Diese habe ich mittels GPARTED partitioniert.


    Was ich geändert habe? Auch wenn Admins es nicht gerne hören, ist es in diesem Fall wirklich so: Ich habe gar nichts geändert. Warum auch? Lief ja einwandfrei.


    Snapraid ist aktuell noch nicht eingerichtet, da ich erst noch die Daten am kopieren bin, dann AUFS erstelle und dann die Daten zurückkopiere. Dann erst wird Snapraid eingerichtet und zwar:
    2*3TB Toshiba (7200rpm) + 1*1,5TB Seagate als Daten (keine expliziten NAS/Server-HDDs
    1*3TB (5400rpm) als Parität (ohne "inhalt". Da ist wähle ich nur "Parität" aus).

  • Re,

    Was ich geändert habe? Auch wenn Admins es nicht gerne hören, ist es in diesem Fall wirklich so: Ich habe gar nichts geändert. Warum auch? Lief ja einwandfrei.

    Ja, Admins hören das nicht gerne, weil es NIE der Wahrheit entspricht ... leider ein Fakt aus 25 Jahren Erfahrung. Man darf nicht vergessen, das ein System das sich nie ändert, höchstens einen Hardware-Tod sterben kann (ist ja wohl logisch). Also müssen es Änderungen sein, die ein Benutzer ausgelöst hat - das kann sowohl aktiv als auch passiv passieren, das vergessen die Meisten :P


    Im Falle von OMV updatet sich erstmal nix, ohne Benutzerinteraktion. D.h. hier kann sowas nur
    - durch Updates auftreten, welche man nach bestem Wissen und Gewissen installiert, aber die letztendlich fehlerhaft waren
    - durch Plugins auftreten, welche man nach bestem Wissen und Gewissen installiert, welche ebenfalls fehlerhaft sein können
    - durch "falsche" Systemeinstellungen - hier ganz besonders das Rumfummeln in Systemdateien
    (bitte nicht persönlich nehmen, ist nur grundsätzlich)


    Wenn du den Zeitpunkt der Fehlfunktion recht genau eingrenzen kannst, schau ins Log (/var/log/messages, /var/log/syslog, ...)


    Dann erst wird Snapraid eingerichtet und zwar:

    D.h. du wirst insgesamt dein System wieder komplett neu aufsetzen, und dann die Daten zurück spielen?
    Das wäre auf jeden Fall eine saubere Lösung ;)


    Sc0rp

  • Kann es sein das die Amd Cpu einfach nicht nach kommt?
    I3 4160 vs A4 4000

    Hardware: Asrock H97 Performance, Intel I3 4160, 2x G.Skill F3-1600C11S-8GNT (16gb Ram), be quiet Pure Power L8 300W, Thermalright LeGrande Macho,
    Nanoxia Deep Silence 5 Rev.b, Kingston SSDNow V300 2,5" SSD 120 GB, Western Digital Red 3x4tb,1x4tb HGST Deskstar Nas


    Software: Openmediavault 3.0.99 Erasmus, 4.9.0-0.bpo.6-amd64, Snapraid mit mergerfs Pool, Minidlna, Plex, MySql, ClaimAV, Powertop und Sonstiges

  • die CPU langweilt sich sonst eigentlich nur rum. Hat vorher ja auch geklappt und mein Bruder hat einen baugleichen und hat dieses Problem nicht.


    Ich habe oben mal editiert. Scheinbar kommt wohl die System-HDD nicht hinterher. Werde dann mal ein JBOD testen.

  • Gut möglich, eine kleine 128gb ssd für 40 Flocken rein und gut ist.

    Hardware: Asrock H97 Performance, Intel I3 4160, 2x G.Skill F3-1600C11S-8GNT (16gb Ram), be quiet Pure Power L8 300W, Thermalright LeGrande Macho,
    Nanoxia Deep Silence 5 Rev.b, Kingston SSDNow V300 2,5" SSD 120 GB, Western Digital Red 3x4tb,1x4tb HGST Deskstar Nas


    Software: Openmediavault 3.0.99 Erasmus, 4.9.0-0.bpo.6-amd64, Snapraid mit mergerfs Pool, Minidlna, Plex, MySql, ClaimAV, Powertop und Sonstiges

  • /sde ist in meinem Falle die System-HDD

    aha da liegt der Hase begraben^^, Omv benötigt noch immer die Systemdisk als sda. Darum klemmen wir bei der installation alle anderen platten ab.
    Es kann dein Fehler sein, muß aber nicht.

    Hardware: Asrock H97 Performance, Intel I3 4160, 2x G.Skill F3-1600C11S-8GNT (16gb Ram), be quiet Pure Power L8 300W, Thermalright LeGrande Macho,
    Nanoxia Deep Silence 5 Rev.b, Kingston SSDNow V300 2,5" SSD 120 GB, Western Digital Red 3x4tb,1x4tb HGST Deskstar Nas


    Software: Openmediavault 3.0.99 Erasmus, 4.9.0-0.bpo.6-amd64, Snapraid mit mergerfs Pool, Minidlna, Plex, MySql, ClaimAV, Powertop und Sonstiges

  • Wir klemmen alle ab, da GRUB nur auf /sda installieren kann ;) Zum Installationszeitpunkt war sie auch /sda. Da sie aber am 6. SATA-Port hängt (meine Kabel waren zu kurz), wird sie später in sde umgetauft. Das war aber vorher auch schon so und lief ja wie gesagt n Jahr.

  • also ich kann meine umstecken wie ich möchte, die ssd bleibt sda. Grade beim umbau aussprobiert. Die ist auch vom sata port1 auf die 4 gewechselt.

    Hardware: Asrock H97 Performance, Intel I3 4160, 2x G.Skill F3-1600C11S-8GNT (16gb Ram), be quiet Pure Power L8 300W, Thermalright LeGrande Macho,
    Nanoxia Deep Silence 5 Rev.b, Kingston SSDNow V300 2,5" SSD 120 GB, Western Digital Red 3x4tb,1x4tb HGST Deskstar Nas


    Software: Openmediavault 3.0.99 Erasmus, 4.9.0-0.bpo.6-amd64, Snapraid mit mergerfs Pool, Minidlna, Plex, MySql, ClaimAV, Powertop und Sonstiges

Jetzt mitmachen!

Sie haben noch kein Benutzerkonto auf unserer Seite? Registrieren Sie sich kostenlos und nehmen Sie an unserer Community teil!