Userreview Homelab "Worklog"

B

Besterino

Urgestein
Mitglied seit
Jul 22, 2018
Beiträge
6.709
Bewertungspunkte
3.310
Punkte
112
Ich habe über's Wochenende mal ein schon länger angedachtes Vorhaben umgesetzt. Ziel war es, die technische Basis von meinem Hauptserver und Backup-Server umzukrempeln. Die Hauptkiste soll zukünftig ein Threadripper 1920X auf einem AsrockRack X399D8A-2T sein und der bisherige Hauptserver zukünftig als Backup herhalten. Da ich der AMD-Plattform (und AsrockRack) zunächst etwas skeptisch im Hinblick auf "Zuverlässigkeit als Dauerläufer" gegenüber stand, hab ich mir etwas mehr Zeit als üblich gelassen und die - für mich neue - AMD-Welt vorher erst einmal ausgiebig getestet.

Der Hauptserver sah zuletzt vor der Umbauaktion wie folgt aus:
CPU: Xeon Silver 4108
Mainboard: X11SPi-TF
RAM: 96GB regECC
Storage (SSD-only): 7x1TB, 5x256GB, 2x120GB, 1x32GB (SuperDOM) (alle SATA), 1x256GB (NVME)
PCIe-Karten: 9305-24i (HBA), Mellanox ConnectX-4 Dual 100Gbit (NIC), Quadro P400 (GPU), PCIe-HostCard (USB3)
Gehäuse: InterTech 4U-4416
OS: ESXi6.7
8 VMs: Solaris 11.3+Napp-IT (Storage); SophosUTM (Firewall); Win10 (GPU-/USB-Passthrough, "Surfen"), 2x APCUPSD (USV-Steuerung), Minecraft, VPN (gesondert zur Firewall), Teamspeak

Die Backup-Kiste war der hier:
CPU: Xeon E3-1225 (v1)
Mainboard: Intel S1200BTLR
RAM: 32GB ECC UDIMM
Storage: 8TB HDD, 256GB NVME
PCIe-Karten: Emulex OCE14102 10Gbit (NIC), PCIe-HostCard (USB3)
Gehäuse: InterTech 2U-2098-SL
OS: ESXi 6.5U1
VMs: Solaris 11.4+Napp-It (Storage); Test-VMs

Außerdem ist irgendwie mein "Pseudo-Rack" insgesamt auch wieder verstärkt in Unordnung geraten, da muss auch mal wieder aufgeräumt werden.

Von der Seite geht's ja noch:

3323

Von hinten dann schon weniger:

3324

(Hauptserver ganz unten, Backup 2. von oben, das Threadripper-System als zukünftiger Server im schwarzen Case ganz oben)

Ziel war also eigentlich "nur", das TR1920x-System und Hauptserver-System ins jeweils andere Gehäuse zu verpflanzen, bisserl weitere Hardware neu zu verteilen und das alte Backup-System auf den ehemaligen Hauptserver zu verfrachten. Da ja alle Server bei mir virtualisiert mit ESXi laufen, eigentlich gar nicht so schlechte Startbedingungen...

Also die drei Kisten schnell abgestöpselt...

3325

...geöffnet...

3326

...und entkernt:

3327

Bevor ich loslegen wollte, wollte ich natürlich alle produktiven VMs vorsichtshalber noch einmal "wegkopieren". Nur für den Fall der Fälle. Dabei stellte sich dann heraus, dass leider eine virtuelle Disk ausgerechnet der Storage VM (nur mit dem VM-OS) reproduzierbar und hartnäckig Lesefehler warf, und sich schlicht nicht kopieren ließ. Das gleiche Problem hatte ich noch bei einer zweiten (längst ausgemusterten) VM/VirtualDisk auf dem gleichen Datenträger und ich vermute daher, die zugrunde liegende SSD (Sandisk) hat einen weg. Ist im laufenden Betrieb nicht aufgefallen. Aber im Ergebnis nicht so schlimm, da ich meine zentrale Storage-VM redundant ausgelegt hatte, mit 2 virtuellen Disks im Mirror auf zwei unterschiedlichen Datenträgern...

Ferner stellte sich heraus, dass die (wirklich bescheuerte) 256GB Intel 600p, die ich im Backup-System hatte, noch zickiger ist, als gedacht. Jedenfalls stellte sich heraus, dass das blöde Ding nicht mit dem Supermicro-Board wollte (weder im m.2-Slot, noch mit Adapter). Also musste ich da etwas umdisponieren und die Backup Storage-VM auf einen anderen Datenträger umziehen.

Inzwischen rennt alles erst einmal wieder, inklusive Backup.
(Einen defekten Datenträger in einem Mirror kann man unter Solaris zum Glück easy austauschen, selbst wenn das OS darauf liegt. Ein paar knackige Befehle (im Spoiler) und schon resilvert Solaris brav die komplette Disk - und die neue Disk ist auch sofort bootfähig!)

Beispiel: Disk unter "c1t0d0" physisch & logisch austauschen:
Code : 
# zpool offline rpool c1t0d0
# cfgadm -c unconfigure c1::dsk/c1t0d0
<Physically remove failed disk c1t0d0>
<Physically insert replacement disk c1t0d0>
# cfgadm -c configure c1::dsk/c1t0d0
# zpool replace rpool c1t0d0
# zpool online rpool c1t0d0
# zpool status rpool

Insgesamt hat sich die Virtualisierung aber bei diesem Umzug schon sehr positiv ausgewirkt: Der neue ESXi auf neuer Plattform ist innerhalb von ca. 20 Minuten aufgesetzt. Da die wesentlichen Datenträger (mit den VMs und ihren virtuellen Disks) ja bleiben wo sie waren, einfach flugs die VMs wieder registriert und ab die Post. :D Kleine Anpassungen wg. Passthrough (die Geräte muss man im Zweifel nochmal in den VMs entfernen und neu hinzufügen) musste ich noch vornehmen und ich muss auch noch die 2 USV-VMs anpassen, damit die im Falle eines Falles auch die richtigen Rechner beim Stromausfall herunterfahren... ;)

Bilder gibt's von den neuen Configs noch nicht, da ich aktuell noch auf ein, zwei Teile warte, bis ich den Umzug als "abgeschlossen" bezeichnen kann. ;) So gefällt mir z.B. der Umstand noch nicht, dass mein Kühler auf dem TR nur um 90° gedreht montiert werden kann und auch an die Datenträger-Situation / Storage-Pools will ich noch einmal ran.

Der Hauptserver hat im Übrigen zurzeit grds. noch die gleiche Hardware wie vorher, allerdings ist die Quadro P400 rausgeflogen und eine TitanXp eingezogen (jetzt kann jemand auf dem Server auch noch nebenher in WQHD zocken :p), außerdem hab ich ESSXi auf den aktuellen Stand gebracht:

CPU: TR 1920X
Mainboard: AsrockRack X399D8A-2T
RAM: 64GB ECC UDIMM (mal schauen, ob ich noch was finde)
Storage (SSD-only): [to come]
PCIe-Karten: 9305-24i (HBA), Mellanox ConnectX-4 Dual 100Gbit (NIC), TitanXp (GPU), PCIe-HostCard (USB3)
Gehäuse: InterTech 4U-4416
OS: ESXi6.7U3b
8 VMs: (wie zuvor) Solaris 11.3+Napp-IT (Storage); SophosUTM (Firewall); Win10 (GPU-/USB-Passthrough, "Surfen & Daddeln"), 2x APCUPSD (USV-Steuerung), Minecraft, VPN (gesondert zur Firewall), Teamspeak
;)
 
Zuletzt bearbeitet :
Sortiere nach Datum Sortiere nach Stimmen
...hmmm... nach einer Stunde bei 84-85° und die Kerne takten maximal bis 4,025GHz und auch mal drunter...vorher max. 80° und ziemlich konstant bei 4,045GHz...die Paste ist wohl doch ein wenig besser.
 
Upvote 0 Downvote
Keine Ahnung ehrlich gesagt. Habe ja die Anleitung nicht finden können... ;)

Wie dem auch sei, ich mach bei Gelegenheit nochmal den Gegentest wieder mit WLP. 5 Grad Differenz ist ja schon was.

Weil mir langweilig war, wollte ich doch mal genauer gegentesten, wie sich schneller RAM auswirkt. Hab mir also mal testweise 4x16GB Crucial Ballistix MAX 4000 (2x das 32GB Kit). Läuft bei mir auf dem TRX40 Taichi mit einem 1800er IF, @3600MHz und 16/17/16/34er Timings. Zum Vergleich: der Kingston Hyper-X (ebenfalls 2x 32GB Kit) lief mit gleichem IF und Takt aber mit 17/19/19/39er Timings.

Mich interessiert dabei eigentlich vor allem Mehrleistungen in Spielen und habe aber erst einmal nur mal Cinebench angeworfen: Ergebnisse sind fast völlig gleich, mal gibt's mit dem einen, mal mit dem anderen RAM mehr Punkte. Bei Horizon New Dawn auch kein spürbarer Unterschied.
 
Upvote 0 Downvote
Cinebench reagiert mW. so gut wie gar nicht auf den RAM Takt.
 
Zuletzt bearbeitet :
Upvote 0 Downvote
Kann auch sein, dass das mit dem burn in das pad war, welches Igor mal getestet hat, das Polymer Dingen. Da gab es btw. auch noch nichts neues oder habe ich das nur verpasst? ^^

Ich habe für meinen gleich 3600er mit CL 16-16-16-36 genommen. Zumindest bei HZD konnte ich nicht feststellen, dass es langsamer läuft auf 2133 MHz, dafür kackt es einfach zu früh ab xD
 
Upvote 0 Downvote
Hehe. Ist jedenfalls ernüchternd (das mit dem RAM-Tuning). Muss mal noch ein paar Benchmarks laufen lassen - aber bisher ist die Divergenz zwischen einzelnen Runs selbst bei unveränderter Hardware quasi höher als die Veränderung mit unterschiedlichen RAM-Riegeln... :D

Randnotiz: Außerdem taktet mein 3960X im Single-Thread höher mit PBO=off - das dürfte also für Gaming das bessere Setting sein. Mal schauen, was da noch so geht und ob ich doch noch Zeit & Lust finde, da weiter herumzuprobieren.
 
Upvote 0 Downvote
Viel Erfolg. Meinen muss ich leider wieder auseinander nehmen, das Board geht zurück, Reparatur/Austausch. Ich habe so ziemlich alle USB Geräte abgeklemmt, in der Hoffnung*, dass eins davon den USB Host Controller überlastet und deswegen der Realtek 1220 nur noch Müll ausgibt, aber es bleibt bei Müll.

*Damit ich nur ein Peripheriegerät neu kaufen müsste und läuft wieder.
 
Upvote 0 Downvote
Ach Käse. :(
 
Upvote 0 Downvote
So, ich habe mal wieder gebastelt. Da aber die alte (unveränderte) Hardware nur in ein neues Gehäuse umgezogen ist, habe ich mal einen kleinen User-Review zum Gehäuse daraus gemacht. Die Details findet Ihr hier: Thermaltake Core P8 TG
 
Upvote 0 Downvote
huhu. sorry das ich da dein thread kappere aber ich habe eine kleine frage.
Ich plane eine AIO (da schon vorhanden) in ein servercase zu verbauen.
Zur Frage: erreichen die Lüfter der AIO genüg Flow um das ganze sinnvoll zu kühlen? Vorne sitzen die HDDs welche Wärme abgeben, dann soll die AIO mit 3 Lüftern kommen und dahinter ist ja noch das Board. Also wären gerade mal 3 Lüfter verbaut oO
Und wie sieht es mit dem NT aus? Das bekommt dann ja auch nur erwärmte Luft? allenfalls umdrehen und ein Loch ins Case schneiden damit es "Frischluft" von aussen ziehen kann?

Gruss aXu
 
Upvote 0 Downvote
Das kommt ein bisserl auf die insgesamt verbaute Hardware und vor allem die verwendeten Lüfter an: GRUNDSÄTZLICH kann das klappen und können in der Mitte 3x 120er genug Luftstrom aufbauen, um HDDs, CPU und sonstige Steckkarten zu kühlen. Wenn's die richtigen Lüfter sind und leise ist dann ggf. auch anders.

Normalerweise haben die Server-Gehäuse hinten auch noch Lüfterplätze - dort dann gerne 2x80er oder 2x90/92er. Musst Du mal schauen und die würde ich in jedem Fall bestücken.

Am Ende steht und fällt das aber mit der Anzahl der HDDs und dem Lastszenario: wenn Du da auf 3-4HE 16 drehende Platten unter "heavy I/O" einsetzt wird das ohne starke Lüfter eng. Wenn Du da nur 4 oder so drin hast, auf die ab und an mal zugegriffen wird, juckt das nicht wirklich. Gleiches zur CPU und sonstigen Wärmequellen: wenn sich die CPU eher langweilt, kühlst Du das mit der linken Pobacke weg, steht die unter Dauerfeuer sieht das schon anders aus. Bei mir sind z.B. in den "Wakü-Servern" überhaupt keine HDDs mehr drin, sondern nur noch SSDs, d.h. weniger Wärmeentwicklung und außerdem noch weniger Luftwiderstand - und die Systemlast hält sich unter'm Strich auch noch recht in Grenzen.

Um's Netzteil würde ich mir die wenigsten Gedanken machen, jedenfalls wenn's ein Markengerät ist. Die sind gerne bis 50°C spezifiziert und wenn's im Case so warm werden sollte, hast Du eh ein Problem. ;)

Lange Rede kurzer Sinn: Servergehäuse sind in der Regel auf idealen Airflow ausgerichtet (von-vorn-nach-hinten) und zum Teil mit so starken Gehäuse-Lüftern versehen, dass man bisweilen nicht mal mehr einen Lüfter auf der CPU selbst benötigt. Nachteil: die Dinger drehen LAUT. Ein Radi stört darin eher und man sollte sich überlegen, ob der schlechtere Airflow wichtig ist und ggf. wie man ihn kompensiert (bessere/mehr Lüfter).

Ansonsten: Versuch macht kluch. :D
 
Upvote 0 Downvote
Hallo aXu

Das bekommt man schon hin. Etwas mehr Informationen wären aber schon gut, damit man das ganze richtig beurteilen und dem entsprechend Tipps geben kann.
Was ist das für ein Gehäuse? Was soll verbaut werden (CPU, GPU)? Wie viele Festplatten von welcher Sorte kommen da rein? Was hast du für ein Netzteil? Was ist es für eine AIO und kühlt sie die CPU oder GPU?
Kann man die AIO auch hinten ausblasend montieren?
Wie stark sind die Komponenten üblicherweise ausgelastet?
Ist sonst noch etwas verbaut, was man beachten müsste?
 
Upvote 0 Downvote
salü zusammen. Ich mache ein eigenes Topic auf, benötige da noch die eine oder andere entscheidungshilfe :)
 
Upvote 0 Downvote
Um antworten zu können musst du eingeloggt sein.
Oben Unten