Userreview Homelab "Worklog"

Besterino

Urgestein
Mitglied seit
Jul 22, 2018
Beiträge
6.671
Bewertungspunkte
3.266
Punkte
112
Ich habe über's Wochenende mal ein schon länger angedachtes Vorhaben umgesetzt. Ziel war es, die technische Basis von meinem Hauptserver und Backup-Server umzukrempeln. Die Hauptkiste soll zukünftig ein Threadripper 1920X auf einem AsrockRack X399D8A-2T sein und der bisherige Hauptserver zukünftig als Backup herhalten. Da ich der AMD-Plattform (und AsrockRack) zunächst etwas skeptisch im Hinblick auf "Zuverlässigkeit als Dauerläufer" gegenüber stand, hab ich mir etwas mehr Zeit als üblich gelassen und die - für mich neue - AMD-Welt vorher erst einmal ausgiebig getestet.

Der Hauptserver sah zuletzt vor der Umbauaktion wie folgt aus:
CPU: Xeon Silver 4108
Mainboard: X11SPi-TF
RAM: 96GB regECC
Storage (SSD-only): 7x1TB, 5x256GB, 2x120GB, 1x32GB (SuperDOM) (alle SATA), 1x256GB (NVME)
PCIe-Karten: 9305-24i (HBA), Mellanox ConnectX-4 Dual 100Gbit (NIC), Quadro P400 (GPU), PCIe-HostCard (USB3)
Gehäuse: InterTech 4U-4416
OS: ESXi6.7
8 VMs: Solaris 11.3+Napp-IT (Storage); SophosUTM (Firewall); Win10 (GPU-/USB-Passthrough, "Surfen"), 2x APCUPSD (USV-Steuerung), Minecraft, VPN (gesondert zur Firewall), Teamspeak

Die Backup-Kiste war der hier:
CPU: Xeon E3-1225 (v1)
Mainboard: Intel S1200BTLR
RAM: 32GB ECC UDIMM
Storage: 8TB HDD, 256GB NVME
PCIe-Karten: Emulex OCE14102 10Gbit (NIC), PCIe-HostCard (USB3)
Gehäuse: InterTech 2U-2098-SL
OS: ESXi 6.5U1
VMs: Solaris 11.4+Napp-It (Storage); Test-VMs

Außerdem ist irgendwie mein "Pseudo-Rack" insgesamt auch wieder verstärkt in Unordnung geraten, da muss auch mal wieder aufgeräumt werden.

Von der Seite geht's ja noch:

3323

Von hinten dann schon weniger:

3324

(Hauptserver ganz unten, Backup 2. von oben, das Threadripper-System als zukünftiger Server im schwarzen Case ganz oben)

Ziel war also eigentlich "nur", das TR1920x-System und Hauptserver-System ins jeweils andere Gehäuse zu verpflanzen, bisserl weitere Hardware neu zu verteilen und das alte Backup-System auf den ehemaligen Hauptserver zu verfrachten. Da ja alle Server bei mir virtualisiert mit ESXi laufen, eigentlich gar nicht so schlechte Startbedingungen...

Also die drei Kisten schnell abgestöpselt...

3325

...geöffnet...

3326

...und entkernt:

3327

Bevor ich loslegen wollte, wollte ich natürlich alle produktiven VMs vorsichtshalber noch einmal "wegkopieren". Nur für den Fall der Fälle. Dabei stellte sich dann heraus, dass leider eine virtuelle Disk ausgerechnet der Storage VM (nur mit dem VM-OS) reproduzierbar und hartnäckig Lesefehler warf, und sich schlicht nicht kopieren ließ. Das gleiche Problem hatte ich noch bei einer zweiten (längst ausgemusterten) VM/VirtualDisk auf dem gleichen Datenträger und ich vermute daher, die zugrunde liegende SSD (Sandisk) hat einen weg. Ist im laufenden Betrieb nicht aufgefallen. Aber im Ergebnis nicht so schlimm, da ich meine zentrale Storage-VM redundant ausgelegt hatte, mit 2 virtuellen Disks im Mirror auf zwei unterschiedlichen Datenträgern...

Ferner stellte sich heraus, dass die (wirklich bescheuerte) 256GB Intel 600p, die ich im Backup-System hatte, noch zickiger ist, als gedacht. Jedenfalls stellte sich heraus, dass das blöde Ding nicht mit dem Supermicro-Board wollte (weder im m.2-Slot, noch mit Adapter). Also musste ich da etwas umdisponieren und die Backup Storage-VM auf einen anderen Datenträger umziehen.

Inzwischen rennt alles erst einmal wieder, inklusive Backup.
(Einen defekten Datenträger in einem Mirror kann man unter Solaris zum Glück easy austauschen, selbst wenn das OS darauf liegt. Ein paar knackige Befehle (im Spoiler) und schon resilvert Solaris brav die komplette Disk - und die neue Disk ist auch sofort bootfähig!)

Beispiel: Disk unter "c1t0d0" physisch & logisch austauschen:
Code :
# zpool offline rpool c1t0d0
# cfgadm -c unconfigure c1::dsk/c1t0d0
<Physically remove failed disk c1t0d0>
<Physically insert replacement disk c1t0d0>
# cfgadm -c configure c1::dsk/c1t0d0
# zpool replace rpool c1t0d0
# zpool online rpool c1t0d0
# zpool status rpool

Insgesamt hat sich die Virtualisierung aber bei diesem Umzug schon sehr positiv ausgewirkt: Der neue ESXi auf neuer Plattform ist innerhalb von ca. 20 Minuten aufgesetzt. Da die wesentlichen Datenträger (mit den VMs und ihren virtuellen Disks) ja bleiben wo sie waren, einfach flugs die VMs wieder registriert und ab die Post. :D Kleine Anpassungen wg. Passthrough (die Geräte muss man im Zweifel nochmal in den VMs entfernen und neu hinzufügen) musste ich noch vornehmen und ich muss auch noch die 2 USV-VMs anpassen, damit die im Falle eines Falles auch die richtigen Rechner beim Stromausfall herunterfahren... ;)

Bilder gibt's von den neuen Configs noch nicht, da ich aktuell noch auf ein, zwei Teile warte, bis ich den Umzug als "abgeschlossen" bezeichnen kann. ;) So gefällt mir z.B. der Umstand noch nicht, dass mein Kühler auf dem TR nur um 90° gedreht montiert werden kann und auch an die Datenträger-Situation / Storage-Pools will ich noch einmal ran.

Der Hauptserver hat im Übrigen zurzeit grds. noch die gleiche Hardware wie vorher, allerdings ist die Quadro P400 rausgeflogen und eine TitanXp eingezogen (jetzt kann jemand auf dem Server auch noch nebenher in WQHD zocken :p), außerdem hab ich ESSXi auf den aktuellen Stand gebracht:

CPU: TR 1920X
Mainboard: AsrockRack X399D8A-2T
RAM: 64GB ECC UDIMM (mal schauen, ob ich noch was finde)
Storage (SSD-only): [to come]
PCIe-Karten: 9305-24i (HBA), Mellanox ConnectX-4 Dual 100Gbit (NIC), TitanXp (GPU), PCIe-HostCard (USB3)
Gehäuse: InterTech 4U-4416
OS: ESXi6.7U3b
8 VMs: (wie zuvor) Solaris 11.3+Napp-IT (Storage); SophosUTM (Firewall); Win10 (GPU-/USB-Passthrough, "Surfen & Daddeln"), 2x APCUPSD (USV-Steuerung), Minecraft, VPN (gesondert zur Firewall), Teamspeak
;)
 
Zuletzt bearbeitet :
komme auf Homeoffice nicht wirklich klar. Ausser in den selten Momenten, wenn ich nur mal Ruhe brauche um theoretische Dinge auszutüfteln etc. Ansonsten ists die Hölle :-D
 
Bin seit Anfang März im selbstgewählten Home-Office (mein Arbeitgeber hat empfohlen, zu Hause zu bleiben, wenn es geht, was ich sehr kulant finde) und muss sagen, es funktioniert nach einer kurzen, holprigen Startphase erstaunlich gut. Die Meetings sind effizienter als im Real-Modus und es kommen nicht ständig Leute an deinen Tisch, deren Probleme man sofort lösen muss. Und wenn es wirklich mal brennt, gehe ich auch mal den einen oder anderen Tag ins Büro.

Edit: Ich kenne aber Viele, denen eher die Decke auf den Kopf fällt und die sich nicht an Home-Office gewöhnen können. Dies sind meist ältere Mitarbeiter, denen jede Umstellung ihrer Arbeitsweise Probleme bereitet. Mal sehen, wie flexibel ich in 20 Jahren noch bin.
 
Zuletzt bearbeitet :
Meine wesentliche Erkenntnis aus der aktuellen Situation:

Vieles (und mehr als gedacht) geht im bzw. aus dem Homeoffice wirklich gut / besser als gedacht. Und die Familie kann (muss aber nicht) auch profitieren. Aber manches geht in einer gescheiten Office-Umgebung eben auch deutlich besser als als "Worker allein zu Haus", wobei das eben vor allem Dinge sind, wo man im Team zusammenarbeitet. Aber Achtung: der Mehrwert liegt dann aber darin, dass wirklich ALLE aus dem Team eben auch im (physisch gleichen) Büro sind - wenn man nur alleine im Office abhängt, kann man quasi auch genauso gut zu Hause bleiben.

Klar, das ist jetzt nicht ohne Weiteres übertragbar und gilt vor allem für klassische Schreibtischtäter, die primär vor dem Monitor / in Telefonaten / in Besprechungen abhängen.

So, aber zurück zum Thema - zumindest zum Thema "Hardware": Das hier ist ja quasi mein "Hardware Laber- & Quatschen-Thread". :p Ich bin gerade über folgendes Gehäuse gestolpert, was für mich in die Kategorie "hat was" fällt: https://www.inter-tech.de/products/ipc/server-cases/4u-4452-tft
 
Jau, das hab ich mir auch schon angesehen, es ist auch gar nicht sooo teuer. Aber so einen wirklichen Einsatzzweck für das Display hätte ich nicht.
 
Wäre vielleicht was in einer Supersilent Edition als HTPC und Hausautomatisierungszentrale. Dann aber auch gerne in etwas hübscher. ;) Die silverstones gingen ja früher in die Richtung aber... meh.

Hätte es ja schon gerne mal in den Fingern, aber für „mal eben so nebenbei“.... neee.
 
Origenae hatte sowas mal "in schön", die sind aber irgendwie von der Bildfläche verschwunden.
 
Aber das Display da drin war kacke.
 
Ich sehe den Nutzen für das Display auch nicht so wirklich. SSH ist da ja viel praktischer.
 
Deshalb: HTPC :p
 
Homeoffice ist nicht gleich Homeoffice.

Homeoffice bei dem man auf ein Kind im KiTaalter aufpassen muss und darauf achten soll, dass ein Grundschulkind seine Schulaufgaben macht, ist nicht unbedingt angenehm 🤪
 
Da mein Rechner schon viel zu lange 24/7 läuft, brauche ich einmal wieder einen handfesten Grund, die Kiste abzuschalten. Mit den nächsten Grafikkarten wird es ja noch etwas dauern, so dass ich eine schon etwas ältere Idee mal angehen wollte: "Pad statt Paste".

Konkret:

00_klein.jpg

01_klein.jpg

Lustig: auf der Rückseite der Verpackung steht schön in rot "Anleitung beachten!" - ist aber keine dabei... :D Und auf der Webseite gibt's auch keine. Klarer Abzug in meiner persönlichen Bewertung, zumindest in der B-Note. Geht m.E. eigentlich gar nicht, auch wenn die Anwendung eigentlich keine besonderen Herausforderungen mit sich bringen dürfte (mal abgesehen davon, dass man die elektrische Leitfähigkeit des Pads beachten muss).

Für mich am interessantesten ist eigentlich der Faktor "Temperaturen": ich finde Wärmeleitpasten gerade bei den neueren CPUs recht nervig (Linsen-Klecks mittig ist eher suboptimal und beim TR ist der Heatspreader eh viel zu groß dafür) und ich hab' immer die Sorge, ob ich zu viel oder zu wenig WLP genommen hab... Ganz konkret: Mein 3960X kommt z.B. selbst im idle fast nie unter 55° (eher 59°) und geht unter Last locker hoch auf bis zu 85°. Trotz Monster-Wakü. Hab schon mehrmals WLP neu aufgetragen - mal mehr, mal weniger, aber eine Veränderung bei den Temps hab ich da noch nicht gesehen.

Jetzt mache ich also demnächst den Gegentest mit dem Grizzly Pad - wenn ich da bei gleichen Temps (oder schlechteren) rauskomme, weiß ich immerhin, dass ich mit der WLP nichts falsch gemacht habe. :D ...und wenn's ungefähr gleich bleibt, kann ich zukünftig auch getrost ein Pad nehmen, das erspart mir dann wenigstens das Rumgekleckse und die Schmiererei mit der WLP.

Also, vielleicht mal wieder etwas persönlicher Erkenntnisgewinn im Selbstversuch. ;)
 
Watercool Heatkiller IV Pro für Threadripper (Kupfer vernickelt).

Was hast Du denn so für Temps?

Die 85 Grad bekomme ich allerdings fairerweise auch nur bei ~30 Grad Zimmertemperatur und mehrere Stunden (Tage?) Dauerfalten hin. Aber vielleicht hab ich ja auch die WLP völlig verkehrt aufgebracht...
 
Keine Ahnung. :D

Hab jetzt gerade mal remote wieder F@H auf der Kiste angeworfen und kann dann gegen 20:00h mal schauen, was die Temps dann so sagen.

Aktuell (nach ein paar Minuten Falten) bin ich bei 27,5 Grad Zimmer, 29 Grad Wasser und 76 Grad CPU (Tctl/Tdie). Aber die GPU faltet halt auch, so dass die das Wasser natürlich mit aufwärmt.
 
Im idle komme ich mit dem cuplex Kryos next sTRX4 FC auf 36-40°C, Durchfluss irgendwas bei 60l/min. Allerdings habe ich es (zum Glück) derzeit nicht so brüllend heiß in der Bude, ca. 26°C.
Unter Last habe ich aber auch schon einmal 86° gesehen.
RznMstr_TR-idle.png

Was meiner Kühlung echt den Tag versaut, sind die Staubfilter. Wenn GPU und CPU belastet sind und es dann auch noch 28-30° im Zimmer sind, hat sie es echt schwer, das Wasser unter 40° zu halten (meine persönliche Obergrenze). Nehme ich die raus, sinken die Temperaturen innerhalb weniger Minuten um 1,5-2°C. Aber bei zwei Papiertigern ist das keine so gut Idee ^^

PS: Bisher keine Beschwerden vom Netzteil (650W) ;)
 
Zuletzt bearbeitet :
Nach 4h falten auf 44 Kernen und der GPU:

Falten.jpg

Lasse ich das Falten sein, geht's schlagartig runter, übrigens doch auf durchaus eher in den 40ern als 50ern in Sachen Gradzahlen (Energiesparplan: Höchstleistung - eh klar):

Idle.jpg

So - jetzt bin ich aber erstmal so'n bisserl offline, muss Paste gegen Pad tauschen... :D
 
So... Operation geglückt. Zumindest nichts unter Wasser gesetzt und Cinebench lief auch ein paar Mal durch. Werfe jetzt mal wieder F@H an und lasse das mal etwas laufen... Temps sehen auf den ersten Blick auch gut aus: idle bis runter auf 38, Cinebench rauf bis 76°... beim Falten simmer dann auch ratzfatz auf 80°. ;)
 
Oben Unten