Userreview Homelab "Worklog"

Besterino

Urgestein
Mitglied seit
Jul 22, 2018
Beiträge
6.671
Bewertungspunkte
3.266
Punkte
112
Ich habe über's Wochenende mal ein schon länger angedachtes Vorhaben umgesetzt. Ziel war es, die technische Basis von meinem Hauptserver und Backup-Server umzukrempeln. Die Hauptkiste soll zukünftig ein Threadripper 1920X auf einem AsrockRack X399D8A-2T sein und der bisherige Hauptserver zukünftig als Backup herhalten. Da ich der AMD-Plattform (und AsrockRack) zunächst etwas skeptisch im Hinblick auf "Zuverlässigkeit als Dauerläufer" gegenüber stand, hab ich mir etwas mehr Zeit als üblich gelassen und die - für mich neue - AMD-Welt vorher erst einmal ausgiebig getestet.

Der Hauptserver sah zuletzt vor der Umbauaktion wie folgt aus:
CPU: Xeon Silver 4108
Mainboard: X11SPi-TF
RAM: 96GB regECC
Storage (SSD-only): 7x1TB, 5x256GB, 2x120GB, 1x32GB (SuperDOM) (alle SATA), 1x256GB (NVME)
PCIe-Karten: 9305-24i (HBA), Mellanox ConnectX-4 Dual 100Gbit (NIC), Quadro P400 (GPU), PCIe-HostCard (USB3)
Gehäuse: InterTech 4U-4416
OS: ESXi6.7
8 VMs: Solaris 11.3+Napp-IT (Storage); SophosUTM (Firewall); Win10 (GPU-/USB-Passthrough, "Surfen"), 2x APCUPSD (USV-Steuerung), Minecraft, VPN (gesondert zur Firewall), Teamspeak

Die Backup-Kiste war der hier:
CPU: Xeon E3-1225 (v1)
Mainboard: Intel S1200BTLR
RAM: 32GB ECC UDIMM
Storage: 8TB HDD, 256GB NVME
PCIe-Karten: Emulex OCE14102 10Gbit (NIC), PCIe-HostCard (USB3)
Gehäuse: InterTech 2U-2098-SL
OS: ESXi 6.5U1
VMs: Solaris 11.4+Napp-It (Storage); Test-VMs

Außerdem ist irgendwie mein "Pseudo-Rack" insgesamt auch wieder verstärkt in Unordnung geraten, da muss auch mal wieder aufgeräumt werden.

Von der Seite geht's ja noch:

3323

Von hinten dann schon weniger:

3324

(Hauptserver ganz unten, Backup 2. von oben, das Threadripper-System als zukünftiger Server im schwarzen Case ganz oben)

Ziel war also eigentlich "nur", das TR1920x-System und Hauptserver-System ins jeweils andere Gehäuse zu verpflanzen, bisserl weitere Hardware neu zu verteilen und das alte Backup-System auf den ehemaligen Hauptserver zu verfrachten. Da ja alle Server bei mir virtualisiert mit ESXi laufen, eigentlich gar nicht so schlechte Startbedingungen...

Also die drei Kisten schnell abgestöpselt...

3325

...geöffnet...

3326

...und entkernt:

3327

Bevor ich loslegen wollte, wollte ich natürlich alle produktiven VMs vorsichtshalber noch einmal "wegkopieren". Nur für den Fall der Fälle. Dabei stellte sich dann heraus, dass leider eine virtuelle Disk ausgerechnet der Storage VM (nur mit dem VM-OS) reproduzierbar und hartnäckig Lesefehler warf, und sich schlicht nicht kopieren ließ. Das gleiche Problem hatte ich noch bei einer zweiten (längst ausgemusterten) VM/VirtualDisk auf dem gleichen Datenträger und ich vermute daher, die zugrunde liegende SSD (Sandisk) hat einen weg. Ist im laufenden Betrieb nicht aufgefallen. Aber im Ergebnis nicht so schlimm, da ich meine zentrale Storage-VM redundant ausgelegt hatte, mit 2 virtuellen Disks im Mirror auf zwei unterschiedlichen Datenträgern...

Ferner stellte sich heraus, dass die (wirklich bescheuerte) 256GB Intel 600p, die ich im Backup-System hatte, noch zickiger ist, als gedacht. Jedenfalls stellte sich heraus, dass das blöde Ding nicht mit dem Supermicro-Board wollte (weder im m.2-Slot, noch mit Adapter). Also musste ich da etwas umdisponieren und die Backup Storage-VM auf einen anderen Datenträger umziehen.

Inzwischen rennt alles erst einmal wieder, inklusive Backup.
(Einen defekten Datenträger in einem Mirror kann man unter Solaris zum Glück easy austauschen, selbst wenn das OS darauf liegt. Ein paar knackige Befehle (im Spoiler) und schon resilvert Solaris brav die komplette Disk - und die neue Disk ist auch sofort bootfähig!)

Beispiel: Disk unter "c1t0d0" physisch & logisch austauschen:
Code :
# zpool offline rpool c1t0d0
# cfgadm -c unconfigure c1::dsk/c1t0d0
<Physically remove failed disk c1t0d0>
<Physically insert replacement disk c1t0d0>
# cfgadm -c configure c1::dsk/c1t0d0
# zpool replace rpool c1t0d0
# zpool online rpool c1t0d0
# zpool status rpool

Insgesamt hat sich die Virtualisierung aber bei diesem Umzug schon sehr positiv ausgewirkt: Der neue ESXi auf neuer Plattform ist innerhalb von ca. 20 Minuten aufgesetzt. Da die wesentlichen Datenträger (mit den VMs und ihren virtuellen Disks) ja bleiben wo sie waren, einfach flugs die VMs wieder registriert und ab die Post. :D Kleine Anpassungen wg. Passthrough (die Geräte muss man im Zweifel nochmal in den VMs entfernen und neu hinzufügen) musste ich noch vornehmen und ich muss auch noch die 2 USV-VMs anpassen, damit die im Falle eines Falles auch die richtigen Rechner beim Stromausfall herunterfahren... ;)

Bilder gibt's von den neuen Configs noch nicht, da ich aktuell noch auf ein, zwei Teile warte, bis ich den Umzug als "abgeschlossen" bezeichnen kann. ;) So gefällt mir z.B. der Umstand noch nicht, dass mein Kühler auf dem TR nur um 90° gedreht montiert werden kann und auch an die Datenträger-Situation / Storage-Pools will ich noch einmal ran.

Der Hauptserver hat im Übrigen zurzeit grds. noch die gleiche Hardware wie vorher, allerdings ist die Quadro P400 rausgeflogen und eine TitanXp eingezogen (jetzt kann jemand auf dem Server auch noch nebenher in WQHD zocken :p), außerdem hab ich ESSXi auf den aktuellen Stand gebracht:

CPU: TR 1920X
Mainboard: AsrockRack X399D8A-2T
RAM: 64GB ECC UDIMM (mal schauen, ob ich noch was finde)
Storage (SSD-only): [to come]
PCIe-Karten: 9305-24i (HBA), Mellanox ConnectX-4 Dual 100Gbit (NIC), TitanXp (GPU), PCIe-HostCard (USB3)
Gehäuse: InterTech 4U-4416
OS: ESXi6.7U3b
8 VMs: (wie zuvor) Solaris 11.3+Napp-IT (Storage); SophosUTM (Firewall); Win10 (GPU-/USB-Passthrough, "Surfen & Daddeln"), 2x APCUPSD (USV-Steuerung), Minecraft, VPN (gesondert zur Firewall), Teamspeak
;)
 
Zuletzt bearbeitet :
So, hat länger gedauert. Corona, Malooche usw. halt.

Zur Erinnerung:
Mainboard: X399D8A-2T
CPU: TR1920X
RAM: 4x16GB ECC UDIMM
PCIe1: TitanXp
PCIe2: SAS HBA (nur 1 von 2 4er Ports belegt)
PCIe3: USB3.0 Host Card
PSU: Seasonic Titanium 850W

Wakü:
Block: Watercool TR4
Pumpe: Watercool DDC PWM
AGB: Watercool Heatkiller Tube mit Multitop
Radi: Watercool HTSF2
Schlauch: Watercool EPDM
Fittinge: Barrow
Schnelltrenner: Bitspower
Durchflusssensor: Aquacomputer Highflow
Temperatursensor Wasser: Aquacomputer (billo, nicht Calitemp)
Temperatursensor Luft: Aquacomputer
Steuerung: Aquacomputer Quadro

Lüfter:
2x80mm Noctua NF-A8 PWM
3x120mm Noctua NF-F12 PWM
2x120mm Noctua 3000er Industrials (nicht im Bild)

Und hier ist das gute Stück:

4044

Vor dem Radi ist hinter den Frontlüftern...oder so... oben sieht man noch die Backplate von dem 3x3,5"-Käfig und unten den ziemlich vollgestopften Quadro...
4045

Nochmal aus einer anderen Perspektive

4046

In der Software sieht das dann zum Beispiel so aus...

4047

...wenn gerade die GPU faltet... da die GPU immer wieder ins Templimit rennt, habe ich mal mit Precision X den Lüfter auf 100% genagelt - dann geht sie nicht über 82°C, ist aber dafür lautstärkemäßig unerträglich... (am Anfang kann man bei GPU-Z links noch die lila-Balken mit dem Temp-Limit sehen, bevor ich manuell den Lüfter hochgeschraubt habe).

4048

Kleine Randnotiz: gefaltet wird in einer Windows-VM unter ESXi als Hypervisor. Darin läuft auch die Aquasuite, wobei die Steuerung per Quadro auch funktioniert, wenn die VM nicht läuft.

Die Falterei mit der Lautstärke ist aber kein Dauerzustand.
 
"I was today's years old" als ich gerafft habe, dass Windows einen eigenen NFS-Client hat. Oleole, macht das den Umgang mit Linux einfacher...

Hatte zwar im Hinterkopf, dass es „irgendwie“ geht, aber offenbar entweder vergessen dass oder eben bevor es einen nativen Client gab, der sich einfach über Systemsteuerung—>Programme und Funktionen als Windows-Funktion nachinstallieren lässt (sogar ohne Reboot).

 
Hast du das Holzgestell eigentlich selbst gebaut oder kann man das irgendwo kaufen?
 
Ikea Ivar... aber ohne Rollen. :)

 
Jo. Nummer 901.665.76.

Meine Seitenteile: 637.567.09

:p
 
Aber warum kein richtiges Rack? Ich kam einfach zu spät auf die Idee und jetzt passt es nicht mehr.
 
Das Ivar-System hat ja auch den Vorteil, dass man es gut erweitern und ein wenig an Raumformen anpassen kann.
 
Jo, den Weg bin ich auch gegangen.
 
Neues Spielzeug: mal schauen, ob ich einen x4 m.2 Slot als PCIe nutzbar machen kann. Wenn es elektrisch geht, wird noch die Befestigung eine gewisse Herausforderung (zum Glück wiegt die dafür vorgesehene Karte nicht viel).

4174

4175
 
Ne. Caseking (potato/potatoe). ;) MF war nicht lagernd.

 
Was nur rumliegt, wird am Ende ja vielleicht schlecht. Was soll ich sagen? Board erfolgreich um 1x PCIe x4 erweitert...

4185

4186

Funzt:

4187

Wirklich, hier OBS Capture mit Greenscreen / Youtube-Video im Hintergrund:

4188

Bin mir noch nicht sicher, ob das Ding auch wirklich mit PCIe 3.0 x4 läuft, aber das heb' ich mir für später auf (wenn überhaupt). ;)

Muss die Kiste aber noch bisserl hübsch machen. momentan baumeln da noch alle möglichen Kabel herum, die ich in der ersten Testphase (jetzt abgeschlossen ;)) noch nicht sauber verlegt habe.
 
Schön, dass der Umbau geklappt hat!

Streamst du?


Grüße!
 
Nö. Aktuell telefon- und videoconference ich nur exzessiv im Homeoffice.
 
So. Ein weiterer Tag völlig wahnsinniger Konferenzmarathon ist überstanden. Feuertaufe bewältigt, Lösung funzt. Wird von Test- in Produktivbetrieb übernommen.

P.S.: Homeoffice hat ja ein paar echt positive Seiten, aber Tage wie heute machen mich fertig. Und er ist ja auch noch nicht zu Ende... :(
 
Oben Unten