Userreview Homelab "Worklog"

B

Besterino

Urgestein
Mitglied seit
Jul 22, 2018
Beiträge
7.084
Bewertungspunkte
3.667
Punkte
112
Ich habe über's Wochenende mal ein schon länger angedachtes Vorhaben umgesetzt. Ziel war es, die technische Basis von meinem Hauptserver und Backup-Server umzukrempeln. Die Hauptkiste soll zukünftig ein Threadripper 1920X auf einem AsrockRack X399D8A-2T sein und der bisherige Hauptserver zukünftig als Backup herhalten. Da ich der AMD-Plattform (und AsrockRack) zunächst etwas skeptisch im Hinblick auf "Zuverlässigkeit als Dauerläufer" gegenüber stand, hab ich mir etwas mehr Zeit als üblich gelassen und die - für mich neue - AMD-Welt vorher erst einmal ausgiebig getestet.

Der Hauptserver sah zuletzt vor der Umbauaktion wie folgt aus:
CPU: Xeon Silver 4108
Mainboard: X11SPi-TF
RAM: 96GB regECC
Storage (SSD-only): 7x1TB, 5x256GB, 2x120GB, 1x32GB (SuperDOM) (alle SATA), 1x256GB (NVME)
PCIe-Karten: 9305-24i (HBA), Mellanox ConnectX-4 Dual 100Gbit (NIC), Quadro P400 (GPU), PCIe-HostCard (USB3)
Gehäuse: InterTech 4U-4416
OS: ESXi6.7
8 VMs: Solaris 11.3+Napp-IT (Storage); SophosUTM (Firewall); Win10 (GPU-/USB-Passthrough, "Surfen"), 2x APCUPSD (USV-Steuerung), Minecraft, VPN (gesondert zur Firewall), Teamspeak

Die Backup-Kiste war der hier:
CPU: Xeon E3-1225 (v1)
Mainboard: Intel S1200BTLR
RAM: 32GB ECC UDIMM
Storage: 8TB HDD, 256GB NVME
PCIe-Karten: Emulex OCE14102 10Gbit (NIC), PCIe-HostCard (USB3)
Gehäuse: InterTech 2U-2098-SL
OS: ESXi 6.5U1
VMs: Solaris 11.4+Napp-It (Storage); Test-VMs

Außerdem ist irgendwie mein "Pseudo-Rack" insgesamt auch wieder verstärkt in Unordnung geraten, da muss auch mal wieder aufgeräumt werden.

Von der Seite geht's ja noch:

3323

Von hinten dann schon weniger:

3324

(Hauptserver ganz unten, Backup 2. von oben, das Threadripper-System als zukünftiger Server im schwarzen Case ganz oben)

Ziel war also eigentlich "nur", das TR1920x-System und Hauptserver-System ins jeweils andere Gehäuse zu verpflanzen, bisserl weitere Hardware neu zu verteilen und das alte Backup-System auf den ehemaligen Hauptserver zu verfrachten. Da ja alle Server bei mir virtualisiert mit ESXi laufen, eigentlich gar nicht so schlechte Startbedingungen...

Also die drei Kisten schnell abgestöpselt...

3325

...geöffnet...

3326

...und entkernt:

3327

Bevor ich loslegen wollte, wollte ich natürlich alle produktiven VMs vorsichtshalber noch einmal "wegkopieren". Nur für den Fall der Fälle. Dabei stellte sich dann heraus, dass leider eine virtuelle Disk ausgerechnet der Storage VM (nur mit dem VM-OS) reproduzierbar und hartnäckig Lesefehler warf, und sich schlicht nicht kopieren ließ. Das gleiche Problem hatte ich noch bei einer zweiten (längst ausgemusterten) VM/VirtualDisk auf dem gleichen Datenträger und ich vermute daher, die zugrunde liegende SSD (Sandisk) hat einen weg. Ist im laufenden Betrieb nicht aufgefallen. Aber im Ergebnis nicht so schlimm, da ich meine zentrale Storage-VM redundant ausgelegt hatte, mit 2 virtuellen Disks im Mirror auf zwei unterschiedlichen Datenträgern...

Ferner stellte sich heraus, dass die (wirklich bescheuerte) 256GB Intel 600p, die ich im Backup-System hatte, noch zickiger ist, als gedacht. Jedenfalls stellte sich heraus, dass das blöde Ding nicht mit dem Supermicro-Board wollte (weder im m.2-Slot, noch mit Adapter). Also musste ich da etwas umdisponieren und die Backup Storage-VM auf einen anderen Datenträger umziehen.

Inzwischen rennt alles erst einmal wieder, inklusive Backup.
(Einen defekten Datenträger in einem Mirror kann man unter Solaris zum Glück easy austauschen, selbst wenn das OS darauf liegt. Ein paar knackige Befehle (im Spoiler) und schon resilvert Solaris brav die komplette Disk - und die neue Disk ist auch sofort bootfähig!)

Beispiel: Disk unter "c1t0d0" physisch & logisch austauschen:
Code : 
# zpool offline rpool c1t0d0
# cfgadm -c unconfigure c1::dsk/c1t0d0
<Physically remove failed disk c1t0d0>
<Physically insert replacement disk c1t0d0>
# cfgadm -c configure c1::dsk/c1t0d0
# zpool replace rpool c1t0d0
# zpool online rpool c1t0d0
# zpool status rpool

Insgesamt hat sich die Virtualisierung aber bei diesem Umzug schon sehr positiv ausgewirkt: Der neue ESXi auf neuer Plattform ist innerhalb von ca. 20 Minuten aufgesetzt. Da die wesentlichen Datenträger (mit den VMs und ihren virtuellen Disks) ja bleiben wo sie waren, einfach flugs die VMs wieder registriert und ab die Post. :D Kleine Anpassungen wg. Passthrough (die Geräte muss man im Zweifel nochmal in den VMs entfernen und neu hinzufügen) musste ich noch vornehmen und ich muss auch noch die 2 USV-VMs anpassen, damit die im Falle eines Falles auch die richtigen Rechner beim Stromausfall herunterfahren... ;)

Bilder gibt's von den neuen Configs noch nicht, da ich aktuell noch auf ein, zwei Teile warte, bis ich den Umzug als "abgeschlossen" bezeichnen kann. ;) So gefällt mir z.B. der Umstand noch nicht, dass mein Kühler auf dem TR nur um 90° gedreht montiert werden kann und auch an die Datenträger-Situation / Storage-Pools will ich noch einmal ran.

Der Hauptserver hat im Übrigen zurzeit grds. noch die gleiche Hardware wie vorher, allerdings ist die Quadro P400 rausgeflogen und eine TitanXp eingezogen (jetzt kann jemand auf dem Server auch noch nebenher in WQHD zocken :p), außerdem hab ich ESSXi auf den aktuellen Stand gebracht:

CPU: TR 1920X
Mainboard: AsrockRack X399D8A-2T
RAM: 64GB ECC UDIMM (mal schauen, ob ich noch was finde)
Storage (SSD-only): [to come]
PCIe-Karten: 9305-24i (HBA), Mellanox ConnectX-4 Dual 100Gbit (NIC), TitanXp (GPU), PCIe-HostCard (USB3)
Gehäuse: InterTech 4U-4416
OS: ESXi6.7U3b
8 VMs: (wie zuvor) Solaris 11.3+Napp-IT (Storage); SophosUTM (Firewall); Win10 (GPU-/USB-Passthrough, "Surfen & Daddeln"), 2x APCUPSD (USV-Steuerung), Minecraft, VPN (gesondert zur Firewall), Teamspeak
;)
 
Zuletzt bearbeitet :
Sortiere nach Datum Sortiere nach Stimmen
Sowas find ich immer extrem interessant. Eigentlich auch keine Ahnung warum 😆

Falls mich zurecht fand, gibt es einen "Hauptserver", "Server" und "Backup". Den Hauptserver jetzt mit TR und TitanXP. Und die vierte Kiste im Holzrack?
Und was Servern und Backupen die Dinger so?
 
Upvote 0 Downvote
Jo, sind aktuell 4 - den 4. hab ich nicht erwähnt, da sich nichts geändert hat. Siehe in meiner Signatur zum "Datengrab" - den Rest muss ich bei Gelegenheit mal updaten. ;)

Der Schwächste in der Reihe (bisher "Backup" mit dem Xeon v1) geht in Rente bzw. wird woanders niedere Dienste als kleiner Storage-Host verrichten. Der ist mir ganz hübsch gelungen, weil nahezu lautlos.

Ansonsten hast Du Recht: abgesehen vom Datengrab gibt es eigentlich nur noch Hauptserver und Backup, wobei die Backup-Kiste jetzt vielleicht etwas überdimensioniert ist. Muss mal schauen, was ich mit dem mach...

Leider leider LEIDER kann das X399D8A-2T in keinem der Slots 4/4/4/4-Bifurcation. :(

3335

...d.h. mein finsterer Plan, das Storage im Hauptserver um 4 m.2 NVMe SSDs zu erweitern, geht leider nicht auf.

Also musste ich auch den Desktop wieder umbauen. Damit aber nicht nur eine Kiste in den Genuss kommt, werde ich da wohl noch eine Storage-VM aufsetzen - wollte eh mal FreeNAS ausprobieren. :p
 
Upvote 0 Downvote
Ein echtes 19“-Rack kann ich leider nicht gescheit unterbringen. :( Wenn müsste das ja ein 1000er sein und da will ja davor/dahinter auch noch Platz sein...

Aktuell habe ich übrigens das Thema, dass die ADATA NVMe‘s weder von OmniOS noch FreeNAS als Storage-VMs erkannt werden. Bzw. erkannt werden sie zwar, aber sind irgendwie nicht als Laufwerke nutzbar. Mit Win10 geht’s, es lässt sich auch ein striped Volume anlegen und benchen... :p

Muss also ggf noch einmal gedanklich umstrukturieren...
 
Upvote 0 Downvote
spannend zu lesen - wenn ich den Umzug nächsten Monat durch habe, gibt es endlich mehr Platz - und dann wird auch endlich mal das Thema "lokale IT Server & Infrastruktur" angegangen :p
 
Upvote 0 Downvote
@KidStealth: Toi Toi Toi!

Omnios hab ich übrigens inzwischen zu der Zusammenarbeit mit den 4 SSDs per CLI (und bist Du per WebUI nicht willig...) überreden können, einen Pool zu erstellen (simpel zpool create NVMePool disk1 disk2 disk3 disk4).

... aber leider wird dann die Performance von VM zu VM durch die blöden virtuellen vmxnet3-NICs bei 10Gbit ausgebremst. Nativ alle per passthrough in die Win10-VM gehängt und als Windows-Stripe in einer VM komm ich auf das 8-9 fache. Das tut dann schon irgendwie weh (selbst wenn man's faktisch eh kaum merkt).

Vielleicht bekomm' ich ja doch noch irgendwie mit SR-IOV oder PCIe-passthrough den Netzwerkdurchsatz hochgeschraubt, aber leider ist die Solarish-Unterstützung von Mellanox in Sachen Treiber eher bescheiden... :( FreeNAS ist leider auch verbugged in der Hinsicht, und ohne ZFS kann ich auch gleich 'nen windows-stripe nehmen... Große Hoffnungen oder neue verrückte Ideen habe ich dazu leider nicht mehr.
 
Upvote 0 Downvote
Bisher ist die Performance auch über mehrere hundert GB Copyjob (von zwei Quellen auf das neue Stripe-Laufwerk) halbwegs stabil: immer wieder ~1,5GB/s in der Spitze bei großen Dateien - die Schwankungen kommen eher daher, dass da auch ein Haufen kleine Dateien dabei sind:

Offenbar limitiert auch die 660p - mehr als 1,08GB/s bekommt die lesend wohl nicht hin, selbst als der andere Job fertig war.

3336
 
Upvote 0 Downvote
Ok... Und ich dachte mit einer USV, 2x NAS und 2 umgebauten LTO Gehäusen von welchen jedes HDDs beinhaltet, welche jeweils die NAS backupen - über eSATA - bin ich schon halbwegs ein Freak.

Das ist echt noch ein weiter Weg bis dahin 🤪
 
Upvote 0 Downvote
"So lange Männer spielen, sind sie gesund." Oder so ähnlich.

Inzwischen ist auch das letzte Mosaiksteinchen eingetrudelt, so dass ich hoffentlich heute Abend den Server fertigmachen kann:

3337

Sieht ja schon eher niedlich aus im Vergleich zu den üblichen Verdächtigen. Soll aber die 180W wegkühlen. Bisserl Sorge mache ich mir noch wegen der Lüfter-Lautstärke. 52dB(A) bei 8400 Umdrehungen ist schon eine Ansage. Ich hab' hier schon vorsichtshalber einen Noctua NF-A6x25 PWM liegen - muss dann mal beobachten, wie sich die Temperaturen so entwickeln: der packt ja max. 3000RPM bei ca. 20dB(A) - immerhin wird der ja von 3x120mm in der Mitte und 2x 80mm hinten noch unterstützt...

Zur Not - und wenn's räumlich passt - schnall ich noch einen weiteren 60er hinten dran für push/pull - dürfte immer noch leiser sein als das Stock-Monster.

Bonusfeature: die Befestigungsschrauben sind beweglich, so dass man den Kühler auch um 180° gedreht verbauen kann. Da könnten sich Noctua & Co. mal ein Beispiel nehmen...
 
Upvote 0 Downvote
Ich hätte es ja eigentlich besser wissen müssen, aber ich musste ja unbedingt selbst nochmal einen 2U-Kühler ausprobieren: der Stock-Fan ist tatsächlich viel zu laut und selbst zwei 60er Noctuas bekommen die CPU nicht gebändigt. Geht z.T. selbst mit allen 7 Quierlen (3x120, 2x80, 2x60) bei 100% rauf auf 90 Grad - wobei ich mir leider nicht sicher bin, ob da das Offset (27 Grad?) noch runter müsste - dann wrs ja grad so noch ok.

Wird halt wohl wieder der: https://geizhals.de/supermicro-snk-p0064ap4-a1872156.html?show_description=1

Der Bruder für 3647 mit nem 90er Noctua reichte für den 4108, vielleicht dann auch für den 1920x.
 
Upvote 0 Downvote
Geiles Projekt! Hat mich angestachelt, endlich mal nen "gescheites" Heimnetz (im Rahmen meiner finanziellen Möglichkeiten) einzurichten, wenn wir hier bald die Bude umbauen... ich sehe ein 19" Rack mit Patchfeld, Switch, kleinem Fileserver usw. :love:

Grüße!
 
Upvote 0 Downvote
Freu mich, wenn's interessant ist bzw. "inspiriert". :D
 
Upvote 0 Downvote
Geht heute oder zumindest die Tage wieder weiter: die nötigen Komponenten sind eingetroffen und ich habe nun die Qual der Wahl, wie ich das Mütchen meines Hauptservers kühle - ganz klassisch mit dem SNK-P0064AP4 (ggf. mit Noctua-Lüfter statt dem originalen) oder doch ganz anders...?

...von Watercool sind halt heute auch noch ein paar Teile angekommen...
 
Upvote 0 Downvote
Ist das ganze mehr eine Spielerei, oder hast du auch ein "sinnvolles" Anwendungsszenario für die Server?
 
Upvote 0 Downvote
Der Hauptzweck ist „über jeden Zweifel erhabenes Storage“ als zentraler Datenspeicher für die ganz verschiedenen Nutzungen von mir und in der Familie. Dazu gehören eben der Hauptserver und ein doppeltes Backup-Konzept (in Form eines Backup-Servers sowie extern gelagerter Backup-Datenträger).

Was die Sache etwas komplizierter macht, ist der Umstand, dass ich nicht einsehe, einen großen Teil meiner wirklich platzfressenden Daten - die daher auf recht vielen HDDs liegen - auch 24/7 verfügbar zu halten. Da ist mir der Stromverbrauch (Spindown hin oder her) zu hoch und schon allein die Anzahl der dann unterzubringenden Datenträger eine gewisse Herausforderung darstellt. Dafür hab ich also noch eine eigene Kiste (das Datengrab in der Signatur), die aber wirklich fast immer aus ist. Perspektivisch will ich die mal mit dem Backup zusammenführen. Ist halt „historisch gewachsen“... ;)

Zweite wichtige Komponenten sind ein sauberer Zugang von außen per VPN sowie eine Firewall für die Trennung der verschiedenen Geräte- und Nutzertypen im Haus - die sind bei mir auf 3 physisch getrennte Netzwerke verteilt und die Firewall in der Mitte regelt wer was wo darf. Es sollen eben noch lange nicht alle alles im Netz dürfen. Und natürlich soll bitte auch möglichst niemand aus dem Netz an unsere Geräte.

Diese drei Dinge (Storage, VPN, Firewall) müssen einfach zuverlässig 24/7 funktionieren.

Daneben gibt es dann bestimmte Dienste, die nicht ganz so wichtig sind: diverse Familienmitglieder spielen gerne Minecraft. Damit das jeder fröhlich unabhängig vom anderen aber auch immer gerne miteinander und mit verschiedenen Mods kann, gibt es halt einen Minecraft Server. Da hat jeder mindestens eine eigene Instanz (wo sie/er „Admin“ ist und anderen nach Gusto Rechte geben kann) sowie ein, zwei gemeinsame Instanzen wo quasi jeder Admin ist.

Gesabbelt wird dann fröhlich über Teamspeak, der z.B. auch von außen (ohne VPN) erreichbar ist für den Austausch mit Freunden & Co. Praktisch: gibts ja auch Mobile-Clients für, kann man sich also auch von unterwegs einklinken.

Und dann kann man über VMs natürlich schön und recht gefahrlos auch mal Sachen ausprobieren, Tools installieren usw.

Das geht alles im Zweifel auch in schmalerer Aufstellung. Da ich aber beim Storage nur sehr eingeschränkt zu Kompromissen in Sachen Zuverlässigkeit, Datenintegrität, Datensicherheit und „Schutz vor (eigener) Dummheit“ bereit bin, war ich sehr schnell bei „Enterprise Grade“ Hardware-Standards, was dann erstaunlicherweise gar nicht soooooo teuer ist, und war auch positiv überrascht, dass sich auch auf der Softwareseite vieles aus dem Enterprise-Regal - natürlich in abgespeckter Fassung aber eben für @home völlig ausreichend - kostenlos realisieren lässt (ESXi, Hyper-V, Sophos UTM, Solarish mit OmniOS & Co.).

Ich fuchse mich auch lieber einmal ein und setze den Krempel so auf, dass ich im Betrieb möglichst wenig machen muss bzw. die Dinge dann nach immer gleichen Schema locker durchgehen: das live-Storage scrubbed & snapshottet sich regelmäßig und heilt sich ggf. selbst (wenn da was war, bekomm ich Nachricht), das Backup wird nach Bedarf ab und an mal manuell hochgefahren, repliziert zuverlässig das live-Storage lokal und bei Bedarf auf den externen Datenträger, und das war’s eigentlich auch schon. Die letzten Wochen war ich mal wieder etwas aktiver am Basteln, davor hatte der Mainserver Uptimes von weit über 200 Tagen am Stück und wenn ich nicht gebastelt hätte wäre der eben auch locker 3 Jahre durchgelaufen.

Der ganze GPU-Krempel ist aber primär Spielerei und nice to have bzw. Testumgebung. Hintergrund dafür ist vor allem die Idee, irgendwann auch noch den Desktop abschaffen und in den Server integrieren zu können. Da fehlen mir aber im Zweifel bei meiner aktuellen Hardware aber leider auch wieder die PCIe-Slots, denn da bräuchte ich mal locker 5: GPU (16x), HBA (16x), NIC (16x), NVME (16x mit 4/4/4/4 Bifurcation) und USB (1x). Und ich hab auch noch nicht getestet, ob die TRX40-Bretter wirklich ECC können.
 
Upvote 0 Downvote
Um antworten zu können musst du eingeloggt sein.
Oben Unten