Userreview Homelab "Worklog"

Besterino

Urgestein
Mitglied seit
Jul 22, 2018
Beiträge
6.671
Bewertungspunkte
3.265
Punkte
112
Ich habe über's Wochenende mal ein schon länger angedachtes Vorhaben umgesetzt. Ziel war es, die technische Basis von meinem Hauptserver und Backup-Server umzukrempeln. Die Hauptkiste soll zukünftig ein Threadripper 1920X auf einem AsrockRack X399D8A-2T sein und der bisherige Hauptserver zukünftig als Backup herhalten. Da ich der AMD-Plattform (und AsrockRack) zunächst etwas skeptisch im Hinblick auf "Zuverlässigkeit als Dauerläufer" gegenüber stand, hab ich mir etwas mehr Zeit als üblich gelassen und die - für mich neue - AMD-Welt vorher erst einmal ausgiebig getestet.

Der Hauptserver sah zuletzt vor der Umbauaktion wie folgt aus:
CPU: Xeon Silver 4108
Mainboard: X11SPi-TF
RAM: 96GB regECC
Storage (SSD-only): 7x1TB, 5x256GB, 2x120GB, 1x32GB (SuperDOM) (alle SATA), 1x256GB (NVME)
PCIe-Karten: 9305-24i (HBA), Mellanox ConnectX-4 Dual 100Gbit (NIC), Quadro P400 (GPU), PCIe-HostCard (USB3)
Gehäuse: InterTech 4U-4416
OS: ESXi6.7
8 VMs: Solaris 11.3+Napp-IT (Storage); SophosUTM (Firewall); Win10 (GPU-/USB-Passthrough, "Surfen"), 2x APCUPSD (USV-Steuerung), Minecraft, VPN (gesondert zur Firewall), Teamspeak

Die Backup-Kiste war der hier:
CPU: Xeon E3-1225 (v1)
Mainboard: Intel S1200BTLR
RAM: 32GB ECC UDIMM
Storage: 8TB HDD, 256GB NVME
PCIe-Karten: Emulex OCE14102 10Gbit (NIC), PCIe-HostCard (USB3)
Gehäuse: InterTech 2U-2098-SL
OS: ESXi 6.5U1
VMs: Solaris 11.4+Napp-It (Storage); Test-VMs

Außerdem ist irgendwie mein "Pseudo-Rack" insgesamt auch wieder verstärkt in Unordnung geraten, da muss auch mal wieder aufgeräumt werden.

Von der Seite geht's ja noch:

3323

Von hinten dann schon weniger:

3324

(Hauptserver ganz unten, Backup 2. von oben, das Threadripper-System als zukünftiger Server im schwarzen Case ganz oben)

Ziel war also eigentlich "nur", das TR1920x-System und Hauptserver-System ins jeweils andere Gehäuse zu verpflanzen, bisserl weitere Hardware neu zu verteilen und das alte Backup-System auf den ehemaligen Hauptserver zu verfrachten. Da ja alle Server bei mir virtualisiert mit ESXi laufen, eigentlich gar nicht so schlechte Startbedingungen...

Also die drei Kisten schnell abgestöpselt...

3325

...geöffnet...

3326

...und entkernt:

3327

Bevor ich loslegen wollte, wollte ich natürlich alle produktiven VMs vorsichtshalber noch einmal "wegkopieren". Nur für den Fall der Fälle. Dabei stellte sich dann heraus, dass leider eine virtuelle Disk ausgerechnet der Storage VM (nur mit dem VM-OS) reproduzierbar und hartnäckig Lesefehler warf, und sich schlicht nicht kopieren ließ. Das gleiche Problem hatte ich noch bei einer zweiten (längst ausgemusterten) VM/VirtualDisk auf dem gleichen Datenträger und ich vermute daher, die zugrunde liegende SSD (Sandisk) hat einen weg. Ist im laufenden Betrieb nicht aufgefallen. Aber im Ergebnis nicht so schlimm, da ich meine zentrale Storage-VM redundant ausgelegt hatte, mit 2 virtuellen Disks im Mirror auf zwei unterschiedlichen Datenträgern...

Ferner stellte sich heraus, dass die (wirklich bescheuerte) 256GB Intel 600p, die ich im Backup-System hatte, noch zickiger ist, als gedacht. Jedenfalls stellte sich heraus, dass das blöde Ding nicht mit dem Supermicro-Board wollte (weder im m.2-Slot, noch mit Adapter). Also musste ich da etwas umdisponieren und die Backup Storage-VM auf einen anderen Datenträger umziehen.

Inzwischen rennt alles erst einmal wieder, inklusive Backup.
(Einen defekten Datenträger in einem Mirror kann man unter Solaris zum Glück easy austauschen, selbst wenn das OS darauf liegt. Ein paar knackige Befehle (im Spoiler) und schon resilvert Solaris brav die komplette Disk - und die neue Disk ist auch sofort bootfähig!)

Beispiel: Disk unter "c1t0d0" physisch & logisch austauschen:
Code :
# zpool offline rpool c1t0d0
# cfgadm -c unconfigure c1::dsk/c1t0d0
<Physically remove failed disk c1t0d0>
<Physically insert replacement disk c1t0d0>
# cfgadm -c configure c1::dsk/c1t0d0
# zpool replace rpool c1t0d0
# zpool online rpool c1t0d0
# zpool status rpool

Insgesamt hat sich die Virtualisierung aber bei diesem Umzug schon sehr positiv ausgewirkt: Der neue ESXi auf neuer Plattform ist innerhalb von ca. 20 Minuten aufgesetzt. Da die wesentlichen Datenträger (mit den VMs und ihren virtuellen Disks) ja bleiben wo sie waren, einfach flugs die VMs wieder registriert und ab die Post. :D Kleine Anpassungen wg. Passthrough (die Geräte muss man im Zweifel nochmal in den VMs entfernen und neu hinzufügen) musste ich noch vornehmen und ich muss auch noch die 2 USV-VMs anpassen, damit die im Falle eines Falles auch die richtigen Rechner beim Stromausfall herunterfahren... ;)

Bilder gibt's von den neuen Configs noch nicht, da ich aktuell noch auf ein, zwei Teile warte, bis ich den Umzug als "abgeschlossen" bezeichnen kann. ;) So gefällt mir z.B. der Umstand noch nicht, dass mein Kühler auf dem TR nur um 90° gedreht montiert werden kann und auch an die Datenträger-Situation / Storage-Pools will ich noch einmal ran.

Der Hauptserver hat im Übrigen zurzeit grds. noch die gleiche Hardware wie vorher, allerdings ist die Quadro P400 rausgeflogen und eine TitanXp eingezogen (jetzt kann jemand auf dem Server auch noch nebenher in WQHD zocken :p), außerdem hab ich ESSXi auf den aktuellen Stand gebracht:

CPU: TR 1920X
Mainboard: AsrockRack X399D8A-2T
RAM: 64GB ECC UDIMM (mal schauen, ob ich noch was finde)
Storage (SSD-only): [to come]
PCIe-Karten: 9305-24i (HBA), Mellanox ConnectX-4 Dual 100Gbit (NIC), TitanXp (GPU), PCIe-HostCard (USB3)
Gehäuse: InterTech 4U-4416
OS: ESXi6.7U3b
8 VMs: (wie zuvor) Solaris 11.3+Napp-IT (Storage); SophosUTM (Firewall); Win10 (GPU-/USB-Passthrough, "Surfen & Daddeln"), 2x APCUPSD (USV-Steuerung), Minecraft, VPN (gesondert zur Firewall), Teamspeak
;)
 
Zuletzt bearbeitet :
Kurzes Update: habe herausgefunden, dass die Heatkiller 100er Tube in der DDC-Version einschließlich DDC-Pumpe 1a stehend in ein 4HE Gehäuse passt... hab da noch nichts gebaut, aber es juckt in den Fingern...
 
...und wenn's juckt, soll man sich kratzen... oder so ähnlich.

Vorab: Man was für ein beschi**ene Frickelei. Natürlich ist der ursprüngliche Plan nicht aufgegangen: eigentlich wollte ich einen 360er und einen 160er (dual 80) Radi verbauen. Der 160er Radie passt aber nicht - trotz Trickserei-Versuchen: das dämliche Netzteil ist im Weg, mir fehlen 2-3mm. Mit 'nem SFX würde es vermutlich passen, aber ich hab (natürlich) ein ATX drin.

Kotz.

Ansonsten war der Ein- und Umbau auch alles andere als spaßig: irgendwie dachte ich, ich hätte in einem 19"-Rackgehäuse mehr Platz.

Aber Bilder sagen mehr als 1000 Worte!

Als erstes natürlich muss der Luftkühler runter, die CPU vom üblichen Schmodder befreit werden und die Graka raus.

3739

Chaos. Aber Wasserblock sitzt schonmal.

3740

Da die Lüferhalterungen des Gehäuses keinem Standard folgen, kann man den Radi nicht gescheit festschrauben. Also kam wieder die Tesa-Klett-Wunderwaffe zum Einsatz. Großzügig Befestigung vorbereiten (man beachte bitte die sorgsam geschnippelten schwarzen "T's"):

3741

Probesitzen. Was für ein quälender Kampf! Musste mehrmals die Schlauchführung und die Platzierung der sonstigen Komponenten ändern, damit ich alles halbwegs unterbekomme.

3742

So sieht's aktuell aus.. Insgesamt und final sind 2x Schnelltrenner (die guten aber nicht gerade "kleinen" von Bitspower), ein Aquacomputer High Flow (non USB), ein Watercool Heakiller Tube 100 mit ner Watercool Laing DDC PWM, ein Temperaturfühler, 6x NF-A12x25 PWM, 2x NF-A8 PWM und ein Quado zur Steuerung des ganzen Summses verbaut.

3743

Verdammt eng da. Aber passt und nix gequetscht.

3744

Den Durchflussensor hab ich so halb unter'm Radi versteckt. Der ist noch nicht Tesa-Klett-fest, daher sorgt erstmal ein Stück Schaumstoff für den nötigen Halt.

3745

Und hier noch ein Blick auf die Elektronik. Wenn das alles so klappt, wie ich mir das vorstelle, steuere ich den Quadro mit der Windows-VM auf dem Host. :D

3746

Die Graka habe ich vom Gehäuse-Rand weiter in die Mitte versetzt, damit sie besser Luft bekommt. Dafür mussten NIC und HBA ebenfalls umziehen. Aber jetzt will die Kiste die dämliche USB-Steckkarte irgendwie nicht mehr finden. Ich hasse USB-Steckkarten!

Jetzt muss ich erstmal wieder Steckkarten umstecken, in der Hoffnung, dass ich eine Konfig finde, in der die Kack-USB-Karte wieder funktioniert.

Wär' ja sonst auch zu einfach.
 
Hab's übrigens jetzt hinbekommen. Server ist wieder up & running. GPU-VM faltet auch wieder. :)

Bisheriges Zwischenergebnis: die GPU ist zu laut. Und zu heiß. :p Wenn die faltet, ist die fast permanent bei 85° und im Templimit. Das wärmt dann auch die anderen Komponenten extrem auf (die Transceiver der NIC z.B. kann man kaum anpacken), so dass ich die 120er Lüfter auf 100% laufen lassen muss.

Dafür kann man in der VM hübsch mit der Aquasuite die Lüfter steuern und muss das nicht über das behämmerte Bios mit seiner echt dämlich-komplizierten Lüfter-Steuerung machen:

3747
 
Nice. Ich versuche gerade, einen Kabini A4-5000 mit Ubuntu ans laufen zu kriegen, den ein Kollege vor Urzeiten mal aus dem Elektroschrott gefischt hat. Grundsätzlich laufen tut das Teil, aber irgendwie muss ich da noch OpenCL drauf kriegen, damit Folding auch auf der integrierten Grafik arbeiten kann. Davon abgesehen, dass außer meinem Server bisher kein Gerät eine ID bekommt und damit auch keine WUs.
 
Da ich inzwischen echt einen gewissen Faible für 19"-Gehäuse hab, gibt's noch ein wenig Nachschub. Selbst billige 19"-Dinger sind irgendwie gerne mal wertiger und einfach "praktischer" als so manch teurer(er) Normalo-Untersatz. Weiterer Vorteil: man gibt kein Geld für BlingBling (Sichtfenster, RGB, Lüftersteuerung blablabla) aus, das mich einfach nicht die Bohne interessiert aber eben doch häufig zwangsweise mitbezahlt werden muss.

Also hab ich mir mal das (fast) billigste und gleichzeitig noch recht flexibel einsetzbare 19"-Ding mit schön großen 120er Lüftern in der Mittelbank gekooft, was ich finden konnte. Konkret: das 4129-N von Inter Tech für knapp 105 Euro.

Die Bilder bei Geizhals zeigen ja schon viel, daher hier nur ein eigenes vom Innenraum:

3808

Was man aber nicht sieht und nicht unerwähnt bleiben soll: das Case bietet von Haus aus hinter den beiden Frontlüftern Platz für 5x 3,5" HDDs je Seite, die nötigen Schienen für die 10 Drives sind im Lieferumfang dabei.

3809

Ebenfalls dabei ist ein 5,25"-Schlitten für bis zu 4x 2,5"-Laufwerke in der Mitte.

3811

3812

Nun hatte ich zuuuuufällig noch so einen 3x3,5"-in-2x5,25"- Käfig... da ich von Natur aus faul bin und keine Lust habe, nur weil ich mal ein paar Festplatten testen/einbauen/ausbauen/sonstwas anstellen will, das Ding insgesamt aufmachen zu müssen, kam der halt noch schnell rein. Schadet ja nicht und füllt den bisher leeren Platz als... ja, als wäre es dafür gemacht. ;)

3813

3814

Aber interessant ist ja eigentlich etwas ganz anderes: ich hatte ja wegen des ATX-Netzteils in meinem Server (siehe oben) keinen 2x80er Radi hinten reinbekommen. Außerdem lässt sich die komplette Mittelbank rausnehmen (10 Schrauben, fertig). Mit einem SFX-Netzteil passt dann alles und der neu geschaffene Innenraum bietet deutlich komfortableren Platz für diverse Spielereien... und erstes Probesitzen des 2x80ers mit PSU. Allerdings muss ich immer noch ein bisserl tricksen, denn die SFX-auf-ATX-Blende (auch Silverstone) muss ich um Platz zu gewinnen "verkehrt herum" einbauen, so dass ich sie nur mit 3 Schrauben am Gehäuse befestigen kann (Schraube unten links fehlt):

3815

Aber so verliert man quasi die beiden oberen PCIE-Plätze. Also mal flugs den Radi umgedreht und da Wasser(anschlüsse) so nah am Netzteil bei mir doch immer noch für ein mulmiges Gefühl sorgen, hab ich das Netzteil auch gleich ebenfalls umgedreht. Die Lüfter gehören eigentlich auch noch gedreht, dass die Kabel nach unten weggehen. Mal schauen, bin noch unschlüssig.

3816

Radi passt neben Netzteil wir Arsch auf'n Eimer, der Spalt hat ca. 1mm:

3817

Was genau da rein kommen soll, weiß ich allerdings auch noch nicht...
 
Danke! :D Aber wieso eigentlich? Das Gehäuse ist m.E. topp funktional, und für den Euro bekommt man - je nach Präferenz - ggf. deutlich mehr als bei den gaming-super-duper-sonstwas Herstellern. In Sachen Kühlung dürfte das auch diese ganzen möchtegern-Airflow-Wunder in den Schatten stellen und weil die Haupt-Lüfter mittig/hinten sitzen sogar lautstärkemäßig recht gut weg kommen. Ok - zugegebenermaßen allerdings definitiv NICHT mit den Stocklüftern... :p

Nunja, ich hab da vorne aktuell 2 3000er Noctua Industrials drin, die gehen laut Specs bis auf 750RPM runter. Lautlos wird das wohl nicht werden, aber vielleicht braucht's die ja gar nicht... ;)
 
Zuletzt bearbeitet :
Na gut. Fair point. Schaue gerade nach 3647er Blöcken...
 
Guckstu:
 
Hatte ich erst auch überlegt und zweifele jetzt eher: der hat nur 3 G1/4 Gewinde und zwar oben drupp. Die restlichen (alle seitlichen) sind G1/8.

Brauche übrigens Narrow ILM.

Dafür gibt’s dann - wenn man sich eine flache (1U) Option offen halten will eigentlich nur noch den Alphacool. Bei dem steht aber auf der Homepage „Aluminium Deckel“ - das wäre dann auch ein Nogo: https://www.alphacool.com/eisblock-xpx-pro-u1

Da das bei der Shop-Beschreibung aber nicht steht, hab ich mal im Forum bei denen nachgefragt. @Alphacool: falls ihr hier mitlest, dürft ihr natürlich auch gerne hier antworten... ;)

Bei dem mag ich auch das Befestigungsystem mit den Klammernnicht so. Dafür mit Abstand der preiswerteste.

Am besten sieht ja der Bitspower aus: https://geizhals.de/bitspower-summi...n-bp-cpunlga3647-sl-a2239294.html?hloc=de&v=e

Aber der hat gar keine seitlichen Ein- oder Ausgänge. :(

Alles nicht so einfach.
 
Muss mein Glück schonmal mit Euch da draußen... äh...drinnen, jeder bei sich halt... achwie auch immer ;)... teilen: konnte heute endlich den über die Woche eingetrudelten Kram abholen:

1x Alphacool XPX Pro U1
1x Watercool Heatkiller Tube 100 DDC mit Multitop
1x Watercool DDC PWM
1x Watercool HTSF2 3x120 LT

LEIDER arbeitsbedingt heute wohl keine Zeit mehr für Spielereien oder auch nur Bilder. :( Kommt aber, versprochen! Beides. ;)
 
Wer lange arbeitet darf auch spät noch frickeln...oder so.

Gruppenbild.

3859

Als erstes mal die Pumpe. Die DDC ist echt schnuckelig klein. Allerdings brauchen wir von dem Gedöns nur einen Teil...

3860

Die vier Schrauben auf der Unterseite müssen weg.

3861

Denn ich brauche nur das Eingemachte:

3862

Und hier soll das nämlich rein. Bin immer wieder begeistert von dem Teil. Fühlt sich gut an, sieht gut aus, einfach ein super Teil.

3863

Das Unterteil muss zum Einsetzen der Pumpe nur schnell abgeschraubt werden...

3864

...Pumpe einsetzen (passt wie an... äh... eingegossen)...

3865

...fertig ist AGB mit integrierter Pumpe.

3866

...weiter geht's (wegen der Bilderbeschränkung) pro Post im nächsten...
 
Auch hübsch: Radi von Watercool - die können nicht nur Monster (MoRa) sondern auch normal.

3867

Hier die 3x120er LT Ausführung.

3868

Auch ein schöner Rücken kann entzücken.

3869

Nur das mit den parallelen Kühlfinnen üben wir nochmal. Da wird einem ja schwindelig vom Hinschauen. Da aber die Kühlungleistung wohl nicht leiden wird, egal (aber schon bisserl "meh").

3870

Auch die Anschlüsse wirken etwas rustikal. Oder positiv: "Industrielook". Außerdem recht ausladend, da finde ich innen liegende Gewinde schon schöner / praktischer / besser.

3871

Lüfter-Montage-Check: ausreichend Spiel zwischen Schraube und Kühlfinnen - jedenfalls bei den 25er Lüftern (hier: Chromax)

3873

Der Kühlblock. Anschlussoptionen satt (und alle G1/4 wie sich das gehört)! Nebenbemerkung: vielseitig einsetzbar ist er auf alle Fälle - alles dabei für Sockel 2011/2066/3647/TR4/SP3.

3872

"Anprobe Nr. 1". So stell ich mir grob den Kreislauf vor:

3874

"Anprobe Nr. 2": Dichtigkeitstest und Spülung aller Komponenten (vor allem der Winkel). Der Filter ganz oben im Bild (mit den zwei goldenen Schnelltrennern) wird final nicht verbaut, der soll nur jetzt etwaige Späne & Co. rausfiltern. Dann kann ich die Flüssigkeit nämlich wieder verwenden. Das weiße Papier unter den Teilen lässt etwaige Lecks / Wasserflecken leichter erkennen.

3875

Auch die Schläuche sind nicht die, die final verbaut werden. Sind Reste aus der Grabbelkiste und vor allem kommen die durchsichtigen nicht zum Einsatz. Aber im Testloop kann man damit ganz gut sehen, wie beim Befüllen so der Stand ist ob sich ggf. irgendwo Blässchen bilden (Lecks).

Jetzt muss ich mir nur immer noch überlegen, welche Hardware...
 
Ich hasse es/mich. Der von mir jetzt für das 19“ Case auserkorene Build hat ein Mainboard mit 2xEPS12V (bzw. 2xATX4+4). Dreimal dürft Ihr raten, wie viele mein SFX Netzteil mitbringt... genau. Einen. Also wieder nix mit dem Dual 80er Radi, da jetzt wieder das ATX-Netzteil ran muss, was die hat - und dann passt der Radi wieder nicht mehr.

Aber toll, dass ich dafür extra diverse Kisten schon zerlegt hab und dabei nur knapp an einem Totalverlust dank Wasserbad vorbeigeschrammt bin...

Sorgfältige Planung ist das halbe Leben, ich muss halt mit der anderen Hälfte auskommen.
 
Aber so kleine Rückschläge halten uns ja nicht auf. Dementsprechend habe ich jetzt auch umdisponiert, aufgeräumt und alles wieder zusammengebastelt.

Naja. Fast alles. Mir fehlt noch ein Kabel um im zweiten Server auch den Durchflusssensor an den Quadro zu hängen.

Ansonsten bin ich eigentlich ganz zufrieden, der Kabelsalat ist auch weniger geworden - bzw. zumindest weniger Salat wenn auch nicht weniger Kabel.

Von unten nach oben:

Stromversorgung
Intertech 4129-N mit TR-System (Backup-VM, Folding-VM) - wassergekühlt
Intertech 4416 mit XeonSP-System (Hauptserver) - wassergekühlt
Supermicro SC836 mit Pentium-System (Datengrab - Cold Storage)
Intertech 2098-SL mit XeonE3V1-System (Bastelkiste, kommt demnächst woanders hin)
Silverstone CS-350 (zurzeit leer)

3931

3932

Bilder vom Innenleben der neuen Kiste mach ich dann, wenn das Kabel da ist. Die ist mir aber deutlich besser (aufgeräumter) gelungen, als die erste. ;)
 
Oben Unten