Userreview Ein Homeserver...mit 100Gbit Netzwerk und verschiedenen Faxen mehr...

Besterino

Urgestein
Mitglied seit
Jul 22, 2018
Beiträge
5.505
Punkte
112
Hatte ich schon länger überlegt, aber jetzt nachdem ich konkret danach gefragt wurde, mach's ich halt mal: ich stelle hier mal meinen Homeserver vor.

Damit wir uns nicht falsch verstehen: der Server hat mit "braucht man das?" nichts mehr zu tun. 100Gbit beispielsweise braucht zu Hause kein Mensch, über den Sinn von 10Gbit kann man zu Hause auch schon/schön streiten. Auch einen vollwertigen Desktop als virtuelle Maschine mit eigener Graka und Peripherie wird wohl kaum jemand nutzen (wollen). Aber das ist ja das Schöne an so einer Maschine: sie bietet viele Möglichkeiten für ganz individuelle Bedürfnisse.

Man kann das auch alles ganz anders umsetzen, mit anderen Komponenten und auch noch deutlich professioneller. Für mich galt es eben, einen (für mich) guten Kompromiss aus Performance, Lautstärke und Budget zu finden. Hab viel ausprobiert, damit bin ich inzwischen recht happy.

Beginnen wir mit der Hardware, ich werde auch gleich ein wenig dazu schreiben, warum ich mich für diese Komponenten entschieden habe.


Hardware

Gehäuse: Intertech 4U-4416
Warum: Recht günstiges 19"-Gehäuse für 16x3,5", recht leiser Betrieb möglich dank 3x120mm Lüfter in der Mitte, leises ATX-Netzteil möglich (allerdings zu Lasten der Redundanz), bietet zusammen mit den beiden Delock 2,5"Einschüben eine hohe Laufwerk-Packungsdichte für 16+12=28 Datenträger inkl. von außen zugänglich und hot swap fähig.

CPU: Intel Xeon Silver 4108 (8/16 Kerne/Threads bei 1,8/3.0GHz, 48 PCIe Lanes)
Warum: Ich brauche PCIe-Lanes (siehe unten zu den PCIe-Steckkarten). Die Einstiegsplattform (seinerzeit E3) hat einfach nicht genug. Der 4108 ist der kleinste aus der Silver-Reihe, theoretisch geht auch Bronze, aber ich hab den Silver sehr, sehr, sehr günstig geschossen und 8 Kerne sind halt auch mehr als 6... ;)

CPU-Kühler: Supermicro SNK-P0070APS4, aber mit Noctua NF-A9 PWM
Warum: war damals der einzige für Sockel 3647 verfügbare mit Lüfter-Halterung. Würde mir jetzt wohl auch die Noctuas für den Sockel mal näher anschauen.

Mainboard: Supermico X11SPi-TF (insb. 2x10Gbase-T)
Warum: Preiswertes Mainboard für Sockel 3647, 2x 10GBase-T Ports onboard (wollte ich haben, kostet deutlich weniger Aufpreis als eine separate NIC), Supermicro-Qualität, IPMI-Fernwartung (wer sowas einmal hatte, will das nicht mehr missen).

Netzteil: bequiet! Pure Power 10 600W
Warum: Leise & zuverlässig (genug).

RAM: 2x 32GB reg. ECC Samsung
Warum: mit 8x32GB kann ich auf 256GB RAM kommen, ohne Riegel austauschen zu müssen (VMs lieben RAM, insbesondere Solaris...).

PCIe1: NIC Mellanox ConnectX-4 VPI Dual-100Gbit QSFP28 (Glasfaser)
Warum: Günstig geschossen. Bin Netzwerk-Spinner. Rockt.

PCIe2: GPU PNY Nvidia Quadro P400
Warum: für Spezial-VM als "Desktop im Server" (für direkten Monitor-Anschluss)

PCIe3: NIC Broadcom Emulex OCE14102 Dual-10Gbit SFP+ (Glasfaser)
Warum: Alle Server und einige Desktops laufen bei mir mit 10 Gigabit. Netzwerk-Spinner halt.

PCIe3: HBA Dell Perc H200 (crossflashed LSI IT-mode)
Warum: befeuert alle wesentlichen Datenträger, zusammen mit dem Expander (s.u.) eine Karte für aktuell max. 22 Datenträger (16+6). Wichtig für die Solaris-VM.

PCIe4: USB3 Sedna 4-Port PCIe Adapter
Warum: für Spezial-VM als "Desktop im Server" (für direkten Anschluss von Sound, Keyboard + Maus)

Gehäuse-Erweiterung 1: 2x Delock Wechselrahmen 6x2,5" in 5,25"
Warum: bieten Platz für zusammen 12x2,5" - mehr geht nicht pro 5,25"-Schacht.

Gehäuse-Erweiterung 2: Intel 36-Port SAS Expander RES2CV360
Warum: Das Intertech-Gehäuse bringt keine eigene Expander-Backplane mit. Schon um die 16 3,5"-Schächte zu versorgen, braucht man also irgendwoher 4xSFF8087 SAS Anschlüsse. Dieser ist ein stand-alone Expander (frisst keinen PCIe-Slot für Stromversorgung o.ä.); etwas teurer als die Slot-Expander, dafür aber universell(er) einsetzbar; versorgt bis zu 28 (über 4 SAS-Lanes) bzw. 24 (über 8 SAS Lanes) Datenträger.

Lüfter: 3x Noctua NF-F12 industrialPPC-3000 PMW, 2x Noctua NF-A8 PWM (also alle Intertech ersetzt)
Warum: leiser als die mitgelieferten Quirle.

USV1: APC Smart UPS C1000
Warum: wer seine Daten liebt und faul ist, schützt sich - hier der Hauptserver.

USV2: APC Back UPS ES 700
Warum: wer seine Daten liebt und faul ist, schützt sich - hier der Backup-Server.

Laufwerke: ein großer Haufen Haupt-Datenträger, ändert sich aber gerade mal wieder. Dazu noch ein paar SSDs als Speicherplatz für VMs.


Software
Kommen wir nun zu dem, was auf der Hardware rennt. Zurzeit laufen dauerhaft 8 virtuelle Maschinen (VMs) unter dem Hypervisor von vmWare (ESXi).

Haupt-OS: ESXi 6.7
Warum: Professioneller Hypervisor zur Virtualisierung von allem, was man sich nur vorstellen kann. Kostenlos (für meine Ansprüche). Schlank (kleiner Footprint, bootet auf Wunsch von USB). Schnell. Laufen Solaris-VMs. Man kann PCIe-Geräte exklusiv an VMs durchreichen (s.u. zur NAS-VM und Desktop-VM).

Ausgangsbasis für alles ist ein sicheres Datengrab. Da liegen die Fotos der Familie (auch als Backup selbst für entferntere Verwandte), Belege für die Steuer und verschiedene weitere Dinge, die nicht verloren gehen sollen. Diese Daten sollen am Ende möglichst sicher sein - sicher vor Verschlüsselungstrojanern, versehentlichem Löschen, Hardware-Defekt (inkl. Blitzschlag) und Fehlbedienung des Admins (also mir). :)

VM1: "NAS"
OS: Solaris 11.3 mit napp-it GUI
Spezielle Hardware: HBA Dell H200 per passthrough durchgereicht
Warum: ZFS, ZFS, ZFS...ach und ZFS. Und dazu noch insb. sensationelle Features rund um NFS, SMB, iSCSI, Rechteverwaltung uvm. Will nichts anderes mehr für meine Daten. So richtig rockt ZFS m.E. halt (noch) nur mit Solaris.

VM2: VPN
OS: CentOS7
Warum: OpenVPN Server. War bei mir schon immer separat. Funzt einfach.

VM3+4: "USV" (mit APCUPSD)
OS: CentOS7
Warum: steuern detailliert das Herunterfahren der Server, inkl. der VMs, die darauf laufen. Die großen USV können das übers Netz o.ä., meine sind zu blöd (billig) und können nur einen PC über USB ansteuern. So kann ich ohne Aufpreis mehrere Rechner pro USV steuern.

VM5: Firewall
OS: Sophos UTM
Warum: Trennung von Server-, WLAN-, Gast- und Familiennetzen, Sonderregeln, Webfilter... ziemlich coole Sache.

VM6: vollwertiger Desktop
OS: Win10 Pro
Spezielle Hardware: Quadro P400 (daran: eigener Monitor/Touchscreen), USB3-PCIe-Karte (daran: USB Soundblaster X-Fi Surround 5.1 Pro, Keyboard, Mouse, Touchscreen),
Warum: ich sitze - notgedrungen - mit meiner Daddelkiste auch im Keller nicht allzuweit vom Server entfernt. Eine zweite Surfbox hatte ich schon immer (um nicht immer aus dem Spiel tasken zu müssen oder einen Film nebenher laufenlassen zu können usw.). Man nehme einen eh laufenden Server, Spieltrieb und das wurde dann die nächste VM... mit eigener dedizierter Grafikkarte, USB-Sound usw. Man könnte sogar drauf zocken (hatte mal zwischendurch testweise eine 1080Ti drin...)

VM7: Minecraft-Server
OS: Ubuntu Server 18.04 LTS
Warum: Die Familie will zusammen Minecraft spielen. Zurzeit in 3 Welten.

VM8: Teamspeak-Server
OS: CentOS7
Warum: liegt wohl auf der Hand.

Zu den komplizierteren VMs (insb. GPU-Passthrough, APCUPSD) habe ich in einem anderen Forum auch jeweils HowTos geschrieben - ich bin aber nicht sicher, wie gut Igor es finden würde, wenn ich dorthin verlinke. Ist jetzt aber zu viel Arbeit, das alles auch noch hierher zu transportieren.

Bilder:

Eine hübsche Frontansicht:

01_.jpg

Die 120er-Lüfterbank in der Mitte:

03_.jpg

Von rechts nach links:
1. Slotblende mit SFF8088, um NOCH MEHR PLATTEN in einem externen Gehäuse anschließen zu können... ;)
2. ConnectX-4 100Gbit
3. Quado P400
4. Emulex 10Gbit
5. Dell HBA H200
6. USB-Karte (nur noch zu erahnen)

Auch noch im Bild: Die Spitze von 'nem USB-Stick

02_.JPG

Rückansicht, wie gerade oben nur jetzt von links nach rechts:

04_.JPG
 
Zuletzt bearbeitet von einem Moderator :

Besterino

Urgestein
Mitglied seit
Jul 22, 2018
Beiträge
5.505
Punkte
112
Ich hab mal wieder rumgespielt... und mit ein bisschen Spaß an der Freude kommen dann ganz witzige Werte raus... :p
Nur mal so: CrystalDiskmark lief auf einem CLIENT übers NETZ auf einer SMB-FREIGABE...

Yeah baby.

100gbit.png
 

Besterino

Urgestein
Mitglied seit
Jul 22, 2018
Beiträge
5.505
Punkte
112
Alles andere wäre ja einfach... :D
 

Besterino

Urgestein
Mitglied seit
Jul 22, 2018
Beiträge
5.505
Punkte
112
Mir ist gerade aufgefallen, dass ich hier gar nicht meine letzten Server-Umbauten verewigt habe… mein TR3960X ist vom Desktop (dafür irgendwas zwischen suboptimal und overkill) in den Server gewandert.


Hier also das schon länger aktuelle System als mein Mainserver, wobei ich das glaub schon mal in der Bastelbude gepostet hatte:

CPU: Threadripper 3960X
Mainboard: ASRockRack TRX40D8-2N2T
RAM: 8x16GB Kingston ECC UDIMM (Mix aus 4x2666 und 4x3200)
HBA: Avago SAS3224 24Port 12GSAS
NIC: Mellanox ConnectX-4 Dual Port (1x 100Gbit, 1x10Gbit mit Adapter) = 8 SRIOV-Devices (4+4)
Netzteil: Seasonic Prime 1300W
Storage:
4x1TB Samsung 980 Pro (PCIE passthrough)
4x2TB ADATA (PCIE passthrough)
2x1TB Samsung PM9A1 (PCIE passthrough)
4x1TB Samsung 860 EVO (RDM)
4x256GB ADATA SATA SSD (RDM)
2x240GB Samsung SM883 (direkter VM Storage)
1x120GB Samsung SM863 (direkter VM Storage)
1x120GB SanDisk SSD (Gerümpel / Spielwiese / Backup)
1x 256GB Samsung 830 (Gerümpel / Spielwiese / Backup)

Kühlung:
Watercool CPU-Block Heatkiller IV
Watercool Heatkiller Tube 100 (mit multitop und DDC-Untersatz)
Pumpe DDC 1Plus T PWM
Aquacomputer HighFlow Durchflusssensor
Aquacomputer QUADRO
HWLabs 360er Radi
Kleinkram (Barrow Fittings / Snake Adapter, Bitspower Schnelltrenner, Watercool EPDM Schlauch)
6x Noctua NF-A12x25 PWM
2x Noctua NF-A8 PWM

15EB6AF4-2ED1-47D0-AABB-5FBB6B1D2E9B.jpeg A80A668F-4670-4FDD-A386-D3ADB97128D5.jpeg

Zu den ursprünglichen VMs sind zwischenzeitlich noch eine Lancache- und eine TrueNAS-VM hinzugekommen. Lancache rockt in einem mehr-Per… äh… -Maschinen-Haushalt. Steam-Downlods & Co. mit 110MB/s kann schon was… aber dummerweise limitiert das Netzwerk dann schon, vor allem, wenn man mehrere Clients gleichzeitig updaten will…

Überlege, mit TrueNAS langfristig Solaris als primäres Storage-OS zu ersetzen. Solaris ist zwar technisch immer noch weit vorne, aber leider gibts bestimmte Faxen (Treiber für Connectx-4) nur für 1.000 Euro pro Jahr (=Support-Vertrag).

Demnächst gibts evtl. nochmal was Neues aus dem Bereich Netzwerk bei mir - das dauert aber noch ein wenig und wird wohl eine etwas größere Bastel-Aktion…
 
Zuletzt bearbeitet :

Besterino

Urgestein
Mitglied seit
Jul 22, 2018
Beiträge
5.505
Punkte
112
EEEEENDLICH!

Ich bin ja vor längerer Zeit von meinem Daddel-Kellerloch in einen etwas behaglicheren Bereich umgezogen. Nachteil: ich hatte irgendwie bei der Planung der Verkabelung vom Keller in diverse Räumlichkeiten nicht antizipiert, dass ich irgendwann mal mehr als CAT7 brauchen könnte...

Als ich dann irgendwann es doch nicht lassen konnte und mal an verschiedenen Kabeln testweise gezuppelt und in diverse Schächte mit der Taschenlamkpe geleuchtet hatte, fiel mir auf, dass das ja Rohre sind...

Tjo, und dann dachte ich mir halt "auf die ISDN-Strecke könnteste ja vielleicht im Falle eines Falles doch verzichten?"...

Also, Kabel bestellt, Hos... äh... Dosen runter und erst mal das ISDN-Kabel mit Draht & MPO-Kabel (12 Fasern) dran nach unten rausgezogen, und mit dem Draht dann am Ende sogar das ISDN-Kabel wieder hochgewürgt...

ISDNweg_Glasdrin.jpg

ISDN_wiederdrin.jpg
Fertig.jpg

Endlich.jpg Funzt.jpg

Das ist nur mal flott zum Testen mein 08/15 Storage, irgendwas mit 4 SATA-SSDs und dank Solaris-ZFS 'nem ziemlich juten Read-Cache...
 

Besterino

Urgestein
Mitglied seit
Jul 22, 2018
Beiträge
5.505
Punkte
112
So, das Chaos im Keller ist endlich auch etwas weniger geworden. Nachdem ich mit meinem Daddelplatz aus dem Kellerloch entkommen war, musste ich zum Glück auch nicht mehr so sehr auf die Lautstärke achten: sowohl die USV als auch einer der Switches ist nicht gerade leise (und ich werde wohl auch noch eine 1U-Lüftereinheit einsetzen, um für etwas mehr Airflow zu sorgen).

Von oben nach unten:

Patchfeld (aus den verschiedenen Etagen)
Aruba Hauptverteiler für Hausgerümpel (48x1GBE+4x10GBE-Glas)
Mikrotik 8x10Gbit-Glas, Core für Server und als Zentrale für alles "Schnellere"
DLink 8x10Gbit-Kupfer, für die ein oder andere schnellere Kiste im Haus.

01_vorläufig.jpg

Jetzt steht die Basis im Netz, um noch mehr Storage von diversen Kisten zentral in den Keller zu verlagern. Für Gaming & Co. müssen für das einfache Fussvolk 1000MB/s halt reichen. ;) Auch reizt mich Deduplication schon lange als Projekt/Spielwiese (bei den ganzen Steam-, Epic, Origin, blablabla-Bibliotheken speichert man ja quasi den ganzen Rotz nicht nur doppelt, sondern u.U. pro Mitbewohner)...

Lancache rockt übrigens immer noch. Wäre ja cool, wenn Dedup auch das berücksichtigen würde... Naja, das ist dann wieder ein Langzeitprojekt, wenn ich das überhaupt je ernsthafter angehe...
 
Oben Unten