Userreview Ein Homeserver...mit 100Gbit Netzwerk und verschiedenen Faxen mehr...

Besterino

Urgestein
Mitglied seit
Jul 22, 2018
Beiträge
6.670
Bewertungspunkte
3.265
Punkte
112
Hatte ich schon länger überlegt, aber jetzt nachdem ich konkret danach gefragt wurde, mach's ich halt mal: ich stelle hier mal meinen Homeserver vor.

Damit wir uns nicht falsch verstehen: der Server hat mit "braucht man das?" nichts mehr zu tun. 100Gbit beispielsweise braucht zu Hause kein Mensch, über den Sinn von 10Gbit kann man zu Hause auch schon/schön streiten. Auch einen vollwertigen Desktop als virtuelle Maschine mit eigener Graka und Peripherie wird wohl kaum jemand nutzen (wollen). Aber das ist ja das Schöne an so einer Maschine: sie bietet viele Möglichkeiten für ganz individuelle Bedürfnisse.

Man kann das auch alles ganz anders umsetzen, mit anderen Komponenten und auch noch deutlich professioneller. Für mich galt es eben, einen (für mich) guten Kompromiss aus Performance, Lautstärke und Budget zu finden. Hab viel ausprobiert, damit bin ich inzwischen recht happy.

Beginnen wir mit der Hardware, ich werde auch gleich ein wenig dazu schreiben, warum ich mich für diese Komponenten entschieden habe.


Hardware

Gehäuse: Intertech 4U-4416
Warum: Recht günstiges 19"-Gehäuse für 16x3,5", recht leiser Betrieb möglich dank 3x120mm Lüfter in der Mitte, leises ATX-Netzteil möglich (allerdings zu Lasten der Redundanz), bietet zusammen mit den beiden Delock 2,5"Einschüben eine hohe Laufwerk-Packungsdichte für 16+12=28 Datenträger inkl. von außen zugänglich und hot swap fähig.

CPU: Intel Xeon Silver 4108 (8/16 Kerne/Threads bei 1,8/3.0GHz, 48 PCIe Lanes)
Warum: Ich brauche PCIe-Lanes (siehe unten zu den PCIe-Steckkarten). Die Einstiegsplattform (seinerzeit E3) hat einfach nicht genug. Der 4108 ist der kleinste aus der Silver-Reihe, theoretisch geht auch Bronze, aber ich hab den Silver sehr, sehr, sehr günstig geschossen und 8 Kerne sind halt auch mehr als 6... ;)

CPU-Kühler: Supermicro SNK-P0070APS4, aber mit Noctua NF-A9 PWM
Warum: war damals der einzige für Sockel 3647 verfügbare mit Lüfter-Halterung. Würde mir jetzt wohl auch die Noctuas für den Sockel mal näher anschauen.

Mainboard: Supermico X11SPi-TF (insb. 2x10Gbase-T)
Warum: Preiswertes Mainboard für Sockel 3647, 2x 10GBase-T Ports onboard (wollte ich haben, kostet deutlich weniger Aufpreis als eine separate NIC), Supermicro-Qualität, IPMI-Fernwartung (wer sowas einmal hatte, will das nicht mehr missen).

Netzteil: bequiet! Pure Power 10 600W
Warum: Leise & zuverlässig (genug).

RAM: 2x 32GB reg. ECC Samsung
Warum: mit 8x32GB kann ich auf 256GB RAM kommen, ohne Riegel austauschen zu müssen (VMs lieben RAM, insbesondere Solaris...).

PCIe1: NIC Mellanox ConnectX-4 VPI Dual-100Gbit QSFP28 (Glasfaser)
Warum: Günstig geschossen. Bin Netzwerk-Spinner. Rockt.

PCIe2: GPU PNY Nvidia Quadro P400
Warum: für Spezial-VM als "Desktop im Server" (für direkten Monitor-Anschluss)

PCIe3: NIC Broadcom Emulex OCE14102 Dual-10Gbit SFP+ (Glasfaser)
Warum: Alle Server und einige Desktops laufen bei mir mit 10 Gigabit. Netzwerk-Spinner halt.

PCIe3: HBA Dell Perc H200 (crossflashed LSI IT-mode)
Warum: befeuert alle wesentlichen Datenträger, zusammen mit dem Expander (s.u.) eine Karte für aktuell max. 22 Datenträger (16+6). Wichtig für die Solaris-VM.

PCIe4: USB3 Sedna 4-Port PCIe Adapter
Warum: für Spezial-VM als "Desktop im Server" (für direkten Anschluss von Sound, Keyboard + Maus)

Gehäuse-Erweiterung 1: 2x Delock Wechselrahmen 6x2,5" in 5,25"
Warum: bieten Platz für zusammen 12x2,5" - mehr geht nicht pro 5,25"-Schacht.

Gehäuse-Erweiterung 2: Intel 36-Port SAS Expander RES2CV360
Warum: Das Intertech-Gehäuse bringt keine eigene Expander-Backplane mit. Schon um die 16 3,5"-Schächte zu versorgen, braucht man also irgendwoher 4xSFF8087 SAS Anschlüsse. Dieser ist ein stand-alone Expander (frisst keinen PCIe-Slot für Stromversorgung o.ä.); etwas teurer als die Slot-Expander, dafür aber universell(er) einsetzbar; versorgt bis zu 28 (über 4 SAS-Lanes) bzw. 24 (über 8 SAS Lanes) Datenträger.

Lüfter: 3x Noctua NF-F12 industrialPPC-3000 PMW, 2x Noctua NF-A8 PWM (also alle Intertech ersetzt)
Warum: leiser als die mitgelieferten Quirle.

USV1: APC Smart UPS C1000
Warum: wer seine Daten liebt und faul ist, schützt sich - hier der Hauptserver.

USV2: APC Back UPS ES 700
Warum: wer seine Daten liebt und faul ist, schützt sich - hier der Backup-Server.

Laufwerke: ein großer Haufen Haupt-Datenträger, ändert sich aber gerade mal wieder. Dazu noch ein paar SSDs als Speicherplatz für VMs.


Software
Kommen wir nun zu dem, was auf der Hardware rennt. Zurzeit laufen dauerhaft 8 virtuelle Maschinen (VMs) unter dem Hypervisor von vmWare (ESXi).

Haupt-OS: ESXi 6.7
Warum: Professioneller Hypervisor zur Virtualisierung von allem, was man sich nur vorstellen kann. Kostenlos (für meine Ansprüche). Schlank (kleiner Footprint, bootet auf Wunsch von USB). Schnell. Laufen Solaris-VMs. Man kann PCIe-Geräte exklusiv an VMs durchreichen (s.u. zur NAS-VM und Desktop-VM).

Ausgangsbasis für alles ist ein sicheres Datengrab. Da liegen die Fotos der Familie (auch als Backup selbst für entferntere Verwandte), Belege für die Steuer und verschiedene weitere Dinge, die nicht verloren gehen sollen. Diese Daten sollen am Ende möglichst sicher sein - sicher vor Verschlüsselungstrojanern, versehentlichem Löschen, Hardware-Defekt (inkl. Blitzschlag) und Fehlbedienung des Admins (also mir). :)

VM1: "NAS"
OS: Solaris 11.3 mit napp-it GUI
Spezielle Hardware: HBA Dell H200 per passthrough durchgereicht
Warum: ZFS, ZFS, ZFS...ach und ZFS. Und dazu noch insb. sensationelle Features rund um NFS, SMB, iSCSI, Rechteverwaltung uvm. Will nichts anderes mehr für meine Daten. So richtig rockt ZFS m.E. halt (noch) nur mit Solaris.

VM2: VPN
OS: CentOS7
Warum: OpenVPN Server. War bei mir schon immer separat. Funzt einfach.

VM3+4: "USV" (mit APCUPSD)
OS: CentOS7
Warum: steuern detailliert das Herunterfahren der Server, inkl. der VMs, die darauf laufen. Die großen USV können das übers Netz o.ä., meine sind zu blöd (billig) und können nur einen PC über USB ansteuern. So kann ich ohne Aufpreis mehrere Rechner pro USV steuern.

VM5: Firewall
OS: Sophos UTM
Warum: Trennung von Server-, WLAN-, Gast- und Familiennetzen, Sonderregeln, Webfilter... ziemlich coole Sache.

VM6: vollwertiger Desktop
OS: Win10 Pro
Spezielle Hardware: Quadro P400 (daran: eigener Monitor/Touchscreen), USB3-PCIe-Karte (daran: USB Soundblaster X-Fi Surround 5.1 Pro, Keyboard, Mouse, Touchscreen),
Warum: ich sitze - notgedrungen - mit meiner Daddelkiste auch im Keller nicht allzuweit vom Server entfernt. Eine zweite Surfbox hatte ich schon immer (um nicht immer aus dem Spiel tasken zu müssen oder einen Film nebenher laufenlassen zu können usw.). Man nehme einen eh laufenden Server, Spieltrieb und das wurde dann die nächste VM... mit eigener dedizierter Grafikkarte, USB-Sound usw. Man könnte sogar drauf zocken (hatte mal zwischendurch testweise eine 1080Ti drin...)

VM7: Minecraft-Server
OS: Ubuntu Server 18.04 LTS
Warum: Die Familie will zusammen Minecraft spielen. Zurzeit in 3 Welten.

VM8: Teamspeak-Server
OS: CentOS7
Warum: liegt wohl auf der Hand.

Zu den komplizierteren VMs (insb. GPU-Passthrough, APCUPSD) habe ich in einem anderen Forum auch jeweils HowTos geschrieben - ich bin aber nicht sicher, wie gut Igor es finden würde, wenn ich dorthin verlinke. Ist jetzt aber zu viel Arbeit, das alles auch noch hierher zu transportieren.

Bilder:

Eine hübsche Frontansicht:

01_.jpg

Die 120er-Lüfterbank in der Mitte:

03_.jpg

Von rechts nach links:
1. Slotblende mit SFF8088, um NOCH MEHR PLATTEN in einem externen Gehäuse anschließen zu können... ;)
2. ConnectX-4 100Gbit
3. Quado P400
4. Emulex 10Gbit
5. Dell HBA H200
6. USB-Karte (nur noch zu erahnen)

Auch noch im Bild: Die Spitze von 'nem USB-Stick

02_.JPG

Rückansicht, wie gerade oben nur jetzt von links nach rechts:

04_.JPG
 
Zuletzt bearbeitet von einem Moderator :
Ich kenn nur welche mit 4HE, schon da das Netzteil in denen „hochkant“ steht (bzw. stehen muss, weil sonst normale Mainboards nicht mehr passen).

Ausnahme: es gibt das ein oder andere 2HE, wo SFX-Netzteile reinpassen. Hab ich auch eins von hier (Intertech), würde ich aber eher nicht empfehlen, limitiert schon arg (und das Netzteil wanderte bei meinem z.B. nach vorne, weil sonst hinten nicht mehr genug Platz für ATX-Mainboards wäre.

Muss aber nicht heißen, dass es nicht irgendwo noch andere Exoten (z.B. für
MITX) geben kann - der Markt ist unüberschaubar und quasi grenzenlos.
 
Wenn du eins suchst, ich hätte noch ein hübsches Silverstone hier… ;)
 
Na klärchen:



Ich hab das damals sehr günstig für 150 im Mindstar geschossen. Das kann ich gerne weitergeben und müsste evtl. leider noch etwas runter, falls ich das Zubehör (Front-Lüfter (getauscht gegen N, Slotblenden, Schrauben?) nicht mehr komplett zusammenbekomme.

Für 150 Euro war es ein super Case (5 Bay Hotswap!), hab es aber leider nicht wirklich brauchen können und nur für ein paar Wochen im Betrieb gehabt. Viel zu Schade, dass es hier nur zustaubt.
 
Danke dir! Ich bräuchte allerdings 8x 3,5" Bays, da könnte ich höchstens überlegen, auf größere HDD zu wechseln :unsure:
 
Energetisch eh besser. ;)

Ich hätte allerdings auch noch ein 8Bay Silverstone CS380 hier… (persönliche Meinung: das find ich aber eher Käse, da funktionierten schon bei Lieferung nicht alle HDD-LEDs - ist von der Qualität um Welten schlechter als das CS350). Nachtrag: ist auch kein 19“.
 
Zuletzt bearbeitet :
Ich finde ja das neue RM43-320-RS spannend, hat 20 Bays, ist aber vom Preis her auch extrem.
 
Schweren Herzens trenne ich mich mal von Hardware, mein erster „richtiger“ Server kommt unter den Hammer: Supermicro X11SPi-TF mit Xeon Silver 4108 und Alphacool Block sowie - weil ich den dann auch nicht mehr brauch - Supermicro 4U Luftkühler nebst Noctua Fan. Ich hab das in den Marktplatz vom Luxx gestellt, da dort einfach mehr Serverspinner rumhängen. ;)
 
Schöne Bastelstube, hab mich extra angemeldet im Forum, sonst nur stiller Leser. Habe selbst mein Homelab diverse Male in letzter Zeit umgebaut, nutze allerdings XCP-NG als Virtualisierer, auch SFP+ Netzwerk durch einen CRS309-1G-8S+ als Backbone. Dein Projekt könnte ich mir in Zukunft ähnlich vorstellen, mit VM`s für die Kids und trotzdem schneller/sicherer Datenstruktur für alle im 3 Generationenhaushalt ^^
 
Willkommen hier! :)

Ich hab inzwischen tatsächlich die Game-Libraries von 4 PCs auf einen zentralen Speicher im Keller umgezogen. Davon ist einer nur mit 1Gbit angebunden - beschwert hat sich der Nutzer aber noch nicht. ;)

Hatte eigentlich auf etwas mehr Effekte durch Deduplication gehofft. Da bleibt die Platz-Einsparung deutlich hinter den Erwartungen zurück. Aber egal, immerhin muss ich jetzt nicht dauern Speicherplatz in irgend einem PC nachstecken…
 
Damit ist wohl der Nachwuchs gemeint?
 
Bei mir schon @ipat66 ^^

@Besterino Beim Nutzen einer VM als eigentlichen Desktop, mit Pheripherie und Monitor, sonst irgendwelche Nachteile ? Müsste ja eigentlich
komplett ohne Delay laufen, zocken über RDP würde ich niemandem zumuten wollen ^^
 
Puh… mit Gaming-VMs habe ich mich lange beschäftigt. Das geht, hatte aber so viele Nachteile, dass ich das nach einiger Zeit wieder begraben habe.

Haupt-Gegenargumente: Das Bildsignal bekommt man m.E. nicht gescheit gestreamed oder anders über längere Distanz übertragen, d.h. Reichweite ist auf HDMI/DP-Distanz begrenzt. So nah an meinem „Spielplatz“ will ich aber keinen 24/7 Server laufen haben.

Änderungen an der Gaming-Hardware erfordern Shutdown des Servers.

Software-Updates bei VM oder Hosts führten gerne mal dazu, dass nicht mehr lief was vorher ging - mit Glück ließ des sich wieder (mit z.T. hohem Zeitaufwand) hinfrickeln, mit Pech erst nach nächstem Update.

Hohe Hardware-Anford an den Host (schnell teurer als normaler Gaming PC und getrennter Server).

Wen das interessiert, hat ab hier mal was zu lesen: https://www.hardwareluxx.de/communi...pus-in-vsphere-esxi-6-0.1130443/post-25919800
 
Guter Punkt ! Das war auch schon einer meiner Gedankengänge, also ausreichend LWL Kabel für die LWL-HDMI/DP Konverter planen im Neubau ^^ Bleiben aber noch die Eingabegeräte per USB, dürfte wohl über Thunderbolt4 optische Kabel lösbar sein, muss wohl ne 16er Ader in jedes Zimmer xD
Edit: Ah ich habe die Lösung, kostet auch nur soviel wie ein halber Gamingrechner xD https://www.bechtle.com/shop/medias...2ZGEyY2JhNGY2YjMyZDVlYWI4ZjFmZTdlNzRlZDk5YzZi
 
Zuletzt bearbeitet :
Das ist alles Käse. Und mehr als 60Hz bei 4K bekommst du eh über keinen Konverter. Und die ganze Sync Technik funzt dann im Zweifel auch nicht. Ich will 4K@120Hz+Gsync. Alles andere kann ja jeder. Wie gesagt, alles Murks.

Und wenn du die GPU mit dem verlinkten Dingens dann doch wieder neben Dir auf dem Schreibtisch hast, nehm ich lieber mein schnuckeliges DanA4 mit 5800x+3090 unter Wakü lokal vor Ort, vielen Dank. ;) Ok, der Mora frisst dann auch wieder Platz, aber die Kiste ist dann wenigsten wieder leise und kommt ansonsten mit kompromissloser Performance. :)

*grübel* den Kleinen müsste ich eh mal wieder in Betrieb nehmen…
 
Oben Unten