Userreview Ein Homeserver...mit 100Gbit Netzwerk und verschiedenen Faxen mehr...

Besterino

Urgestein
Mitglied seit
Jul 22, 2018
Beiträge
6.671
Bewertungspunkte
3.266
Punkte
112
Hatte ich schon länger überlegt, aber jetzt nachdem ich konkret danach gefragt wurde, mach's ich halt mal: ich stelle hier mal meinen Homeserver vor.

Damit wir uns nicht falsch verstehen: der Server hat mit "braucht man das?" nichts mehr zu tun. 100Gbit beispielsweise braucht zu Hause kein Mensch, über den Sinn von 10Gbit kann man zu Hause auch schon/schön streiten. Auch einen vollwertigen Desktop als virtuelle Maschine mit eigener Graka und Peripherie wird wohl kaum jemand nutzen (wollen). Aber das ist ja das Schöne an so einer Maschine: sie bietet viele Möglichkeiten für ganz individuelle Bedürfnisse.

Man kann das auch alles ganz anders umsetzen, mit anderen Komponenten und auch noch deutlich professioneller. Für mich galt es eben, einen (für mich) guten Kompromiss aus Performance, Lautstärke und Budget zu finden. Hab viel ausprobiert, damit bin ich inzwischen recht happy.

Beginnen wir mit der Hardware, ich werde auch gleich ein wenig dazu schreiben, warum ich mich für diese Komponenten entschieden habe.


Hardware

Gehäuse: Intertech 4U-4416
Warum: Recht günstiges 19"-Gehäuse für 16x3,5", recht leiser Betrieb möglich dank 3x120mm Lüfter in der Mitte, leises ATX-Netzteil möglich (allerdings zu Lasten der Redundanz), bietet zusammen mit den beiden Delock 2,5"Einschüben eine hohe Laufwerk-Packungsdichte für 16+12=28 Datenträger inkl. von außen zugänglich und hot swap fähig.

CPU: Intel Xeon Silver 4108 (8/16 Kerne/Threads bei 1,8/3.0GHz, 48 PCIe Lanes)
Warum: Ich brauche PCIe-Lanes (siehe unten zu den PCIe-Steckkarten). Die Einstiegsplattform (seinerzeit E3) hat einfach nicht genug. Der 4108 ist der kleinste aus der Silver-Reihe, theoretisch geht auch Bronze, aber ich hab den Silver sehr, sehr, sehr günstig geschossen und 8 Kerne sind halt auch mehr als 6... ;)

CPU-Kühler: Supermicro SNK-P0070APS4, aber mit Noctua NF-A9 PWM
Warum: war damals der einzige für Sockel 3647 verfügbare mit Lüfter-Halterung. Würde mir jetzt wohl auch die Noctuas für den Sockel mal näher anschauen.

Mainboard: Supermico X11SPi-TF (insb. 2x10Gbase-T)
Warum: Preiswertes Mainboard für Sockel 3647, 2x 10GBase-T Ports onboard (wollte ich haben, kostet deutlich weniger Aufpreis als eine separate NIC), Supermicro-Qualität, IPMI-Fernwartung (wer sowas einmal hatte, will das nicht mehr missen).

Netzteil: bequiet! Pure Power 10 600W
Warum: Leise & zuverlässig (genug).

RAM: 2x 32GB reg. ECC Samsung
Warum: mit 8x32GB kann ich auf 256GB RAM kommen, ohne Riegel austauschen zu müssen (VMs lieben RAM, insbesondere Solaris...).

PCIe1: NIC Mellanox ConnectX-4 VPI Dual-100Gbit QSFP28 (Glasfaser)
Warum: Günstig geschossen. Bin Netzwerk-Spinner. Rockt.

PCIe2: GPU PNY Nvidia Quadro P400
Warum: für Spezial-VM als "Desktop im Server" (für direkten Monitor-Anschluss)

PCIe3: NIC Broadcom Emulex OCE14102 Dual-10Gbit SFP+ (Glasfaser)
Warum: Alle Server und einige Desktops laufen bei mir mit 10 Gigabit. Netzwerk-Spinner halt.

PCIe3: HBA Dell Perc H200 (crossflashed LSI IT-mode)
Warum: befeuert alle wesentlichen Datenträger, zusammen mit dem Expander (s.u.) eine Karte für aktuell max. 22 Datenträger (16+6). Wichtig für die Solaris-VM.

PCIe4: USB3 Sedna 4-Port PCIe Adapter
Warum: für Spezial-VM als "Desktop im Server" (für direkten Anschluss von Sound, Keyboard + Maus)

Gehäuse-Erweiterung 1: 2x Delock Wechselrahmen 6x2,5" in 5,25"
Warum: bieten Platz für zusammen 12x2,5" - mehr geht nicht pro 5,25"-Schacht.

Gehäuse-Erweiterung 2: Intel 36-Port SAS Expander RES2CV360
Warum: Das Intertech-Gehäuse bringt keine eigene Expander-Backplane mit. Schon um die 16 3,5"-Schächte zu versorgen, braucht man also irgendwoher 4xSFF8087 SAS Anschlüsse. Dieser ist ein stand-alone Expander (frisst keinen PCIe-Slot für Stromversorgung o.ä.); etwas teurer als die Slot-Expander, dafür aber universell(er) einsetzbar; versorgt bis zu 28 (über 4 SAS-Lanes) bzw. 24 (über 8 SAS Lanes) Datenträger.

Lüfter: 3x Noctua NF-F12 industrialPPC-3000 PMW, 2x Noctua NF-A8 PWM (also alle Intertech ersetzt)
Warum: leiser als die mitgelieferten Quirle.

USV1: APC Smart UPS C1000
Warum: wer seine Daten liebt und faul ist, schützt sich - hier der Hauptserver.

USV2: APC Back UPS ES 700
Warum: wer seine Daten liebt und faul ist, schützt sich - hier der Backup-Server.

Laufwerke: ein großer Haufen Haupt-Datenträger, ändert sich aber gerade mal wieder. Dazu noch ein paar SSDs als Speicherplatz für VMs.


Software
Kommen wir nun zu dem, was auf der Hardware rennt. Zurzeit laufen dauerhaft 8 virtuelle Maschinen (VMs) unter dem Hypervisor von vmWare (ESXi).

Haupt-OS: ESXi 6.7
Warum: Professioneller Hypervisor zur Virtualisierung von allem, was man sich nur vorstellen kann. Kostenlos (für meine Ansprüche). Schlank (kleiner Footprint, bootet auf Wunsch von USB). Schnell. Laufen Solaris-VMs. Man kann PCIe-Geräte exklusiv an VMs durchreichen (s.u. zur NAS-VM und Desktop-VM).

Ausgangsbasis für alles ist ein sicheres Datengrab. Da liegen die Fotos der Familie (auch als Backup selbst für entferntere Verwandte), Belege für die Steuer und verschiedene weitere Dinge, die nicht verloren gehen sollen. Diese Daten sollen am Ende möglichst sicher sein - sicher vor Verschlüsselungstrojanern, versehentlichem Löschen, Hardware-Defekt (inkl. Blitzschlag) und Fehlbedienung des Admins (also mir). :)

VM1: "NAS"
OS: Solaris 11.3 mit napp-it GUI
Spezielle Hardware: HBA Dell H200 per passthrough durchgereicht
Warum: ZFS, ZFS, ZFS...ach und ZFS. Und dazu noch insb. sensationelle Features rund um NFS, SMB, iSCSI, Rechteverwaltung uvm. Will nichts anderes mehr für meine Daten. So richtig rockt ZFS m.E. halt (noch) nur mit Solaris.

VM2: VPN
OS: CentOS7
Warum: OpenVPN Server. War bei mir schon immer separat. Funzt einfach.

VM3+4: "USV" (mit APCUPSD)
OS: CentOS7
Warum: steuern detailliert das Herunterfahren der Server, inkl. der VMs, die darauf laufen. Die großen USV können das übers Netz o.ä., meine sind zu blöd (billig) und können nur einen PC über USB ansteuern. So kann ich ohne Aufpreis mehrere Rechner pro USV steuern.

VM5: Firewall
OS: Sophos UTM
Warum: Trennung von Server-, WLAN-, Gast- und Familiennetzen, Sonderregeln, Webfilter... ziemlich coole Sache.

VM6: vollwertiger Desktop
OS: Win10 Pro
Spezielle Hardware: Quadro P400 (daran: eigener Monitor/Touchscreen), USB3-PCIe-Karte (daran: USB Soundblaster X-Fi Surround 5.1 Pro, Keyboard, Mouse, Touchscreen),
Warum: ich sitze - notgedrungen - mit meiner Daddelkiste auch im Keller nicht allzuweit vom Server entfernt. Eine zweite Surfbox hatte ich schon immer (um nicht immer aus dem Spiel tasken zu müssen oder einen Film nebenher laufenlassen zu können usw.). Man nehme einen eh laufenden Server, Spieltrieb und das wurde dann die nächste VM... mit eigener dedizierter Grafikkarte, USB-Sound usw. Man könnte sogar drauf zocken (hatte mal zwischendurch testweise eine 1080Ti drin...)

VM7: Minecraft-Server
OS: Ubuntu Server 18.04 LTS
Warum: Die Familie will zusammen Minecraft spielen. Zurzeit in 3 Welten.

VM8: Teamspeak-Server
OS: CentOS7
Warum: liegt wohl auf der Hand.

Zu den komplizierteren VMs (insb. GPU-Passthrough, APCUPSD) habe ich in einem anderen Forum auch jeweils HowTos geschrieben - ich bin aber nicht sicher, wie gut Igor es finden würde, wenn ich dorthin verlinke. Ist jetzt aber zu viel Arbeit, das alles auch noch hierher zu transportieren.

Bilder:

Eine hübsche Frontansicht:

01_.jpg

Die 120er-Lüfterbank in der Mitte:

03_.jpg

Von rechts nach links:
1. Slotblende mit SFF8088, um NOCH MEHR PLATTEN in einem externen Gehäuse anschließen zu können... ;)
2. ConnectX-4 100Gbit
3. Quado P400
4. Emulex 10Gbit
5. Dell HBA H200
6. USB-Karte (nur noch zu erahnen)

Auch noch im Bild: Die Spitze von 'nem USB-Stick

02_.JPG

Rückansicht, wie gerade oben nur jetzt von links nach rechts:

04_.JPG
 
Zuletzt bearbeitet von einem Moderator :
Klasse Sache! An den Howtos wäre ich sehr interessiert, ich plane auch einen Homeserver, allerdings deutlich kleiner.
 
So, hab mal ein paar Bilder ergänzt.

@Mods: Hoffe, Verlinken zu einer anderen Seite ist dazu hier ok - hier gibt es ja noch keine Community speziell zu Homeservern. Ansonsten bitte Hinweis / Löschen o.ä.

@HerrRossi: Wie gesagt, speziell zum Thema Homeserver finde ich das entsprechende Hardwareluxx-Forum echt gut: https://www.hardwareluxx.com/community/f101

Viele Infos, hohes Niveau, nette Leute und sehr hilfsbereit.

Hab dort viel mitgenommen und wollte daher auch etwas zurückgegeben, hier ein paar schöne Threads / HowTos / Infos - nicht alles ist von mir ;)...

NAS/Server Hardwareguide 2018
ZFS Stammtisch
Der 10Gbit Homenetzwerk Thread
Der 100Gbit Netzwerk Thread (und ein bisschen 40gbit)
HOWTO: ESXi 6.5U1 NVIDIA CONSUMER GPU PASSTHROUGH (funzt auch mit 6.7)
ESXi / APC-USV / Automatischer Shutdown mit CentOS-VM
ESX / ESXi - Hilfethread
Microsoft Hyper-V Stammtisch

Gibt noch mehr davon, eine Übersicht findet sich hier: https://www.hardwareluxx.de/community/f101/bitte-beachten-threaduebersicht-656639.html

M.E. ein guter erster Einstieg, wenn man die ersten Schritte in die Homeserverwelt wagen will. =)
 
Wie ist eigentlich die Performance der durchgeschleiften Grafikkarte? Ich wollte mir auch schon immer mal eine solche Windows VM zum zocken machen, ich brauche Win10 für sonst nichts mehr und dual boot ist nervig.
 
Ich hab bei meinen Tests wohl vor allem CPU Performance verloren. Da braucht’s schon einen guten Hobel. Mein alter Xeon E3 (v1), mit dem ich damals die Gaming-Tests gemacht hatte, ist mit seinen 4 Kernen da wahrscheinlich schon zu schwach auf der Brust.

Die GPU ist ja exklusiv in der VM, da ist Passthrough schon sehr effizient. Allerdings: Die Consumer NVIDIA-Karten sind da wohl auch bisweilen zickig (wobei meine 1080Ti lief). AMD ist da wohl entspannter.

Für anspruchsvolles Gaming und auf der Jagd nach jedem FPS würde ich davon abraten. Dann lieber doch nen kleinen Fileserver daneben stellen.

Mit Unraid soll das wohl einfach(er) gehen, habe ich mich aber bisher nicht mit beschäftigt.
 
Netter "Home"Server :D
Mit mehr als 8 SSDs wird der alte HBA zum Flaschenhals. Theoretische 4 GByte/s und dann ist Ende im Gelände. Da könnte man mit ZFS doch auch die SATA Ports des Chipsatzes verwenden. Der Chipsatz ist auch mit 4x DMI Gen3 und 8x PCIE(up) Gen3 angebunden.
Ich weiß, das ist heulen auf hohem Niveau, aber .. aber ;)
 
Zuletzt bearbeitet :
Ahjo, wie schon eingangs erwähnt: Das Bessere ist der Feind des Guten. :D

Ich hab meine SSD Pools so aufgeteilt, dass die eigentlich kaum ins Limit des HBA rennen dürften. Max 4xSATA3 liegt da deutlich drunter. Und dass mehrere Pools parallel am Anschlag sind, würde ich faktisch quasi ausschließen.

Aber hier liegt schon/noch ein Broadcom/LSI 9305-24i ungenutzt herum. Der hat für viele SSDs genug Bumms. :D Aber: der will leider nicht mit Solaris direkt (weder 11.3 noch 11.4), da muss ich dann unter ESXi/Solaris-VM mit RDM arbeiten. Geht wohl ganz gut, da muss ich aber mal mit etwas Ruhe ran. SATA-Chipsatz und Solaris ist eher so „Bäääh“. ;) Geht grundsätzlich zwar, aber den nehm ich dann lieber für das Host-OS und die Storage-VM. Oder ich stelle beim „NAS-OS“ auf einen freien Solaris-Fork um (OmniOS, Illumos & Co.), das will ich aber eigentlich nicht - Solaris von Oracle ist schon der Prime-Standard bei ZFS (SMB3, ACL, Verschlüsselung, Replikation usw.). ;)

Und natürlich steckt der HBA in einem CPU-Slot. ;) Am Chipsatz hängt nur die USB-Steckkarte. Das ist ja das Gute an der 3647-Plattform, viele Lanes der CPU...
 
Gegen diese Supernovae ist mein Wald- und Wiesenserver ein Glühwürmchen xD
Pentium G630T
MSI H61M-P25 mit Onboard 1GBit LAN
8GB DDR3-1333
3x WD Red 4TB, eine einzeln für unwichtigere Daten und zwei im Soft-RAID1
Ubuntu Server 14.04 LTS mit Samba, FTP, µTorrent
Hängt zusammen mit meinem Hauptrechner und einem Monitor an einer Bluewalker PowerWalker VI 2200 USV.
 
@HerrRossi Kann man vermutlich machen, ist halt Sandy Bridge und recht alt der Gute. Noch 2011er Sockel (ohne -3). Sorry, kenne mich da nicht so richtig gut zum Preis-Leistungs-Verhältnis aus.

@DHAmoKK Ich sag mal, reichen würde mir vermutlich auch immer noch ein Atom System als NAS mit ein bisserl Backup. Aber ich hätte dann so viel weniger Spaß... ;)
 
Mein Server nimmt dank Black Friday/Donnerstag schon Formen an.

Es bleibt erstmal bei dem 2200G, dazu kommen 2x4GB RAM für 55,- € und 2x4TB Seagate Ironwolf für jeweils 90,- €, angefeuert wird der Rechner von meinem BQ SP 10 mit 500W, in den Hauptrechner kommt ein Corsair RM850X 2018 (mit 110,- € kein Superschnapper) rein, damit könnte ich dann auch die 2080 ti mit einem stärkeren Bios ausrüsten, falls das irgendwann mal nötig sein sollte.

Da ich morgen wahrscheinlich ein Core X9 und ein B350 MB gebraucht kaufe (das Case für nur 40,- €, wenn alles okay ist und das MB für 35,- €), kommt der Server in das vorhandene Fractal Design Define XL R2, da drin ist viel Platz für Festplatten und leise ist es auch.

Wenn dann nächstes Jahr Zen2 kommt, kann ich den R5 2600 in den Server packen und habe dann auch da eine ziemlich starke CPU für alle möglichen VM drin.

Bisher bin ich schon ziemlich zufrieden mit dem Plan :)
 
Kenn mich mit AMD aktuell nicht so gut aus. Aber wird schon und so ein Homeserver ist was Feines.

Nur eine Frage: für Virtualisierung ist 8GB RAM sehr knapp. Wenn du das nicht brauchst, passt das aber.
 
Ich denke, ich werde mit Docker arbeiten, mal sehen, wo ich da lande. Am Anfang soll es ja eh nur ein LAMP-Server nur für mich sein, der braucht nicht wirklich viele Ressourcen.
 
Danke! Wenn ich mal wieder etwas Zeit hab, muss ich an den auch mal wieder ran. Grad hat aber das WaKü-Projekt im Desktop Priorität... ;) ...und der Server tut ja (leider?) :) artig was er soll...
 
So, Wakü ist fertig / läuft - da hat man direkt mal wieder Zeit für das andere Projektchen... ;)

Habe wieder etwas gebastelt:

Rausgeflogen sind:
Broadcom Emulex Dual 10Gbit
Dell H200i HBA (IT-mode)
Intel RES2CV360 Expander
3x Noctua NF-F12 IndustrialPPC 3000 PWM
Die letzten 3,5" HDDs (nicht im Bild)
Diverse Kabel...

Ausbau.jpg

Reingekommen sind:
Broadcom 9305-24i
3x Noctua NF-A12x25 PWM
Diverse Kabel...

Einbau.jpg

Insgesamt besteht das "Selbst-Bau-Rack" aus 3 Servern und verschiedenen Switches:

Switches:

"Core-Switch": 48x1Gbit + 4xSFP (1Gbit)
00_48er.jpg

Von oben nach unten:
8x10Gbase-T + 2xSFP+ (10gbit) - zu laut für 24/7
24x1Gbit
24x1Gbit + 4xSFP+ (10gbit)
02_10GbE.jpg

Server:
05.jpg
06.jpg

Mainserver (24/7) jetzt:
Gehäuse: Intertech 4416
Gehäuse-Erweiterung: 2x Delock 6x2,"-in-5,25"
PSU: BeQuiet PurePower 10 600W
Mainboard: Supermicro X11SPi-TF
CPU: Xeon Silver 4108
CPU-Kühler: Supermicro SNK-P0070APS4
RAM: 2x Samsung 32GB 2400 reg. ECC DDR4
PCIe1: Mellanox Connectx-4
PCIe2: NVidia Quadro P400
PCIe3: Broadcom HBA 9305-24i
PCIe4: 4-Port USB-3 Adapter
Lüfter: 3x Noctua NF-A12x25 PWM, 2x Noctua NF-A8 PWM
SDD: 4x Samsung 860 EVO 1TB (RaidZ, Storage), 4x ADATA 256GB (RaidZ, Storage), 2x Samsung SM863 120GB (Mirror, Storage), Supermicro SuperDOM 32GB (OS), Samsung SM961 256GB (NVME, VMs), Samsung SSD 830 256GB (VMs), SanDISK Ultra II 120GB (VMs)

OS: ESXi 6.7
VMs: Solaris 11.3 (Storage), 4x Centos 7 (VPN, APCUPSD1, ACPUPSD2, Teamspeak), Ubuntu (Minecraft), SophosUTM, Windows 10

Coldstorage (bei Bedarf)
Gehäuse: Supermicro SC836
PSU: 2x 920W (redundant)
Mainboard: Supermicro X11SSM
CPU: Pentium G4560
CPU-Kühler: Intel Stock
RAM: 2x Kingston 16GB 2400 non-reg. ECC DDR4
PCIe1: Fujitsu SFP+ Dual-10Gbit
Lüfter: Supermicro SC836-Standardbestückung
SDD: Supermicro SuperDOM 32GB (OS), Samsung 860 EVO 250GB (alt. OS)
HDD: 4x WD Red 4TB, 8x Seagate Constellation ES.3 4TB (ST4000NM0033-9ZM), 4x Samsung SpinPoint F2 Eco Green 1TB (alle Storage)

OS: Solaris 11.4
VMs: N/A

Backup (bei Bedarf)
Gehäuse: Intertech 2U-2098-SL
Gehäuse-Erweiterung: Enermax EMK5102
PSU: urgs... SFX, glaub ein Silverstone 450W
Mainboard: Intel S1200BLTR
CPU: Xeon E3-1225 (v1)
CPU-Kühler: Intel Stock
RAM: 4x Kingston 8GB 1333 non-reg. ECC DDR3
PCIe1: Emulex SFP+ Dual-10Gbit
PCIe2: M2-PCIe-Adapter
PCIe3: 4-Port USB-3 Adapter
Lüfter: 4x Noctua NF-A8 PWM, 1x Noctua NF-A6x25 FLX
SDD: Intel P600 in m2-PCIe-Adapter (NVMe, OS, VMs)
HDD: Seagate Archive 8TB (Storage)

OS: ESXi 6.5U1
VM: Solaris 11.3
 
wow! und das alles "nur" für zu Hause ;-)

Bist du mit den Baumarkt-Switchen zufrieden? Und hast du ne Ahnung, was du im Jahr an Stromkosten mit den Dingern ziehst? Einfach um mal nen Gegenwert zum "Hobby" zu haben?
 
@KidStealth: Mein 48er-Switch nuckelt so 17-18W (nicht voll belegt) und der Hauptserver so 120-125W (mit der dicken USV davor ca. 140W, wobei ich grad nicht sicher bin, was da noch dran hängt).

Zum Rest müsste ich nochmal schauen. Der D-Link 10Gbase-T Switch läuft z.B. de facto fast nie...
 
Oben Unten