Hatte ich schon länger überlegt, aber jetzt nachdem ich konkret danach gefragt wurde, mach's ich halt mal: ich stelle hier mal meinen Homeserver vor.
Damit wir uns nicht falsch verstehen: der Server hat mit "braucht man das?" nichts mehr zu tun. 100Gbit beispielsweise braucht zu Hause kein Mensch, über den Sinn von 10Gbit kann man zu Hause auch schon/schön streiten. Auch einen vollwertigen Desktop als virtuelle Maschine mit eigener Graka und Peripherie wird wohl kaum jemand nutzen (wollen). Aber das ist ja das Schöne an so einer Maschine: sie bietet viele Möglichkeiten für ganz individuelle Bedürfnisse.
Man kann das auch alles ganz anders umsetzen, mit anderen Komponenten und auch noch deutlich professioneller. Für mich galt es eben, einen (für mich) guten Kompromiss aus Performance, Lautstärke und Budget zu finden. Hab viel ausprobiert, damit bin ich inzwischen recht happy.
Beginnen wir mit der Hardware, ich werde auch gleich ein wenig dazu schreiben, warum ich mich für diese Komponenten entschieden habe.
Hardware
Gehäuse: Intertech 4U-4416
Warum: Recht günstiges 19"-Gehäuse für 16x3,5", recht leiser Betrieb möglich dank 3x120mm Lüfter in der Mitte, leises ATX-Netzteil möglich (allerdings zu Lasten der Redundanz), bietet zusammen mit den beiden Delock 2,5"Einschüben eine hohe Laufwerk-Packungsdichte für 16+12=28 Datenträger inkl. von außen zugänglich und hot swap fähig.
CPU: Intel Xeon Silver 4108 (8/16 Kerne/Threads bei 1,8/3.0GHz, 48 PCIe Lanes)
Warum: Ich brauche PCIe-Lanes (siehe unten zu den PCIe-Steckkarten). Die Einstiegsplattform (seinerzeit E3) hat einfach nicht genug. Der 4108 ist der kleinste aus der Silver-Reihe, theoretisch geht auch Bronze, aber ich hab den Silver sehr, sehr, sehr günstig geschossen und 8 Kerne sind halt auch mehr als 6...
CPU-Kühler: Supermicro SNK-P0070APS4, aber mit Noctua NF-A9 PWM
Warum: war damals der einzige für Sockel 3647 verfügbare mit Lüfter-Halterung. Würde mir jetzt wohl auch die Noctuas für den Sockel mal näher anschauen.
Mainboard: Supermico X11SPi-TF (insb. 2x10Gbase-T)
Warum: Preiswertes Mainboard für Sockel 3647, 2x 10GBase-T Ports onboard (wollte ich haben, kostet deutlich weniger Aufpreis als eine separate NIC), Supermicro-Qualität, IPMI-Fernwartung (wer sowas einmal hatte, will das nicht mehr missen).
Netzteil: bequiet! Pure Power 10 600W
Warum: Leise & zuverlässig (genug).
RAM: 2x 32GB reg. ECC Samsung
Warum: mit 8x32GB kann ich auf 256GB RAM kommen, ohne Riegel austauschen zu müssen (VMs lieben RAM, insbesondere Solaris...).
PCIe1: NIC Mellanox ConnectX-4 VPI Dual-100Gbit QSFP28 (Glasfaser)
Warum: Günstig geschossen. Bin Netzwerk-Spinner. Rockt.
PCIe2: GPU PNY Nvidia Quadro P400
Warum: für Spezial-VM als "Desktop im Server" (für direkten Monitor-Anschluss)
PCIe3: NIC Broadcom Emulex OCE14102 Dual-10Gbit SFP+ (Glasfaser)
Warum: Alle Server und einige Desktops laufen bei mir mit 10 Gigabit. Netzwerk-Spinner halt.
PCIe3: HBA Dell Perc H200 (crossflashed LSI IT-mode)
Warum: befeuert alle wesentlichen Datenträger, zusammen mit dem Expander (s.u.) eine Karte für aktuell max. 22 Datenträger (16+6). Wichtig für die Solaris-VM.
PCIe4: USB3 Sedna 4-Port PCIe Adapter
Warum: für Spezial-VM als "Desktop im Server" (für direkten Anschluss von Sound, Keyboard + Maus)
Gehäuse-Erweiterung 1: 2x Delock Wechselrahmen 6x2,5" in 5,25"
Warum: bieten Platz für zusammen 12x2,5" - mehr geht nicht pro 5,25"-Schacht.
Gehäuse-Erweiterung 2: Intel 36-Port SAS Expander RES2CV360
Warum: Das Intertech-Gehäuse bringt keine eigene Expander-Backplane mit. Schon um die 16 3,5"-Schächte zu versorgen, braucht man also irgendwoher 4xSFF8087 SAS Anschlüsse. Dieser ist ein stand-alone Expander (frisst keinen PCIe-Slot für Stromversorgung o.ä.); etwas teurer als die Slot-Expander, dafür aber universell(er) einsetzbar; versorgt bis zu 28 (über 4 SAS-Lanes) bzw. 24 (über 8 SAS Lanes) Datenträger.
Lüfter: 3x Noctua NF-F12 industrialPPC-3000 PMW, 2x Noctua NF-A8 PWM (also alle Intertech ersetzt)
Warum: leiser als die mitgelieferten Quirle.
USV1: APC Smart UPS C1000
Warum: wer seine Daten liebt und faul ist, schützt sich - hier der Hauptserver.
USV2: APC Back UPS ES 700
Warum: wer seine Daten liebt und faul ist, schützt sich - hier der Backup-Server.
Laufwerke: ein großer Haufen Haupt-Datenträger, ändert sich aber gerade mal wieder. Dazu noch ein paar SSDs als Speicherplatz für VMs.
Software
Kommen wir nun zu dem, was auf der Hardware rennt. Zurzeit laufen dauerhaft 8 virtuelle Maschinen (VMs) unter dem Hypervisor von vmWare (ESXi).
Haupt-OS: ESXi 6.7
Warum: Professioneller Hypervisor zur Virtualisierung von allem, was man sich nur vorstellen kann. Kostenlos (für meine Ansprüche). Schlank (kleiner Footprint, bootet auf Wunsch von USB). Schnell. Laufen Solaris-VMs. Man kann PCIe-Geräte exklusiv an VMs durchreichen (s.u. zur NAS-VM und Desktop-VM).
Ausgangsbasis für alles ist ein sicheres Datengrab. Da liegen die Fotos der Familie (auch als Backup selbst für entferntere Verwandte), Belege für die Steuer und verschiedene weitere Dinge, die nicht verloren gehen sollen. Diese Daten sollen am Ende möglichst sicher sein - sicher vor Verschlüsselungstrojanern, versehentlichem Löschen, Hardware-Defekt (inkl. Blitzschlag) und Fehlbedienung des Admins (also mir).
VM1: "NAS"
OS: Solaris 11.3 mit napp-it GUI
Spezielle Hardware: HBA Dell H200 per passthrough durchgereicht
Warum: ZFS, ZFS, ZFS...ach und ZFS. Und dazu noch insb. sensationelle Features rund um NFS, SMB, iSCSI, Rechteverwaltung uvm. Will nichts anderes mehr für meine Daten. So richtig rockt ZFS m.E. halt (noch) nur mit Solaris.
VM2: VPN
OS: CentOS7
Warum: OpenVPN Server. War bei mir schon immer separat. Funzt einfach.
VM3+4: "USV" (mit APCUPSD)
OS: CentOS7
Warum: steuern detailliert das Herunterfahren der Server, inkl. der VMs, die darauf laufen. Die großen USV können das übers Netz o.ä., meine sind zu blöd (billig) und können nur einen PC über USB ansteuern. So kann ich ohne Aufpreis mehrere Rechner pro USV steuern.
VM5: Firewall
OS: Sophos UTM
Warum: Trennung von Server-, WLAN-, Gast- und Familiennetzen, Sonderregeln, Webfilter... ziemlich coole Sache.
VM6: vollwertiger Desktop
OS: Win10 Pro
Spezielle Hardware: Quadro P400 (daran: eigener Monitor/Touchscreen), USB3-PCIe-Karte (daran: USB Soundblaster X-Fi Surround 5.1 Pro, Keyboard, Mouse, Touchscreen),
Warum: ich sitze - notgedrungen - mit meiner Daddelkiste auch im Keller nicht allzuweit vom Server entfernt. Eine zweite Surfbox hatte ich schon immer (um nicht immer aus dem Spiel tasken zu müssen oder einen Film nebenher laufenlassen zu können usw.). Man nehme einen eh laufenden Server, Spieltrieb und das wurde dann die nächste VM... mit eigener dedizierter Grafikkarte, USB-Sound usw. Man könnte sogar drauf zocken (hatte mal zwischendurch testweise eine 1080Ti drin...)
VM7: Minecraft-Server
OS: Ubuntu Server 18.04 LTS
Warum: Die Familie will zusammen Minecraft spielen. Zurzeit in 3 Welten.
VM8: Teamspeak-Server
OS: CentOS7
Warum: liegt wohl auf der Hand.
Zu den komplizierteren VMs (insb. GPU-Passthrough, APCUPSD) habe ich in einem anderen Forum auch jeweils HowTos geschrieben - ich bin aber nicht sicher, wie gut Igor es finden würde, wenn ich dorthin verlinke. Ist jetzt aber zu viel Arbeit, das alles auch noch hierher zu transportieren.
Bilder:
Eine hübsche Frontansicht:
Die 120er-Lüfterbank in der Mitte:
Von rechts nach links:
1. Slotblende mit SFF8088, um NOCH MEHR PLATTEN in einem externen Gehäuse anschließen zu können...
2. ConnectX-4 100Gbit
3. Quado P400
4. Emulex 10Gbit
5. Dell HBA H200
6. USB-Karte (nur noch zu erahnen)
Auch noch im Bild: Die Spitze von 'nem USB-Stick
Rückansicht, wie gerade oben nur jetzt von links nach rechts:
Damit wir uns nicht falsch verstehen: der Server hat mit "braucht man das?" nichts mehr zu tun. 100Gbit beispielsweise braucht zu Hause kein Mensch, über den Sinn von 10Gbit kann man zu Hause auch schon/schön streiten. Auch einen vollwertigen Desktop als virtuelle Maschine mit eigener Graka und Peripherie wird wohl kaum jemand nutzen (wollen). Aber das ist ja das Schöne an so einer Maschine: sie bietet viele Möglichkeiten für ganz individuelle Bedürfnisse.
Man kann das auch alles ganz anders umsetzen, mit anderen Komponenten und auch noch deutlich professioneller. Für mich galt es eben, einen (für mich) guten Kompromiss aus Performance, Lautstärke und Budget zu finden. Hab viel ausprobiert, damit bin ich inzwischen recht happy.
Beginnen wir mit der Hardware, ich werde auch gleich ein wenig dazu schreiben, warum ich mich für diese Komponenten entschieden habe.
Hardware
Gehäuse: Intertech 4U-4416
Warum: Recht günstiges 19"-Gehäuse für 16x3,5", recht leiser Betrieb möglich dank 3x120mm Lüfter in der Mitte, leises ATX-Netzteil möglich (allerdings zu Lasten der Redundanz), bietet zusammen mit den beiden Delock 2,5"Einschüben eine hohe Laufwerk-Packungsdichte für 16+12=28 Datenträger inkl. von außen zugänglich und hot swap fähig.
CPU: Intel Xeon Silver 4108 (8/16 Kerne/Threads bei 1,8/3.0GHz, 48 PCIe Lanes)
Warum: Ich brauche PCIe-Lanes (siehe unten zu den PCIe-Steckkarten). Die Einstiegsplattform (seinerzeit E3) hat einfach nicht genug. Der 4108 ist der kleinste aus der Silver-Reihe, theoretisch geht auch Bronze, aber ich hab den Silver sehr, sehr, sehr günstig geschossen und 8 Kerne sind halt auch mehr als 6...
CPU-Kühler: Supermicro SNK-P0070APS4, aber mit Noctua NF-A9 PWM
Warum: war damals der einzige für Sockel 3647 verfügbare mit Lüfter-Halterung. Würde mir jetzt wohl auch die Noctuas für den Sockel mal näher anschauen.
Mainboard: Supermico X11SPi-TF (insb. 2x10Gbase-T)
Warum: Preiswertes Mainboard für Sockel 3647, 2x 10GBase-T Ports onboard (wollte ich haben, kostet deutlich weniger Aufpreis als eine separate NIC), Supermicro-Qualität, IPMI-Fernwartung (wer sowas einmal hatte, will das nicht mehr missen).
Netzteil: bequiet! Pure Power 10 600W
Warum: Leise & zuverlässig (genug).
RAM: 2x 32GB reg. ECC Samsung
Warum: mit 8x32GB kann ich auf 256GB RAM kommen, ohne Riegel austauschen zu müssen (VMs lieben RAM, insbesondere Solaris...).
PCIe1: NIC Mellanox ConnectX-4 VPI Dual-100Gbit QSFP28 (Glasfaser)
Warum: Günstig geschossen. Bin Netzwerk-Spinner. Rockt.
PCIe2: GPU PNY Nvidia Quadro P400
Warum: für Spezial-VM als "Desktop im Server" (für direkten Monitor-Anschluss)
PCIe3: NIC Broadcom Emulex OCE14102 Dual-10Gbit SFP+ (Glasfaser)
Warum: Alle Server und einige Desktops laufen bei mir mit 10 Gigabit. Netzwerk-Spinner halt.
PCIe3: HBA Dell Perc H200 (crossflashed LSI IT-mode)
Warum: befeuert alle wesentlichen Datenträger, zusammen mit dem Expander (s.u.) eine Karte für aktuell max. 22 Datenträger (16+6). Wichtig für die Solaris-VM.
PCIe4: USB3 Sedna 4-Port PCIe Adapter
Warum: für Spezial-VM als "Desktop im Server" (für direkten Anschluss von Sound, Keyboard + Maus)
Gehäuse-Erweiterung 1: 2x Delock Wechselrahmen 6x2,5" in 5,25"
Warum: bieten Platz für zusammen 12x2,5" - mehr geht nicht pro 5,25"-Schacht.
Gehäuse-Erweiterung 2: Intel 36-Port SAS Expander RES2CV360
Warum: Das Intertech-Gehäuse bringt keine eigene Expander-Backplane mit. Schon um die 16 3,5"-Schächte zu versorgen, braucht man also irgendwoher 4xSFF8087 SAS Anschlüsse. Dieser ist ein stand-alone Expander (frisst keinen PCIe-Slot für Stromversorgung o.ä.); etwas teurer als die Slot-Expander, dafür aber universell(er) einsetzbar; versorgt bis zu 28 (über 4 SAS-Lanes) bzw. 24 (über 8 SAS Lanes) Datenträger.
Lüfter: 3x Noctua NF-F12 industrialPPC-3000 PMW, 2x Noctua NF-A8 PWM (also alle Intertech ersetzt)
Warum: leiser als die mitgelieferten Quirle.
USV1: APC Smart UPS C1000
Warum: wer seine Daten liebt und faul ist, schützt sich - hier der Hauptserver.
USV2: APC Back UPS ES 700
Warum: wer seine Daten liebt und faul ist, schützt sich - hier der Backup-Server.
Laufwerke: ein großer Haufen Haupt-Datenträger, ändert sich aber gerade mal wieder. Dazu noch ein paar SSDs als Speicherplatz für VMs.
Software
Kommen wir nun zu dem, was auf der Hardware rennt. Zurzeit laufen dauerhaft 8 virtuelle Maschinen (VMs) unter dem Hypervisor von vmWare (ESXi).
Haupt-OS: ESXi 6.7
Warum: Professioneller Hypervisor zur Virtualisierung von allem, was man sich nur vorstellen kann. Kostenlos (für meine Ansprüche). Schlank (kleiner Footprint, bootet auf Wunsch von USB). Schnell. Laufen Solaris-VMs. Man kann PCIe-Geräte exklusiv an VMs durchreichen (s.u. zur NAS-VM und Desktop-VM).
Ausgangsbasis für alles ist ein sicheres Datengrab. Da liegen die Fotos der Familie (auch als Backup selbst für entferntere Verwandte), Belege für die Steuer und verschiedene weitere Dinge, die nicht verloren gehen sollen. Diese Daten sollen am Ende möglichst sicher sein - sicher vor Verschlüsselungstrojanern, versehentlichem Löschen, Hardware-Defekt (inkl. Blitzschlag) und Fehlbedienung des Admins (also mir).
VM1: "NAS"
OS: Solaris 11.3 mit napp-it GUI
Spezielle Hardware: HBA Dell H200 per passthrough durchgereicht
Warum: ZFS, ZFS, ZFS...ach und ZFS. Und dazu noch insb. sensationelle Features rund um NFS, SMB, iSCSI, Rechteverwaltung uvm. Will nichts anderes mehr für meine Daten. So richtig rockt ZFS m.E. halt (noch) nur mit Solaris.
VM2: VPN
OS: CentOS7
Warum: OpenVPN Server. War bei mir schon immer separat. Funzt einfach.
VM3+4: "USV" (mit APCUPSD)
OS: CentOS7
Warum: steuern detailliert das Herunterfahren der Server, inkl. der VMs, die darauf laufen. Die großen USV können das übers Netz o.ä., meine sind zu blöd (billig) und können nur einen PC über USB ansteuern. So kann ich ohne Aufpreis mehrere Rechner pro USV steuern.
VM5: Firewall
OS: Sophos UTM
Warum: Trennung von Server-, WLAN-, Gast- und Familiennetzen, Sonderregeln, Webfilter... ziemlich coole Sache.
VM6: vollwertiger Desktop
OS: Win10 Pro
Spezielle Hardware: Quadro P400 (daran: eigener Monitor/Touchscreen), USB3-PCIe-Karte (daran: USB Soundblaster X-Fi Surround 5.1 Pro, Keyboard, Mouse, Touchscreen),
Warum: ich sitze - notgedrungen - mit meiner Daddelkiste auch im Keller nicht allzuweit vom Server entfernt. Eine zweite Surfbox hatte ich schon immer (um nicht immer aus dem Spiel tasken zu müssen oder einen Film nebenher laufenlassen zu können usw.). Man nehme einen eh laufenden Server, Spieltrieb und das wurde dann die nächste VM... mit eigener dedizierter Grafikkarte, USB-Sound usw. Man könnte sogar drauf zocken (hatte mal zwischendurch testweise eine 1080Ti drin...)
VM7: Minecraft-Server
OS: Ubuntu Server 18.04 LTS
Warum: Die Familie will zusammen Minecraft spielen. Zurzeit in 3 Welten.
VM8: Teamspeak-Server
OS: CentOS7
Warum: liegt wohl auf der Hand.
Zu den komplizierteren VMs (insb. GPU-Passthrough, APCUPSD) habe ich in einem anderen Forum auch jeweils HowTos geschrieben - ich bin aber nicht sicher, wie gut Igor es finden würde, wenn ich dorthin verlinke. Ist jetzt aber zu viel Arbeit, das alles auch noch hierher zu transportieren.
Bilder:
Eine hübsche Frontansicht:
Die 120er-Lüfterbank in der Mitte:
Von rechts nach links:
1. Slotblende mit SFF8088, um NOCH MEHR PLATTEN in einem externen Gehäuse anschließen zu können...
2. ConnectX-4 100Gbit
3. Quado P400
4. Emulex 10Gbit
5. Dell HBA H200
6. USB-Karte (nur noch zu erahnen)
Auch noch im Bild: Die Spitze von 'nem USB-Stick
Rückansicht, wie gerade oben nur jetzt von links nach rechts:
Zuletzt bearbeitet von einem Moderator
: