Userreview Ein Homeserver...mit 100Gbit Netzwerk und verschiedenen Faxen mehr...

Besterino

Urgestein
Mitglied seit
Jul 22, 2018
Beiträge
6.671
Bewertungspunkte
3.266
Punkte
112
Hatte ich schon länger überlegt, aber jetzt nachdem ich konkret danach gefragt wurde, mach's ich halt mal: ich stelle hier mal meinen Homeserver vor.

Damit wir uns nicht falsch verstehen: der Server hat mit "braucht man das?" nichts mehr zu tun. 100Gbit beispielsweise braucht zu Hause kein Mensch, über den Sinn von 10Gbit kann man zu Hause auch schon/schön streiten. Auch einen vollwertigen Desktop als virtuelle Maschine mit eigener Graka und Peripherie wird wohl kaum jemand nutzen (wollen). Aber das ist ja das Schöne an so einer Maschine: sie bietet viele Möglichkeiten für ganz individuelle Bedürfnisse.

Man kann das auch alles ganz anders umsetzen, mit anderen Komponenten und auch noch deutlich professioneller. Für mich galt es eben, einen (für mich) guten Kompromiss aus Performance, Lautstärke und Budget zu finden. Hab viel ausprobiert, damit bin ich inzwischen recht happy.

Beginnen wir mit der Hardware, ich werde auch gleich ein wenig dazu schreiben, warum ich mich für diese Komponenten entschieden habe.


Hardware

Gehäuse: Intertech 4U-4416
Warum: Recht günstiges 19"-Gehäuse für 16x3,5", recht leiser Betrieb möglich dank 3x120mm Lüfter in der Mitte, leises ATX-Netzteil möglich (allerdings zu Lasten der Redundanz), bietet zusammen mit den beiden Delock 2,5"Einschüben eine hohe Laufwerk-Packungsdichte für 16+12=28 Datenträger inkl. von außen zugänglich und hot swap fähig.

CPU: Intel Xeon Silver 4108 (8/16 Kerne/Threads bei 1,8/3.0GHz, 48 PCIe Lanes)
Warum: Ich brauche PCIe-Lanes (siehe unten zu den PCIe-Steckkarten). Die Einstiegsplattform (seinerzeit E3) hat einfach nicht genug. Der 4108 ist der kleinste aus der Silver-Reihe, theoretisch geht auch Bronze, aber ich hab den Silver sehr, sehr, sehr günstig geschossen und 8 Kerne sind halt auch mehr als 6... ;)

CPU-Kühler: Supermicro SNK-P0070APS4, aber mit Noctua NF-A9 PWM
Warum: war damals der einzige für Sockel 3647 verfügbare mit Lüfter-Halterung. Würde mir jetzt wohl auch die Noctuas für den Sockel mal näher anschauen.

Mainboard: Supermico X11SPi-TF (insb. 2x10Gbase-T)
Warum: Preiswertes Mainboard für Sockel 3647, 2x 10GBase-T Ports onboard (wollte ich haben, kostet deutlich weniger Aufpreis als eine separate NIC), Supermicro-Qualität, IPMI-Fernwartung (wer sowas einmal hatte, will das nicht mehr missen).

Netzteil: bequiet! Pure Power 10 600W
Warum: Leise & zuverlässig (genug).

RAM: 2x 32GB reg. ECC Samsung
Warum: mit 8x32GB kann ich auf 256GB RAM kommen, ohne Riegel austauschen zu müssen (VMs lieben RAM, insbesondere Solaris...).

PCIe1: NIC Mellanox ConnectX-4 VPI Dual-100Gbit QSFP28 (Glasfaser)
Warum: Günstig geschossen. Bin Netzwerk-Spinner. Rockt.

PCIe2: GPU PNY Nvidia Quadro P400
Warum: für Spezial-VM als "Desktop im Server" (für direkten Monitor-Anschluss)

PCIe3: NIC Broadcom Emulex OCE14102 Dual-10Gbit SFP+ (Glasfaser)
Warum: Alle Server und einige Desktops laufen bei mir mit 10 Gigabit. Netzwerk-Spinner halt.

PCIe3: HBA Dell Perc H200 (crossflashed LSI IT-mode)
Warum: befeuert alle wesentlichen Datenträger, zusammen mit dem Expander (s.u.) eine Karte für aktuell max. 22 Datenträger (16+6). Wichtig für die Solaris-VM.

PCIe4: USB3 Sedna 4-Port PCIe Adapter
Warum: für Spezial-VM als "Desktop im Server" (für direkten Anschluss von Sound, Keyboard + Maus)

Gehäuse-Erweiterung 1: 2x Delock Wechselrahmen 6x2,5" in 5,25"
Warum: bieten Platz für zusammen 12x2,5" - mehr geht nicht pro 5,25"-Schacht.

Gehäuse-Erweiterung 2: Intel 36-Port SAS Expander RES2CV360
Warum: Das Intertech-Gehäuse bringt keine eigene Expander-Backplane mit. Schon um die 16 3,5"-Schächte zu versorgen, braucht man also irgendwoher 4xSFF8087 SAS Anschlüsse. Dieser ist ein stand-alone Expander (frisst keinen PCIe-Slot für Stromversorgung o.ä.); etwas teurer als die Slot-Expander, dafür aber universell(er) einsetzbar; versorgt bis zu 28 (über 4 SAS-Lanes) bzw. 24 (über 8 SAS Lanes) Datenträger.

Lüfter: 3x Noctua NF-F12 industrialPPC-3000 PMW, 2x Noctua NF-A8 PWM (also alle Intertech ersetzt)
Warum: leiser als die mitgelieferten Quirle.

USV1: APC Smart UPS C1000
Warum: wer seine Daten liebt und faul ist, schützt sich - hier der Hauptserver.

USV2: APC Back UPS ES 700
Warum: wer seine Daten liebt und faul ist, schützt sich - hier der Backup-Server.

Laufwerke: ein großer Haufen Haupt-Datenträger, ändert sich aber gerade mal wieder. Dazu noch ein paar SSDs als Speicherplatz für VMs.


Software
Kommen wir nun zu dem, was auf der Hardware rennt. Zurzeit laufen dauerhaft 8 virtuelle Maschinen (VMs) unter dem Hypervisor von vmWare (ESXi).

Haupt-OS: ESXi 6.7
Warum: Professioneller Hypervisor zur Virtualisierung von allem, was man sich nur vorstellen kann. Kostenlos (für meine Ansprüche). Schlank (kleiner Footprint, bootet auf Wunsch von USB). Schnell. Laufen Solaris-VMs. Man kann PCIe-Geräte exklusiv an VMs durchreichen (s.u. zur NAS-VM und Desktop-VM).

Ausgangsbasis für alles ist ein sicheres Datengrab. Da liegen die Fotos der Familie (auch als Backup selbst für entferntere Verwandte), Belege für die Steuer und verschiedene weitere Dinge, die nicht verloren gehen sollen. Diese Daten sollen am Ende möglichst sicher sein - sicher vor Verschlüsselungstrojanern, versehentlichem Löschen, Hardware-Defekt (inkl. Blitzschlag) und Fehlbedienung des Admins (also mir). :)

VM1: "NAS"
OS: Solaris 11.3 mit napp-it GUI
Spezielle Hardware: HBA Dell H200 per passthrough durchgereicht
Warum: ZFS, ZFS, ZFS...ach und ZFS. Und dazu noch insb. sensationelle Features rund um NFS, SMB, iSCSI, Rechteverwaltung uvm. Will nichts anderes mehr für meine Daten. So richtig rockt ZFS m.E. halt (noch) nur mit Solaris.

VM2: VPN
OS: CentOS7
Warum: OpenVPN Server. War bei mir schon immer separat. Funzt einfach.

VM3+4: "USV" (mit APCUPSD)
OS: CentOS7
Warum: steuern detailliert das Herunterfahren der Server, inkl. der VMs, die darauf laufen. Die großen USV können das übers Netz o.ä., meine sind zu blöd (billig) und können nur einen PC über USB ansteuern. So kann ich ohne Aufpreis mehrere Rechner pro USV steuern.

VM5: Firewall
OS: Sophos UTM
Warum: Trennung von Server-, WLAN-, Gast- und Familiennetzen, Sonderregeln, Webfilter... ziemlich coole Sache.

VM6: vollwertiger Desktop
OS: Win10 Pro
Spezielle Hardware: Quadro P400 (daran: eigener Monitor/Touchscreen), USB3-PCIe-Karte (daran: USB Soundblaster X-Fi Surround 5.1 Pro, Keyboard, Mouse, Touchscreen),
Warum: ich sitze - notgedrungen - mit meiner Daddelkiste auch im Keller nicht allzuweit vom Server entfernt. Eine zweite Surfbox hatte ich schon immer (um nicht immer aus dem Spiel tasken zu müssen oder einen Film nebenher laufenlassen zu können usw.). Man nehme einen eh laufenden Server, Spieltrieb und das wurde dann die nächste VM... mit eigener dedizierter Grafikkarte, USB-Sound usw. Man könnte sogar drauf zocken (hatte mal zwischendurch testweise eine 1080Ti drin...)

VM7: Minecraft-Server
OS: Ubuntu Server 18.04 LTS
Warum: Die Familie will zusammen Minecraft spielen. Zurzeit in 3 Welten.

VM8: Teamspeak-Server
OS: CentOS7
Warum: liegt wohl auf der Hand.

Zu den komplizierteren VMs (insb. GPU-Passthrough, APCUPSD) habe ich in einem anderen Forum auch jeweils HowTos geschrieben - ich bin aber nicht sicher, wie gut Igor es finden würde, wenn ich dorthin verlinke. Ist jetzt aber zu viel Arbeit, das alles auch noch hierher zu transportieren.

Bilder:

Eine hübsche Frontansicht:

01_.jpg

Die 120er-Lüfterbank in der Mitte:

03_.jpg

Von rechts nach links:
1. Slotblende mit SFF8088, um NOCH MEHR PLATTEN in einem externen Gehäuse anschließen zu können... ;)
2. ConnectX-4 100Gbit
3. Quado P400
4. Emulex 10Gbit
5. Dell HBA H200
6. USB-Karte (nur noch zu erahnen)

Auch noch im Bild: Die Spitze von 'nem USB-Stick

02_.JPG

Rückansicht, wie gerade oben nur jetzt von links nach rechts:

04_.JPG
 
Zuletzt bearbeitet von einem Moderator :
Ich hab mal wieder rumgespielt... und mit ein bisschen Spaß an der Freude kommen dann ganz witzige Werte raus... :p
Nur mal so: CrystalDiskmark lief auf einem CLIENT übers NETZ auf einer SMB-FREIGABE...

Yeah baby.

100gbit.png
 
Alles andere wäre ja einfach... :D
 
Mir ist gerade aufgefallen, dass ich hier gar nicht meine letzten Server-Umbauten verewigt habe… mein TR3960X ist vom Desktop (dafür irgendwas zwischen suboptimal und overkill) in den Server gewandert.


Hier also das schon länger aktuelle System als mein Mainserver, wobei ich das glaub schon mal in der Bastelbude gepostet hatte:

CPU: Threadripper 3960X
Mainboard: ASRockRack TRX40D8-2N2T
RAM: 8x16GB Kingston ECC UDIMM (Mix aus 4x2666 und 4x3200)
HBA: Avago SAS3224 24Port 12GSAS
NIC: Mellanox ConnectX-4 Dual Port (1x 100Gbit, 1x10Gbit mit Adapter) = 8 SRIOV-Devices (4+4)
Netzteil: Seasonic Prime 1300W
Storage:
4x1TB Samsung 980 Pro (PCIE passthrough)
4x2TB ADATA (PCIE passthrough)
2x1TB Samsung PM9A1 (PCIE passthrough)
4x1TB Samsung 860 EVO (RDM)
4x256GB ADATA SATA SSD (RDM)
2x240GB Samsung SM883 (direkter VM Storage)
1x120GB Samsung SM863 (direkter VM Storage)
1x120GB SanDisk SSD (Gerümpel / Spielwiese / Backup)
1x 256GB Samsung 830 (Gerümpel / Spielwiese / Backup)

Kühlung:
Watercool CPU-Block Heatkiller IV
Watercool Heatkiller Tube 100 (mit multitop und DDC-Untersatz)
Pumpe DDC 1Plus T PWM
Aquacomputer HighFlow Durchflusssensor
Aquacomputer QUADRO
HWLabs 360er Radi
Kleinkram (Barrow Fittings / Snake Adapter, Bitspower Schnelltrenner, Watercool EPDM Schlauch)
6x Noctua NF-A12x25 PWM
2x Noctua NF-A8 PWM

15EB6AF4-2ED1-47D0-AABB-5FBB6B1D2E9B.jpegA80A668F-4670-4FDD-A386-D3ADB97128D5.jpeg

Zu den ursprünglichen VMs sind zwischenzeitlich noch eine Lancache- und eine TrueNAS-VM hinzugekommen. Lancache rockt in einem mehr-Per… äh… -Maschinen-Haushalt. Steam-Downlods & Co. mit 110MB/s kann schon was… aber dummerweise limitiert das Netzwerk dann schon, vor allem, wenn man mehrere Clients gleichzeitig updaten will…

Überlege, mit TrueNAS langfristig Solaris als primäres Storage-OS zu ersetzen. Solaris ist zwar technisch immer noch weit vorne, aber leider gibts bestimmte Faxen (Treiber für Connectx-4) nur für 1.000 Euro pro Jahr (=Support-Vertrag).

Demnächst gibts evtl. nochmal was Neues aus dem Bereich Netzwerk bei mir - das dauert aber noch ein wenig und wird wohl eine etwas größere Bastel-Aktion…
 
Zuletzt bearbeitet :
EEEEENDLICH!

Ich bin ja vor längerer Zeit von meinem Daddel-Kellerloch in einen etwas behaglicheren Bereich umgezogen. Nachteil: ich hatte irgendwie bei der Planung der Verkabelung vom Keller in diverse Räumlichkeiten nicht antizipiert, dass ich irgendwann mal mehr als CAT7 brauchen könnte...

Als ich dann irgendwann es doch nicht lassen konnte und mal an verschiedenen Kabeln testweise gezuppelt und in diverse Schächte mit der Taschenlamkpe geleuchtet hatte, fiel mir auf, dass das ja Rohre sind...

Tjo, und dann dachte ich mir halt "auf die ISDN-Strecke könnteste ja vielleicht im Falle eines Falles doch verzichten?"...

Also, Kabel bestellt, Hos... äh... Dosen runter und erst mal das ISDN-Kabel mit Draht & MPO-Kabel (12 Fasern) dran nach unten rausgezogen, und mit dem Draht dann am Ende sogar das ISDN-Kabel wieder hochgewürgt...

ISDNweg_Glasdrin.jpg

ISDN_wiederdrin.jpg
Fertig.jpg

Endlich.jpg Funzt.jpg

Das ist nur mal flott zum Testen mein 08/15 Storage, irgendwas mit 4 SATA-SSDs und dank Solaris-ZFS 'nem ziemlich juten Read-Cache...
 
So, das Chaos im Keller ist endlich auch etwas weniger geworden. Nachdem ich mit meinem Daddelplatz aus dem Kellerloch entkommen war, musste ich zum Glück auch nicht mehr so sehr auf die Lautstärke achten: sowohl die USV als auch einer der Switches ist nicht gerade leise (und ich werde wohl auch noch eine 1U-Lüftereinheit einsetzen, um für etwas mehr Airflow zu sorgen).

Von oben nach unten:

Patchfeld (aus den verschiedenen Etagen)
Aruba Hauptverteiler für Hausgerümpel (48x1GBE+4x10GBE-Glas)
Mikrotik 8x10Gbit-Glas, Core für Server und als Zentrale für alles "Schnellere"
DLink 8x10Gbit-Kupfer, für die ein oder andere schnellere Kiste im Haus.

01_vorläufig.jpg

Jetzt steht die Basis im Netz, um noch mehr Storage von diversen Kisten zentral in den Keller zu verlagern. Für Gaming & Co. müssen für das einfache Fussvolk 1000MB/s halt reichen. ;) Auch reizt mich Deduplication schon lange als Projekt/Spielwiese (bei den ganzen Steam-, Epic, Origin, blablabla-Bibliotheken speichert man ja quasi den ganzen Rotz nicht nur doppelt, sondern u.U. pro Mitbewohner)...

Lancache rockt übrigens immer noch. Wäre ja cool, wenn Dedup auch das berücksichtigen würde... Naja, das ist dann wieder ein Langzeitprojekt, wenn ich das überhaupt je ernsthafter angehe...
 
So, als quasi Alleinunterhalter in diesem sub-Forum muss ich ja irgendwie dieser Verantwortung gerecht werden. Da es beim Desktop aktuell schon viel zu lange langweilig ist (hänge eh im GPU-Limit, egal welch tolle CPU ich darunter schnalle), habe ich also doch nicht länger widerstehen können und PCIE-werde meinen Server umgestalten… die Wakü wird dabei wohl (mit einem lachenden und einem weinenden Auge) auch wieder rausfliegen - da ich nicht mehr im gleichen Raum wo der Server steht arbeiten und spielen muss, darf es da mittlerweile halt wieder etwas lauter werden. Auch die sonstigen Komponenten beschweren sich bestimmt auch nicht über etwas mehr Airflow und praktikabler ist das Ganze am Ende ja auch.

Welche Hardware es dann wird, verrate ich mal noch nicht. OS-seitig wird es aber wieder ESXi als Hypervisor - entweder 6.7 oder sogar 7. Diverse Passthrough-Spielereien bleiben ebenfalls erhalten. Dazu vermutlich zwei Storage-VMs (1x Windows-Server für unwichtigen Highspeed-Kram mit 100Gbit, 1x Solarish oder FreeBSD mit ZFS als sicheren Speicherplatz). Außerdem will ich mal mit Deduplication experimentieren: aber vor allem wenn man sich mal den RAM-Hunger mit so 5GB RAM pro 1TB Speicherplatz vor Augen führt, will das selbst bereits bei relativ kleinen Storagepools gut überlegt sein…

Hach, ich muss sagen, die Spielereien mit sowas machen mir deutlich mehr Freude als die letzten % Performance oder Effizienz aus einem 08/15 Desktop rauszuquetschen. Aber das Gute ist ja, jedem das Seine! :)

Jedenfalls wird dadurch der TR3960X wieder frei und wird wohl wieder in den Desktop einziehen. Einfach ein schönes Stück Silizium und für einen Server irgendwie doch zu schade, mit meinem blöden Gigabyte-Mainboard für den 11900K war ich eh nie so richtig happy und die Plattform an sich hat für meine Spielereien rund um Netzwerk, Storage und Virtualisierung eh zu viele Einschränkungen, als dass ich damit richtig Spaß hätte. Über den 11900K, Brett und etwas RAM freut sich dann wieder jemand bei Friends & Family, wo ein 7700K schon darauf wartet, aufs Altenteil gehen zu dürfen.

Es steht also wieder Bastelspass ins Haus. Hoffe, Anfang nächster Wocher kann’s dann losgehen!
 
Aktueller Zwischenstand: "Testbench-Status" :p

Testbench.jpg

Status:
Hypervisor: installiert & läuft
NFS-Storage: eingehängt & läuft testweise / provisorisch
VMs: laufen testweise / provisorisch

To Do's:
Netzwerk sauber aufsetzen
VMs neu organisieren
Storage umziehen / neu aufsetzen
Alles in Gehäuse verfrachten
 
Ich lese Deine Beiträge ja immer sehr gerne, aber da fällt mir dann doch meine mangelnde Kompetenz sehr drastisch auf. Was Du da immer zauberst ist zumindest für mich bewundernswert bis schräg, auch wenn ich jedes zweite Wort duckduckgoen muss. (y)
Also ruhig mehr davon.
 
Ach, im Prinzip sind das ja auch nur PCs. Aber ich finde es irgendwie witzig, dass sich in dem Bereich - abseits ganz spezifischer Anwendungen - sich quasi niemand für die Themen interessiert, die ansonsten bei uns so von Bedeutung sind (insb. CPU-Performance, RAM-Geschwindigkeit, GPU...).

Dafür ist quasi ALLES ANDERE recht wichtig. :D Im Serverbereich planst Du im Prinzip vor allem die Menge RAM und grobe Anzahl Kerne, legst eine zum Backbone passende NIC (wenn nicht eh sowieso onboard dabei) dazu und dann dreht sich der Rest um Storage bzw. Infrastruktur drumrum (Netzwerk).

@Home kann man das dann wieder etwas zusammenstutzen und/oder eine (un)gesunde Mischung aus beiden Welten schaffen, wo es sich aber m.E. für eine vernünfigte Entscheidung schon lohnt bzw. zwingend ist, die bekannte Consumerwelt zu verlassen und sich mit den Themen aus der Enterprise-Welt zu beschäftigen. Es gibt halt Gründe, warum die Blickwinkel und Schwerpunktsetzung ganz anders sind. Besonders charmant ist halt ein gewisses, beliebtes "all-in-one" Konzept, das quasi mehrere spannende Elemente einer Enterprise-Struktur auf einer einzelnen Kiste verwirklicht, gerade um das Thema Storage herum und klassische Netzwerkdienste im Heimnetzwerk, worum es ja beim Thema "Homeserver" bzw. NAS o.ä. in der Regel geht.

Das Konzept ist simpel: man nehme einen (!) Hardware-Server mit einem Hypervisor als "OS" auf dem nach dem "best in class"-Prinzip virtualisiert die wesentlichen Teilkomponenten abgebildet werden. Zentraler Dreh- und Angelpunkt ist dann oft vor allem eine sog. Storage-VM. Diese Storage-VM verwaltet dann quasi sämtliche Datenträger (bis auf min. einen, auf dem die Einstellungen und die virtuelle Festplatte der Storage-VM liegen), indem der Hypervisor die Datenträger 1:1 an die Storage-VM "durchreicht" ("passthrough"). Macht man das mit dem sog. PCIE-Passhtrough, dann wird das ganze PCIE-Gerät (z.B. NVME-SSD, separater Disk-Controller ("Host Bus Adapter", kurz HBA)) mit allem zippundzapp dem Hypervisor "weggenommen" (der Hypervisor sieht das Gerät quasi überhaupt nicht mehr) und die VM bekommt die absolute Kontrolle über das Gerät und ggf. daran angeschlossene weitere Geräte (eben einschließlich Zugriff auf etwaige SSDs inkl. SMART-Werte, Trim etc.). Und jetzt kommt der Clou: die Storage-VM kann jetzt Speicherplatz für weitere VMs an den Hypervisor per Standard Netzwerkprotokoll (z.B. NFS, SMB, iSCSI) über die Virtualisierungsfunktionen des Hypervisors nahezu ohne Performance-Verlust "zurück" geben, worauf der Hypervisor dann weitere VMs ablegen kann. Mit den weiteren VMs ggf. Container usw. bildet man dann alles Weitere ab (Firewall/VPN, Teamspeak, Media-Streamer, Game-Server...), was man eben so braucht, die Einsatzmöglichkeiten sind eigentlich unbegrenzt, die Flexibilität und der Komfortgewinn bei Datensicherung, Backup, Umzügen usw. gigantisch. Die Grundidee ist dabei dann immer die Gleiche und ebenfalls simpel: man trennt "Anwendung" und Nutzdaten: Anwendung als eigene VM (oder Container), Nutzdaten (Bilder, Video, Musik...) liegen auf der Storage-VM. Gibt's Probleme mit der Anwendung, ist die jeweilige VM razzfazz wiederhergestellt, die Nutzdaten sind immer da und alle anderen Dienste (Anwendungen) laufen in ihrer jeweiligen VM ungestört weiter. Mir ist in seit knapp 7 Jahren noch NIE der Hypervisor als Ganzes oder auch nur die Storage-VM abgestürzt, d.h. die wichtigen Sachen waren immer da, da alles auf dem zentralen, sicheren, zuverlässigen, sauberen Storage läuft. =)

Die Umsetzungsmöglichkeiten sind im Detail vielfältig. Ich nehme z.B. als Hypervisor vmware ESXi (top "enterprise-grade" Hypervisor, m.E. die bestmögliche Kombination aus Flexibilität und Zuverlässigkeit) und als OS für die Storage-VM Solarish oder FreeBSD (absolut stabile "enterprise-grade" OS mit ZFS als dem "besten Filesystem der Welt" plus sensationelle Kernfunktionalität im Netz).

Weil aber diese eine Kiste dann der zentrale Dreh- und Angelpunkt ist und wenn etwas schiefgeht, das Heiligste (die Daten) betroffen sein können, empfiehlt sich für diese Kiste dann quasi eben auch Enterprise-grade Hardware (und ggf. Software) mit all den schönen Dingen, die sich kluge Leute ausgedacht haben, um eben Daten vor Verlust bzw. ungewollter Veränderung zu schützen.

In meinem Fall schwingt da natürlich zum einen eine große Menge Faszination mit (fand Netzwerke, Virtualisierung und Performance zwischen zwei oder mehr Rechnern) schon immer spannender als z.B. CPU-/RAM-OC. Zum anderen hab' ich das aber auch nie "richtig" gelernt und mache das auch nicht beruflich, sondern habe mich da nur nebenher reingefuchst durch viel Lesen und vor allem Ausprobieren. Das heisst: ich weiß auch nicht alles, nichts wirklich und auch ganz andere Wege führen nach Rom. ;)
 
Warum heißt der Titel überhaupt 100 GBit? Letzentlich hätte man auch einfach Infiniband hinschreiben können, um nichts anderes geht es hier.
Warum sollte das "Zuhause" keiner brauchen? Wer sich z.B. einen günstigen HPC Cluster aus DDR3 zusammenbauen möchte braucht definitiv Infiniband , führt kein Weg daran vorbei, ansonsten ist bei vier Nodes Feierabend.
 
Weil ich auch eine 100Gbit Ethernetstrecke (nicht Infiniband) habe, mit RDMA über SMB Direct. Und davon ab gibt es auch Infiniband mit unterschiedlichen Geschwindigkeiten...
 
Warum nicht einfach mal zugeben, dass man Unsinn rausgehauen hat? Dem weiter nur Halbwahrheiten nachzuschieben macht die Sache nicht besser und hilft darüber hinaus niemandem. Die Karte „ist“
vor allem kein Protokoll und kann als VPI eben genau beides. Und Infiniband muss nicht die bessere Latenz haben, RDMA geht zB. auch über Ethernet und letztendlich sind die Techniken mit RDMA eh nahe Verwandte. Und wenn man kein RDMA benutzt sondern in der klassischen TCP/IP Welt bleibt, geht es eben gerade noch weniger um Infiniband…

Aber das soll’s dann an der Stelle von mir dazu auch sein: der Titel passt zum Inhalt und wenn Du nach „Überfliegen“ einfach nur unqualifiziert rumpöbeln willst, bitte.
 
Zuletzt bearbeitet :
Dem weiter nur Halbwahrheiten nachzuschieben macht die Sache nicht besser und hilft darüber hinaus niemandem.

Unterstellungen helfen auch niemanden

Und Infiniband muss nicht die bessere Latenz haben


Dann scheinst Du mehr zu wissen als alle anderen:

Transport-latency-vs-packet-size.ppm






IPoIB-Latency.png





Soviel zu deinen Halbwahrheiten "Netzwerktechniker". Man verwendet nicht ohne Grund Infiniband. Ändert trotzdem nichts an der Tatsache das Mellanox ConnectX-4 Karte eine typische Infiniband Karte ist.
 
Wo ist eigentlich Dein Problem? Schlecht geschlafen? Vielleicht mal früher ins Bett gehen anstatt um nach eins irgendwo drüber zu lesen und Dich auszukotzen. :D

Zum Thema Latenz sollte man dann bitte auch nicht Äpfel und Birnen vergleichen, sondern die RDMA-„Ethernet“-Alternative zu Infiniband betrachten: RoCE(v2). Dann ist der Unterschied nämlich bisweilen durchaus marginal bis nicht vorhanden:


Übrigens verwendet „man“ das auch in der realen Welt da draußen - je nach Einsatz.

Und ansonsten Deine Halbwahrheit: ConnectX-4 ist Infiniband. Wahrheit: Sie ist AUCH Infiniband. Aber auch Ethernet/RoCE/whatever. Nix Unterstellung von mir, ist Fakt. Da hilft es auch nicht nachzuschieben, dass es eine TYPISCHE Infiniband-Karte sei. Darum ging es nie, hätte ich auch nie widersprochen. Nur hattest Du Dich beim Rummeckern über den Titel leider daneben gesetzt. Dir fehlte aus irgendwelchen Gründen was mit Infiniband hier und das scheint Dich wohl geärgert zu haben. Warum verstehe ich nicht - nur weil eine Komponente hier zufällig auch Infiniband kann, soll ich das in den Titel schreiben? Echt jetzt?

Mach halt einen Infiniband-Thread auf und erklär der Welt, wie’s geht…kannste dann auch nennen, wie Du lustig bist. Dein Nick scheint ja Programm zu sein, vielleicht kannst Du dann in dem Thread nach Herzenslust den Dampf mal ablassen.

Man, jetzt bin ich doch auf Dein Niveau runter. Damit das nicht so weiter geht (dont feed the troll und so) setz ich Dich nun auf ignore - am besten machst Du das auch mit mir und wir beide haben eine hübsche heile Welt! :D
 
Zuletzt bearbeitet :
Bin mal wieder am Rumspielen. Nur mal kurz ein Zwischenstand (Windows Client CDM auf "virtuellem" Windows Server"; Windows Server als ESXi-VM mit 4x NVMe im PCIe-Passthrough konfiguriert als Striped Volume):

smbdirect.jpg

StripedVol.jpg

100gbit.jpg

Zum Vergleich, CDM nativ auf dem "virtuellen" Server:

Server_nativ.jpg

Da haut beim Transfer übers Netz also zum einen ordentlich irgendwo ein Cache rein, dafür sind vor allem die writes schlechter. Insgesamt ist aber auch nativ auf'm Server die Performance solala: bei 4xPCIe4 NVME im Raid0 (980 Pro) müsste eigentlich mehr rauszubekommen sein...

neverending story. =)
 
Danke für den schönen Erfahrungsbericht. Wenn ich nicht im selben Raum sitzen würde wie meine Server dann wäre ich auch schon längst auf Rackserver umgestiegen...
 
So ein Selbstbau-Rack geht auch durchaus in leise - saß vor nicht allzu langer Zeit auch mit den Kisten im einem Raum (daher kamen auch die Wakü-Lösungen/-Experimente).

Aber selbst mit Luft sind die mit schönen 120ern in der Mittelbank leiser als ein Gaming-PC in einem normalen Gehäuse - vom Airflow sind die m.E. jedenfalls nah am Optimum. In meinem Backup-Intertech lassen sich sogar 5 120er unterbringen (hat keine HotSwap-HDD-Cages vorne, so dass rechts und links noch je einer hinpasst. Da bekommt man mit den 5 mehr Sturm an die Hardware als mit jedem blöden Tower.
 
Wie viele HE muss so ein Case eigentlich haben, damit ein normales ATX Netzteil reinpasst, 3 oder 4?
 
Oben Unten