Frage Neu geplantes Homelab

[Fintastic]

Hallo zusammen,
suche nach einem leistungsfähigen Router für mein Homelab.

Das neue Homelab soll einen 100 Gbe Qsfp28 Switch, einen 10 Gbe Qsfp/Fsp+ Switch, einen 1 Gbe Fsp/Rj45 Switch und ein Ubiquiti WLAN beinhalten.

Braucht der Router eine Qsfp28 Netzwerkkarte, damit das 100Gbe Netzwerk nicht an Leistung verliert oder reicht eine 10 Gbe Qsfp bzw. Fsp+?

Anbei eine ungefähre, schnell gezeichnete Planung:


Wie wäre es zum Beispiel hiermit (sofern 10 Mbe kein Leistungseinbruch bedeutet):



Hier der Link mit verschiedenen Modellen:

394.61€ 32% OFF|Homelab Community Soft Router 2*10g sfp 4x Intel i226 V 8x2,5g i7 10510U nvme 6 * sata Firewall Appliance Mini PC Proxmox Server| | - AliExpress

Smarter Shopping, Better Living! Aliexpress.com

de.aliexpress.com

Das interne Routing würde ich ungern den 100 Gbe Switch erledigen lassen. Ist halt ein Switch und kein vollwertiger Router. Und mit 650 MHZ ist die CPU nicht unbedingt ein Kraftprotz.
Firewall und Routing sind wohl eher was für eine Opensense.
Wenn die genannte Box zum Flaschenhals wird, würde ich sonst halt auf ne Bastellösung mit 100Gbe Dualkarte zurückgreifen.

 

[Besterino]

Grundsätzlich trau' ich 2,5Gbit-Infrastruktur noch nicht so recht. Man liest (las?) doch immer mal wieder von Problemchen hier und da, gerne auch im Zusammenhang mit Intel-NICs.

Ansonsten ähnelt meine Welt hier Deiner Skizze: an einem 100Gbit-Switch hängen 3 Switches mit 2-4 10GBit-Ports: quasi je einer pro Etage und einer als 10/1gbit "Core-Switch" im Keller. Bei mir sind alle Geräte außer Telefone und Tablets (nur) per Kabel angebunden.

 

[Fintastic]

Wie ich gelesen habe, hat der Mikrotik CRS504 kein RDMA und kein QoS-Shaping.

In wie fern gibt es da Lösungen, um das Fehlen dieser Optionen „abzufedern“?

 

[Besterino]

Gibt’s m.W. nix.

 

[Fintastic]

Okay, dann muss eine Alternative zu Mikrotic her, bzw. kann ich es so sinnvoll gestalten, dass das 100Gbe Netz bestehen bleibt, ich aber RDMA usw nutzen kann? Habt ihr Empfehlungen, die das können und trotzdem keine Stromfresser sind?

 

[Besterino]

Du brauchst entweder RDMA-fähige Switches = groß, laut, teuer, durstig, oder machst 100gbe per Direktverbindung direkt NIC zu NIC. Letzteres hatte ich zuerst, habs dann aber zugunsten non-RDMA per billigem Mikrotic aufgegeben, weil es diverse infrastrukturelle Vorteile hat (RDMA und Virtualisierung ist nicht ganz ohne) und du erstmal nen Storage brauchst, wo du an die Grenzen von non-RDMA-Performance kommst… also ca. 3-4x min PCIe3 oder 2x PCIe4 NVME SSD im Raid0.

Hab das alles durchaus in verschiedenen Varianten durchexerziert, hätte aber mit RDMA mein Wunsch-Setup (Solaris Filer in VM auf ESXi-Host) nicht verwirklichen können, ohne zigtausend Euro investieren zu müssen. Und mit meinem Epyc-Server auf Supermicro Brett mit Mellanox ConnectX-4 fühlte ich mich gar nicht mal so schlecht aufgestellt…

Das Problem bei mir war/ist allerdings vor allem Solaris. Mit z.B. Win-Server als Filer und Windows-for-Workstations als Client-OS (smbdirect & smbmultichannel!) ging mit RDMA aber schon damals ziemlich problemlos die Post ab. Problem: manche Software mag SMB als Connection für „Laufwerke“ nicht (lässt sich darauf nicht installieren oder von dort starten) und iSCSI über RDMA ist dann wieder ein ganz anderes Kapitel…

Alles nicht so trivial und mir als reiner Hobby-Admin war’s dann zu aufwändig bzw. die Investitionskosten mehr oder weniger ins Blaue hinein zu hoch. Hab halt keinen Beruf, wo man mal mit verschiedener Profi-Hardware spielen kann und dann ggf. privat nur das kauft, wo man weiß, dass es wirklich funzt.

Lese daher hier gerne weiter mit, vielleicht hat sich ja seit meiner letzten Beschäftigung damit wieder einiges getan.

Kannst ja auch hier mal reinschauen, da posten z.B. ab und an welche ihre Switches und ist etwas mehr Wissen versammelt als hier (die letzten Seiten reichen im Zweifel schon, musst nicht alles von Anfang an durchblättern): 100gbe im LUXX