Frage Wie teilt sich das IPMI-Seitenband den Ethernet-Port mit dem Host?


Wir haben eine Reihe von Supermicro-Maschinen mit IPMI / BMC-Funktionen. Einige dieser Maschinen verwenden einen integrierten BMC, andere verwenden einen Zusatzkarte.

Wir prüfen die Verwendung von Seitenband aufgrund der reduzierten Kosten und Verkabelungsanforderungen. Einige Seitenbanddetails machen jedoch keinen Sinn.

Das Seitenband benötigt ein Ethernet-Kabel, das an einen Ethernet-Port des Motherboards angeschlossen wird. Dieser Netzwerkanschluss wird dann vom IPMI-System und dem Betriebssystem gemeinsam genutzt. Von dem, was ich gelesen habe dieses Supermicro-Handbuch, "Verwenden Sie dieselbe MAC-Adresse, die Sie für LAN1 für die SIMSO IPMI-Karte verwenden". Das IPMI muss jedoch eine andere IP-Adresse als das Betriebssystem haben.

Wie ist es möglich, zwei Geräte (das Betriebssystem und das IPMI) zu haben, die auf demselben physischen Netzwerkanschluss hören und übertragen können? Wenn ein Paket an der Schnittstelle ankommt, wie ermittelt das System, ob dieses Paket für das Betriebssystem oder für das IPMI-System bestimmt ist?

Werden diese Pakete von der CPU überhaupt mit CPU-Interrupts behandelt? Können Pakete zur IPMI-Schnittstelle vom Betriebssystem angezeigt werden?


22
2018-04-14 18:58


Ursprung




Antworten:


Ich verwalte viele SuperMicro-Server mit dem integrierten IPMI. Ich habe eine Hassliebe mit dem geteilten (aka sideband) Ethernet. Im Allgemeinen funktioniert LAN1 so, als ob es zwei (unterschiedliche) MAC-Adressen hätte - eine für die IPMI-Schnittstelle, die andere für Ihre Standard-Broadcom-NIC. Der Verkehr zur IPMI-Schnittstelle (Schicht 2, basierend auf der MAC-Adresse) wird auf magische Weise unterhalb der Betriebssystemebene abgefangen und niemals von irgendeinem laufenden Betriebssystem gesehen.

Sie haben bereits einen guten Punkt für sie gefunden: weniger Verkabelung. Lassen Sie mich nun einige der Schattenseiten behandeln:

  • Es ist besonders schwierig, die IPMI-Schnittstelle in einem separaten Subnetz auf sichere Weise zu partitionieren. Da der Verkehr allesamt über dasselbe Kabel geht, müssen Sie (fast) immer die IPMI-Schnittstelle und die LAN1-Schnittstelle im selben IP-Subnetz haben. Auf den neuesten Motherboards unterstützen die IPMI-Karten nun die Zuweisung eines VLANs zur IPMI-Netzwerkkarte, so dass Sie einen gewissen Anschein von Trennung bekommen - aber das zugrunde liegende Betriebssystem könnte immer den Datenverkehr für dieses VLAN erkennen. Bei älteren BMC-Controllern ist es nicht möglich, das VLAN zu ändern, obwohl Tools wie "ipmitool" oder "ipmicfg" es angeblich erlauben, es zu ändern, es funktioniert einfach nicht.
  • Sie zentralisieren Ihre Fehlerpunkte auf dem System. Konfiguration auf einem Switch vornehmen und sich irgendwie abschneiden? Herzlichen Glückwunsch, Sie haben jetzt die primäre Netzwerkverbindung zu Ihrem Server UND die Sicherung über IPMI getrennt. NIC-Hardware schlägt fehl? Herzlichen Glückwunsch, dasselbe Problem.
  • Frühe SuperMicro IPMI BMCs waren berüchtigt dafür, mit der Netzwerkschnittstelle wackelige Dinge zu tun. Ob der integrierte vs. dedizierte IPMI-Port verwendet wurde, wurde oft beim Einschalten (nicht beim Neustart) festgestellt und konnte nicht von dort aus umgeschaltet werden. Wenn Sie einen Stromausfall hatten und Ihr Switch nicht schnell genug mit Strom versorgt wurde, konnte es passieren, dass das IPMI nicht funktionierte, da es automatisch die falsche Einstellung erkannt hatte.
  • Ich hatte persönlich viele seltsame, unerklärliche Konnektivitätsprobleme, die dazu führten, dass das Seitenband IPMI zuverlässig funktionierte. Manchmal konnte ich die Schnittstelle IP für ein paar Minuten einfach nicht anpingen. Manchmal bekam ich einen Sturm von Paketen auf dem zugewiesenen VLAN, aber der Verkehr schien alle fallengelassen zu haben.

Obwohl dies nichts mit Seitenband-vs.-dediziert zu tun hat, werde ich bemerken, dass die Tools für den Zugriff auf Host-Systeme sehr schlecht geschrieben sind. Ältere IPMI-Karten unterstützen nur die lokale Authentifizierung. Wenn Sie die KVM-over-IP-Funktionalität verwenden, müssen Sie ein nicht korrekt signiertes, abgelaufenes Java-Applet oder eine seltsame Java-Desktop-Anwendung verwenden, die nur unter Windows funktioniert und zur Ausführung eine UAC-Erhöhung benötigt. Ich habe den Tastatureintrag bestenfalls als fleckig empfunden, manchmal "steckengebliebene Schlüssel", so dass es unmöglich ist, ein Passwort einzugeben, um sich einzuloggen, ohne es zehnmal zu versuchen.

Ich habe es schließlich geschafft, 40+ Systeme zu bekommen, die mit dieser Anordnung arbeiten. Ich habe meist neuere Systeme, ich könnte VLAN die IPMI-Schnittstellen in einem separaten Subnetz, und ich verwende meistens die serielle Konsole über ipmitool, die sehr gut funktioniert. Für die nächste Generation von Servern schaue ich mich an Intels AMT-Technologie mit KVM-Unterstützung; Da dies in den Serverbereich gelangt, kann ich IPMI damit ersetzen.


38
2018-04-15 04:06



Danke für die sehr ausführliche Erklärung. Haben Sie weitere Informationen darüber, wie der Datenverkehr "magisch unterhalb der Betriebssystemebene abgefangen wird und von keinem Betriebssystem gesehen wird"? Wir versuchen zu verstehen, wie das funktioniert. - Stefan Lasiewski
Eine einfache Hardware-Brücke wird den Zweck erfüllen. - Antoine Benkemoun
Tolle Antwort und ja der Verkehr ist überbrückt - Jim B
Stephan - Antoine und Jim haben es in den Kommentaren erklärt - es ist wahrscheinlich eine Hardwarebrücke. Stellen Sie sich das wie einen winzigen Switch vor, der in Silizium implementiert ist und die physische NIC-Schnittstelle mit zwei virtuellen NICs verbindet - einen für IPMI, einen für den Hauptcomputer. - natacado
Danke für diese Erklärung. Genau so dachte ich, es würde funktionieren, aber wenn ich das mit anderen Leuten (Netzwerkadministratoren, Systemadministratoren) diskutiere, bekomme ich viel Uneinigkeit. - Stefan Lasiewski


Ich habe diese bestimmten Karten zuvor nicht verwendet, die verwendeten Karten haben entweder eine andere MAC für den IPMI-Verkehr oder der Port ist nur für den IPMI-Verkehr reserviert. Es ist möglich, dass IPMI die NIC einschließlich der MAC teilt.

IPMI wird eine andere IP als das Betriebssystem haben, so dass die Pakete basierend darauf korrekt geleitet werden. IPMI-Datenverkehr trifft niemals die CPU, alles wird in den Seitenbandverwaltungs-ICs behandelt.


3
2018-04-14 19:14



Aha. Einige IPMI-Karten auf einigen Systemen "teilen sich die MAC-Adresse" (sieht aus wie Supermicro & Dell dies tun), während andere unterschiedliche MAC-Adressen verwenden (IBM tut dies). - Stefan Lasiewski
Auf meinen Dell-Servern hat die IPMI-Schnittstelle einen anderen MAC, obwohl es sich um den gleichen physischen Netzwerkanschluss handelt. - sciurus


Ich wollte zum allgemeinen Hinweis hinzufügen, dass die Verwendung von Seitenband bedeutet, dass Sie nicht vom Server zum BMC sprechen können. Der Verkehr scheint herausgefiltert zu sein. Ich habe dies auf IBM / Dell / HP-Kit versucht.


1
2018-01-27 10:45



um darüber zu sprechen, wie es mich auch gerade getroffen hat. ESXI und keine VMs können auf den BMC zugreifen (aber ext Hosts können), WARUM? Denn der Datenverkehr, der auf dem NSCI-Port (Shared IPMI) ausgeht, müsste einen Switch treffen und auf denselben Port zurückprallen. AFAIK typische L2-Switches nicht. - kevinf


Ich werde den letzten Punkt von Natacados in seiner ersten Antwort sichern, Ihre IPMI-Sitzungen werden nach dem Zufallsprinzip ablaufen (ich benutze IPMIView vom Supermicro, um auf die Konsole meiner Boxen zu schauen). Dinge wie Firmware-Upgrades und Powercycles scheinen unerklärlicherweise und zufällig zu versagen.

Große Antwort Natacado, unglaublich gründlich.


0
2018-04-20 15:24



Stellen Sie sicher, dass Ihre IPMI-Firmware auf dem neuesten Stand ist! Wenn zwischen der IPMI-Firmware-Version und der IPMIView-Softwareversion eine Verbindung besteht, die groß genug ist, erhalten Sie beim Versuch, eine KVM-Sitzung zu initiieren, eine generische, kryptische "Fehlerverbindung". Das Aktualisieren auf die neueste IPMI-Firmware (dies kann über das Hauptmenü des IPMIView-Dienstprogramms unter Datei durchgeführt werden) hat es behoben. : p - Jeff Atwood