StarFabric Technologie

StarFabric – ein Netz von PCI-Bussen

THE Bridge-Boards erweitern ihren PCI-/CPCI-Bus, verbinden ihn mit weiteren PCI-/CPCI-Systemen oder Extensionboards, und das bis zu einer Distanz von jeweils 13 Metern.

Für die Datenübertragung via StarFabric übersetzt die Bridge den parallelen PCI-Datenverkehr in ein serielles Format.

Eine Verbindung zwischen zwei Knoten wird als Link bezeichnet. Ein solcher Link besteht aus getrennten Sende- und Empfangsleitungen und kann im Vollduplexmodus mit einer „Single Link“-Verbindung eine Übertragungsgeschwindigkeit von 2,5 GBit erreichen.

Bei Bedarf kann ein zweites Kabelpaar angeschlossen werden und damit können die beiden Links

• separat für eine redundante Verbindung oder
• parallel, um eine bidirektionale
  5 GBit-Verbindung zu erhalten,

betrieben werden.

Auf jedem StarFabric-Board befinden sich zwei Links, die über vier RJ45-Buchsen nach außen geführt sind und mit gängigen Netzwerk-Patchkabeln (cat5 oder besser) verbunden werden können. Der maximale Abstand zwischen zwei Knoten darf 13 m betragen. Die Kabellängen der  Sende- und Empfangsleitungen eines Links müssen immer gleich lang sein.
Das Kabel für RX ist am anderen Ende auf TX und das Kabel von TX ist am anderen Ende auf RX zu stecken.

Switched Fabric Netzwerktopologie

StarFabric basiert auf einer Switched Fabric Netzwerktopologie. Dabei handelt es sich um eine Ansammlung von schaltbaren Punkt-zu-Punkt-Verbindungen. In einem solchen Netzwerk verhalten sich alle Teilnehmer als gleichberechtigte Partner und jeder kann mit jedem direkt oder über einen Switch kommunizieren. Der Vorteil einer Switched Fabric ist, dass sich die Teilnehmer des Netzes die Bandbreite nicht teilen müssen.

Jeder Knoten im Netzwerk speichert alle vorhandene Knoten und Pfade. Das routingfähige StarFabric Protokoll kann den kürzesten Weg zu einem Zielknoten ermitteln. Beim Ausfall eines Pfades kann schnell ein alternativer Pfad zum gewünschten Zielknoten berechnet werden.
Bis zu 7 Switches können in Reihe geschaltet werden. In diesem sternförmigen Netzwerk können bis zu 1000 Endknoten beliebig kaskadiert und damit redundante Netze aufgebaut werden.

Ein Switched Fabric Netzwerk besteht immer aus einem Root und mindestens einem Leaf. Der Root initiert die Vergabe von eindeutigen Adressen, sog. FIDs (Fabric Identifier) an die Leafs. Die Hartmann THE-Bridge Karten lassen sich per Schalter als Root- oder Leaf-Karte konfigurieren.

Beim Aufbau von Netzwerken mit der StarFabric Technologie wird zwischen einem transparenten und einen nichttransparenten Modus unterschieden.

Transparenter Modus

Im transparenten Modus funktioniert eine The-Bridge-Karte wie eine einfache PCI to PCI Bridge und wird auch als solche nach dem Einbau beim Booten vom BIOS erkannt.
Für diesen Modus werden keine zusätzlichen Treiber für das Betriebssystem benötigt.
Die Bridge-Funktion der StarFabric ermöglicht eine Verlängerung des PCI-/CPCI-Bus über die Rechnergrenzen hinaus, da die CPU und das BIOS des Host-PCs im transparenten Modus nicht zwischen einer lokal oder einer entfernt angeschlossenen PCI-Karte unterscheidet.
Zusätzlich kann mit StarFabric Switches ein beliebig kaskadierbares Netzwerk aus einzelnen PCI-Bussegmenten aufgebaut werden, dessen Größe nur durch den Adressraum des Host-PCs begrenzt wird.

Inbetriebnahme eines transparenten Netzwerkes

1. Einbau der Rootkarte (Deviceslotboard)
   Die vorkonfigurierte Rootkarte in den Host-PC einbauen. Die eingebaute Rootkarte ermöglicht dem BIOS die Erkennung aller PCI-Karten in den über das StarFabric Netz verbundenen PCI-Bussegmenten. Beim ersten Startvorgang nach dem Einbau der Rootkarte erkennt das Windows Plug and Play die Karte als „anderes PCI Brückengerät” und fordert zur Treiberinstallation auf. Die Installation des Treibers kann ohne Funktionseinbuße bei der Verwendung im transparenten Modus ignoriert werden.
   Der Host-PC muss zum nun folgenden Aufbau des Netzwerkes wieder heruntergefahren und ausgeschaltet werden.
2. ggfs. Einbau der Leafkarten (Systemslotboards)
   In allen externen PCI/CPCI-Racks muss jeweils eine vorkonfigurierte Leafkarte eingebaut werden. Diese Leafkarte dient als Masterbus im jeweiligen Bussegment.
   Dient ein Extensionboard als Systemslotboard, so entfällt dieser Schritt.
3. Aufbau des StarFabric Netzes
   Zum Aufbau des Netzes müssen alle THE-Bridge-Karten, Extensionboards und StarFabric-Switches über die Links verkabelt, d. h. verbunden werden.
   Bitte beachten: Die Kabellängen der Sende- und Empfangsleitungen eines Links müssen immer gleich lang sein.
   Das Kabel für RX ist am anderen Ende auf TX und das Kabel von TX ist am anderen Ende auf RX zu stecken.
4. Inbetriebnahme des Systems
   Bei der Inbetriebnahme eines StarFabric Netzwerkes im transparenten Modus ist darauf zu achten, dass alle verbundenen Racks vor dem Host-PC eingeschaltet sein müssen. Sonst kann das BIOS des Host-PC´s die zusätzlichen PCI-Karten nicht erkennen.
   Nach dem Einschalten des Host-PC müssen die gelben Link LEDs der verwendeten Buchsen dauerhaft leuchten. Ist dies nicht der Fall, so sollte überprüft werden, ob die jeweilige TX-Buchse mit der entsprechenden RX-Buchse der Gegenseite verbunden ist.

Nichttransparenter Modus

Die Gateway-Funktion der StarFabric wird verwendet, um über die alternative Routingmethoden Datenverkehr zu weiteren Fabric-Systemen herzustellen.
Im nichttransparenten Modus besteht jeder Knoten aus einem PC bzw. einer CPU.
Zum Betrieb eines solchen Netzes muss die Bridgefunktion auf allen Leafkarten deaktiviert sein.
Für den Betrieb eines StarFabric Netzes im nichttransparenten Modus ist die Installation des Treibers für das jeweilige Betriebssystem zwingend notwendig.

Für StarFabric Softwareentwicklungen für die schnelle Datenübertragung im nichttransparenten Modus stellt Hartmann Elektronik die StarFabricCom-Bibliothek zur Verfügung. Diese stellt ein API (Application Programming Interface) dar, das im wesentlichen einen Client/Server gesteuerten Datenaustausch über ein „virtuelles“ Shared-Memory ermöglicht. Dieses API basiert auf der StarGen FPL Library, die als Teil der StarGen SDK von StarGen/Dolphin nach Abschluss eines „Non Disclosure Agreement“ bezogen werden kann. Nähere Informationen dazu, finden Sie auf der Webseite von der Firma Dolphin (www.dolphinics.com).

Für spezifischere Entwicklungen beinhaltet die FPL Library Funktionen und Mechanismen, mit denen eine Datenübertragung im nichttransparenten Modus realisiert werden kann:

Routingmethoden

• Path Routing
  Durch diesen Mechanismus werden die Daten nur an einen Empfänger weitergeleitet. Der Pfad wird durch das StarFabric IC vorgegeben, standardmäßig wird der kürzeste Pfad gewählt.
• Multicast Routing
  Hier können Daten an mehrer Empfänger gleichzeitig gesendet werden. Dazu können gezielt Multicast Gruppen als Empfänger definiert werden.

Verkehrsklassen

Um bestimmte Daten bevorzugt über das Netzwerk zu übertragen, können Prioritäts- bzw. Verkehrsklassen vergeben werden.

Bandbreitenregelung

Bei isochronen und Multicast-Übertragungen kann vor Beginn des Datentransfers eine zu erwartende Bandbreite reserviert werden.

Fehlertolerante Strategien

Durch redundanten Aufbau kann die Ausfallsicherheit erhöht werden. Fällt in Pfad aus, so ermittelt das System automatisch einen funktionierenden Pfad und sendet über diesen die Daten. Redundanz kann z. B. durch einen zweiten Switch erzeugt werden.

Credit-Based-Technik

Die StarFabric überträgt Daten nur, wenn der Empfänger diese auch abnehmen kann. Diese Credit-Based-Technik verhindert Kollisionen und vermeidet unnötige Last in der StarFabric.

Synchronisation der Daten

Netzteilnehmer, mit betriebsbereiten Verbindungen, werden synchronisiert.

Inbetriebnahme eines nichttransparenten Netzwerkes

1. Einbau der Rootkarte (Deviceslotboard)
   Die vorkonfigurierte Rootkarte in den Host-PC einbauen.
   Die eingebaute Rootkarte ermöglicht dem BIOS die Erkennung aller PCI-Karten in den über das StarFabric Netz verbundenen PCI-Bussegmenten. Beim ersten Startvorgang nach dem Einbau der Rootkarte erkennt das Windows Plug and Play die Karte als „anderes PCI Brückengerät” und fordert zur Treiberinstallation auf. Nach der Installation des Treibers, muss der Host-PC zum nun folgenden Aufbau des Netzwerkes wieder heruntergefahren und ausgeschaltet werden.
2. Einbau der Leafkarten (Systemslotboards)
   In alle weiteren angeschlossenen PCs wird eine vorkonfigurierte Leafkarte eingebaut.
   Beim ersten Startvorgang nach dem Einbau der Leafkarte erkennt das Windows Plug and Play die Karte als „anderes PCI Brückengerät” und fordert zur Treiberinstallation auf. Nach der Installation des Treibers, muss der Rechner zum nun folgenden Aufbau des Netzwerkes wieder heruntergefahren und ausgeschaltet werden.
3. Aufbau des StarFabric Netzes
   Zum Aufbau des Netzes müssen alle THE-Bridge-Karten und StarFabric-Switches über die Links verkabelt, d. h. verbunden werden.
   Bitte beachten: Die Kabellängen der Sende- und Empfangsleitungen eines Links müssen immer gleich lang sein.
   Das Kabel für RX ist am anderen Ende auf TX und das Kabel von TX ist am anderen Ende auf RX zu stecken.
4. Inbetriebnahme des Netzwerkes
   Bei der Inbetriebnahme eines StarFabric Netzwerkes im nichttransparenten Modus ist darauf zu achten, dass alle verbundenen Racks vor dem Host-PC eingeschaltet sein müssen. Dieser nimmt die Arbitrierung des StarFabric Netzwerkes vor und vergibt allen angeschlossenen StarFabric Devices eine eindeutige Fabric Identifier Adresse (FID).

Für die Verwendung der StarFabric im nichttransparenten Modus müssen verschiedene Einstellungen in der Registrierungsdatei vorgenommen werden.