InfiniBandの概要
InfiniBandのアーキテクチャ
InfiniBandの機能と特長
InfiniBandのプロトコルのロードマップ
Links
 
InfiniBand 物理層解析
 

InfiniBandの概要

InfiniBandはチャンネル・ベースによるシリアル交換式のファブリックI/Oテクノロジであり、大規模サーバーに適した高速相互接続の各種要件を満たすように設計されています。InfiniBandの競合相手であるNGIOグループとFutureIOグループが統一規格を制定するためのプロジェクトを固めたことを受けて、InfiniBandの各ベンダーはInfiniBandテクノロジを採用した製品の大量生産を開始し、複数の企業サイトや機関サイトにInfiniBand製品の初期導入を図っています。

一般的に、エントリレベルからミッドレンジのサーバーの標準I/Oアーキテクチャでは、PCIバスを通じてアダプタ・カードとの通信を確立した後、アダプタ・カードを通じてストレージ機器やネットワークとの通信を行います。このようなPCIバス・アーキテクチャはサーバー本体との間で交換される トラフィックの効率的な伝送手段であることが既に実証されていますが、シリコンのコストが低下するに伴い、シリアルI/Oアーキテクチャのほうがより魅力的になってきました。シリアルI/Oアーキテクチャは複数のコンピューティング・リソース間にポイント・ツー・ポイント接続を提供し、信頼性とパフォーマンスの向上に効果があります。元来、InfiniBandアーキテクチャ(IBA)はPCIバス・アーキテクチャの代替として考案されましたが、その複雑性や開発作業の遅延のために、当初の目的から外れた方向に進んでいます。ただし、InfiniBandのユニークな特性はハイパフォーマンス・コンピューティング(HPC)テクノロジの分野に大きな価値とチャンスをもたらします。

今日のサーバー・クラスタでは、ベンダー固有の相互接続規格に基づいて、複雑な特性を持つクラスタ・トラフィックを効率的に管理しています。InfiniBandアーキテクチャ(IBA)では、最初に業界標準のI/O相互接続規格に基づいてサーバー・クラスタを構成できるため、クラスタ内のサーバーをデータセンター環境に自由(ユビキタス)に配備することができます。

究極的に、InfiniBandアーキテクチャでは、クラスタ化した複数のサーバーを単一のエンティティとして統合管理することができます。従来のクラスタに付き物の複雑な設定を行わなくても、ボックスを追加するだけで、パフォーマンスが拡大されます。より多くのシステムを追加できますが、それらのシステムは単一のユニットとして管理されます。処理能力に対する要求が増大した場合は、別のサーバー(ブレード)の形式で、クラスタに処理能力を追加できます。

InfiniBandのアーキテクチャ

InfiniBandアーキテクチャ(IBA)では、複数の接続経路を結合することによって、1秒あたり最大30ギガビットのパフォーマンスを実現できます。IBAの全二重シリアル通信仕様で必要とされるのは4本のワイヤのみであるため、12系統の高速シリアル通信がわずか48本のワイヤ(信号経路)でサポートされます。特に、PCI-Xアーキテクチャをバックプレーン接続で使用するときの90ピン構成と比較すると、この仕様は極めて魅力的です。IBA物理層のその他の仕様として、独自のバックプレーンI/Oコネクタの提供や、ホットスワップ機能のサポートが挙げられます。費用効率性を上げるために、IBAのネットワーク相互接続レベルでは現在入手可能な既成の銅製ツイストペア・ケーブルと光ファイバー・ケーブルを使用します。

新しい相互接続規格であるIBAでおそらく最も重要な要素は、InfiniBandのリンク層とトランスポート層です。パケット通信レベルでは、ネットワーク管理とデータ転送に関して2種類の特殊なパケットが定義されています。管理パケットは、デバイスの目録管理、サブネットの方向指定、障害耐久性の維持など、ネットワークの運行管理に使用されます。データ・パケットは実際のデータの転送に使用されます。各データ・パケットには最大4KBのトランザクション情報を格納できます。個々のデバイス・サブネットの内部では、Subnet Managerにより、16ビットのローカル識別アドレスに基づいてパケットの方向とスイッチング特性が制御されます。

InfiniBandの機能と特長

  • 階層型プロトコル
  • 複数の階層間の接続
  • パケットに基づく通信
  • マルチキャストに対応
  • パケットと終端ノードを障害から保護
  • サブネット管理機能
  • 可変のリンク速度 - 1x, 4x, 12x
  • 1秒あたり2.5〜30ギガビットの転送速度
  • PCBリンク、銅製リンク、ファイバー物理リンクのサポート
  • リモートDMAのサポート

チャンネル・ベースのアーキテクチャ - InfiniBandアーキテクチャは、チャンネル・ベースのI/Oモデルに基づいています。ファブリック・ノード間の接続は本質的に、今日の分岐型の共有バス方式よりも信頼性に優れています。

メッセージ受け渡し機構 -

InfiniBandアーキテクチャ・プロトコルでは、効率的なメッセージ受け渡し機構を利用してデータを転送します。これにより、今日のほとんどのシステムで採用されている伝統的な「Load Store」モデルが排除され、より信頼性の高い効率的なデータ転送が実現されます。

十分な冗長性 -

InfiniBandアーキテクチャは、複数レベルの冗長性を念頭において構築されています。InfiniBandアーキテクチャにノードを接続すれば、リンクの冗長性が確保されます。つまり、1つの経路で障害が発生しても、別の経路を通じて トラフィックを最終的な終端宛先に送信できます。また、InfiniBandアーキテクチャでは冗長ファブリックがサポートされ、アーキテクチャ内部で極めて高い信頼性が実現されます。複数の冗長ファブリックのおかげで、ファブリック全体が障害に陥ってもデータセンターの機能が停止することはありません。

QoS (Quality of Service) -

InfiniBandアーキテクチャのリンク層ではQoS特性がサポートされます。InfiniBandには、15個の独立レベル(VL0〜14)と1つの管理パス(VL15)を使用して、デバイス固有の優先順位を設定する機能があります。この機能では、ファブリック全体のI/O処理に順位が割り当てられるため、より重要な トラフィックを優先することができます。

クレジット・ベースのフロー制御 -

クレジット・ベースのフロー制御アプローチでは、IBAネットワーク内で情報を受信する各ノードから発信側のデバイスに対して、パケット損失なしで有効に転送可能なデータの最大量を表す値が通知されます。このようなクレジット情報は、IBAファブリックに沿った専用リンクを通じて転送されます。受信側デバイスの主要な通信バッファを通じてデータが転送可能であるという通知を送信側デバイスが受け取るまで、パケットは送信されません。

CRCチェック -

2種類のCRC(巡回冗長検査)コードを使用して、エンド・ツー・エンド整合性をチェックできます。個々のデータ・フィールドに16ビットの可変CRC値が割り当てられ、IBAファブリックの各ホップでCRC値が再計算されます。IBAファブリックの各ホップで変更されない静的データを保護するために、32ビットの固定CRC値も用意されています。

サブネットの管理 -

InfiniBandのネットワーク層では、1つのサブネットから別のサブネットにパケットをルーティングすることができます。ルーティングされる各パケットには、グローバル・ルート・ヘッダ(GRH)が付加され、送信元ノードと宛先ノードを表す128ビットのIPv6アドレスが追加されます。また、InfiniBandのネットワーク層では、すべてのサブネット上の各デバイスを一意に識別する64ビットの標準グローバルIDが使用されます。IBAネットワークでは、これらのグローバルID値を適切に操作することによって、複数の論理サブネットに沿ってデータを転送できます。

InfiniBandのプロトコルのロードマップ

InfiniBandのユニークな点は、PCB相互接続のほかに、既成のシャーシ間相互接続がサポートされることです。InfiniBandアーキテクチャでは、4ワイヤの2.5Gbps双方向接続が規定されています。InfiniBandの複数の物理回線を階層化することによって、4X = 10Gbps および 12X = 30Gbps という拡張がサポートされます。

 

Links

InfiniBand 物理層解析