アマゾン ウェブ サービス（AWS）におけるSAP HANAシステムレプリケーションスケールアウト高可用性

本ドキュメントでは、SUSE Linux Enterprise Server for SAP Applications 12 SP4またはSUSE Linux Enterprise Server for SAP Applications 15をベースとして、分離されたAWSアベイラビリティゾーンにインストールされたSAP HANAスケールアウトシステムレプリケーションクラスターの設定方法について説明します。

よりわかりやすい概要を提供するために、インストールと設定を7つのステップに分けます。

図 1: 3項 「計画とインストール」 4項 「SUSE Linux Enterprise High Availability ExtensionクラスターによるAWSの使用」 5項 「両サイトでのSAP HANAデータベースのインストール」 6項 「SAP HANAシステムレプリケーションの設定」 7項 「SAP HANAとクラスターの統合」 8項 「クラスターとSAP HANAリソースの構成」 9項 「クラスターのテスト」 #

 

設定プロセスを実行した結果、システムレプリケーション構成でSAP HANAスケールアウトノードの2つのグループを制御するSUSE Linux Enterprise Server for SAP Applicationsクラスターが構築されます。フェールオーバーがわずか数分で完了することから、このアーキテクチャは「パフォーマンス最適化シナリオ」と名付けられました。

図 2: SAP HANA SRを使用したクラスター - パフォーマンス最適化 #

 

インストール計画は、SAP HANAクラスターの設定を成功させるために不可欠です。

図 3: 計画 4項 「SUSE Linux Enterprise High Availability ExtensionクラスターによるAWSの使用」 5項 「両サイトでのSAP HANAデータベースのインストール」 6項 「SAP HANAシステムレプリケーションの設定」 7項 「SAP HANAとクラスターの統合」 8項 「クラスターとSAP HANAリソースの構成」 9項 「クラスターのテスト」 #

 

作業開始前に以下を準備する必要があります。

3.1 環境要件 #

 

このセクションでは、SAP HANAスケールアウトをインストールし、AWSにクラスターを作成するための最低要件を定義します。

注記

ここで述べる最低要件にSAPサイジング情報は含まれません。サイジング情報については、公式のSAPサイジングツールおよびサービスをご利用ください。

注記

AWSにSAP HANAスケールアウトクラスタをデプロイするには、AWSクイックスタートに従い、「単一のアベイラビリティゾーン（AZ）マルチノードアーキテクチャ」デプロイオプションを使用するのが推奨方法です。SAP HANAスケールアウトを手動でインストールする場合は、推奨のストレージ構成およびファイルシステムを含む詳細なインストール手順について、AWS SAP HANAガイドドキュメントをご参照ください。

図 4: 2つのアベイラビリティゾーンにまたがるSAP HANAスケールアウトシステムレプリケーション向けに簡素化されたクラスターアーキテクチャ #

 

このガイドでは一例として、2つの3ノードSAP HANAスケールアウトクラスター（各アベイラビリティゾーンにつき1つずつ）と1つのマジョリティメーカー（mm）ノードで構成されるSUSEクラスターの実装について詳しく説明します。ただし、EC2インスタンスの数を除き、他のすべての要件は、次に示すとおり、SAP HANAノードの数にかかわらず同じです。

• AZ-a内の3つのHANA認定EC2インスタンス（ベアメタルまたは仮想化）

• AZ-b内の3つのHANA認定EC2インスタンス（ベアメタルまたは仮想化）

• AZ-c内の1つのEC2インスタンス。クラスターにおけるマジョリティメーカーとして使用。最低2つのvCPU、2GBのRAM、および50GBのディスク容量

• /hana/shared用の2つのAmazon Elastic Filesystem（EFS）

• プライマリ（アクティブ）HANAシステムクラスター用の1つのオーバーレイIPアドレス

3.3 SUSE Linux Enterprise High Availability ExtensionによるAWSのSAPスケールアウトシナリオ #

 

AWSのSAP HANAスケールアウトクラスターでは、3つ目のアベイラビリティゾーンでマジョリティメーカーノードを使用する必要があります。マジョリティメーカーは、タイブレーカーノードともいい、1つのアベイラビリティゾーンが失われてもクラスタークォーラムの維持を確保します。AWSでは、スケールアウトクラスターの機能を維持するために、少なくとも1つのアベイラビリティゾーンにあるすべてのノードとマジョリティメーカーノードが稼動している必要があります。それ以外の場合、クラスタークォーラムが失われ、残っているSAP HANAノードがある場合は自動的に再起動します。

クラスターノードの各セットは、「クラスター」モードを使用する独自のEC2プレイスメントグループを所有することも推奨されます。これは、スケールアウトデプロイにおけるSAP HANAで求められるノード間通信に必要な低レイテンシと高スループットのネットワーク性能をノード間で実現可能するために必要です。

フェールオーバーを自動化するために、SUSE Linux Enterprise Server for SAP Applicationsに組み込まれているSUSE Linux Enterprise High Availability Extension（HAE）が使用されます。SAP HANAスケールアウト高可用性をサポートするために作成された2つのリソースエージェントが含まれています。

最初のリソースエージェント（RA）はSAPHanaControllerで、SAP HANAデータベースインスタンスのチェックと管理を行います。このRAはマスター/スレーブリソースとして構成されます。

マスターはプライマリモードで稼動しているSAP HANAデータベースのアクティブなマスターネームサーバーに対して責任を負います。その他のすべてのインスタンスはスレーブモードで表されます。

2番目のリソースエージェントはSAPHanaTopologyです。このRAはクラスターの構成を可能な限り単純化するために作成されています。SUSE Linux Enterprise High Availability Extension 12クラスターのすべてのSAP HANAノード（マジョリティメーカーを除く）で動作します。SAP HANAシステムレプリケーションのステータスと構成に関する情報を収集します。通常の（ステートレス）クローンリソースとして設計されています。

図 5: クラスターリソースエージェントとマスター/スレーブステータスのマッピング #

 

スケールアウト向けのSAP HANAシステムレプリケーションは、次のシナリオまたはユースケースでサポートされています。

パフォーマンス最適化、単一コンテナ（A > B）

パフォーマンス最適化シナリオで、サイト「A」のSAP HANA RDBMSは2つ目のサイト「B」のSAP HANA RDBMSと同期します。2つ目のサイトのSAP HANA RDBMSはテーブルをプリロードするように構成されるので、通常、テイクオーバーの時間は非常に短くなります。

パフォーマンス最適化、マルチテナンシ（MDCともいう）（%A > %B）

マルチテナンシは上記のすべてのシナリオとユースケースでサポートされています。このシナリオはSAP HANA 1 SPS12以降でサポートされています。クラスターから見た設定と構成は、マルチテナンシーもシングルコンテナも同様です。したがって、上記のドキュメントは両方のシナリオに適用できます。

マルチテナンシはSAP HANA 2.0のデフォルトのインストールタイプです。

3.5 重要な前提条件 #

 

SAPHanaSR-ScaleOutリソースエージェントソフトウェアパッケージは、次の構成とパラメータを使用して、スケールアウト（マルチノードからマルチノードへ）のシステムレプリケーションをサポートします。

• クラスターには有効なSTONITH手段が必要です。AWSで使用されるSTONITHメカニズムはウォッチドッグを使用したディスクレスSBDです。

• HANAプライマリおよびセカンダリは異なるアベイラビリティゾーン（AZ）にあるため、オーバーレイIPアドレスが必要です。

• Linuxユーザーおよびグループ（<sid>admなど）は、Linux OSでローカルに定義されます。

• すべてのノードの時刻同期は、デフォルトでAmazonのTime Sync Serviceを利用します。

• 異なるアベイラビリティゾーンにあるSAP HANAスケールアウトグループは、同じSAP識別子（SID）およびインスタンス番号を持つ必要があります。

• EC2インスタンスは異なるホスト名を持つ必要があります。

• SAP HANAスケールアウトシステムは、1サイトにつきただ1つのアクティブなマスターネームサーバーを持つ必要があります。最大3つのマスターネームサーバー候補（構成済みのロール「master<N>」を持つSAP HANAノード）を持つ必要があります。

• SAP HANAスケールアウトシステムは、ただ1つのフェイルオーバーグループを持つ必要があります。

• 本ドキュメントで説明しているクラスターは、Read-enabledに設定されたセカンダリサイト用のサービスIPアドレスは扱いません。

• ただ1つのSAP HANAシステムレプリケーション設定（AZ-aからAZ-bへ）があります。

• この設定はパフォーマンス最適化シナリオを実装しますが、コスト最適化シナリオは実装しません。

• saphostagentはすべてのSAP HANAノードで稼動している必要があります。これは、SAP HANAのインストール時に使用されるシステムノード名とSAPホスト名の間の変換で必要になるためです。

• レプリケーションモードは「sync」または「syncmem」のどちらかである必要があります。

• クラスターによって制御されるすべてのSAP HANAインスタンスは、sapinit自動起動でアクティブ化しないでください。

警告

テイクオーバー後に障害発生プライマリの自動登録が可能です。ただし、開始時に適切な構成として、障害発生プライマリの自動登録をオフにすることが推奨されます。したがって、AUTOMATED_REGISTER="false"がデフォルトで設定されます。

この場合、テイクオーバー後に障害発生プライマリを手動で登録する必要があります。hanastudioまたはhdbnsutilなどのSAPツールをご利用ください。

• システムブート時のSAP HANAインスタンスの自動起動は、いずれの場合もオフにする必要があります。

• 記述しているすべての設定には、少なくともSAPHanaSR-ScaleOutバージョン0.161、「SUSE Linux Enterprise Server for SAP Applications 12 SP4」または「SUSE Linux Enterprise Server for SAP Applications 15」、SAP HANA 1.0 SPS12（122）またはSAP HANA 2.0 SPS03が必要です。SAPノート2235581をご参照ください。

重要

有効なSTONITH手段を実装する必要があります。有効なSTONITH手段がない場合は、クラスターのすべてはサポートされないため、正しく動作しません。当面のドキュメントでは、STONITHとしてディスクレスSBDが使用されます。

この設定ガイドでは、執筆時点でただ1つサポートされているシナリオとして、パフォーマンス最適化シナリオに焦点を当てます。

別のシナリオを実装したりクラスター構成をカスタマイズしたりする必要がある場合は、SUSEおよびAWSとともに概念実証（PoC）を定義することを強くお勧めします。このPoCはユーザーのシナリオで既存のソリューションをテストすることに焦点を当てます。

SUSE Linux Enterprise High Availability ExtensionクラスターはAWSリージョンにインストールされます。AWSリージョンは複数のアベイラビリティゾーン（AZ）で構成されています。アベイラビリティゾーン（AZ）は、AWSリージョン内で冗長な電源、ネットワーキング、および接続性を備えた1つ以上の別個のデータセンターです。AZではユーザーが、単一のデータセンターで実現可能なものと比べてより高い可用性、耐障害性、拡張性がある本稼働システムおよびデータベースを運用できます。AWSリージョン内のすべてのAZは、完全に冗長で、専用のメトロファイバーが提供する、高スループットで低レイテンシのAZ間ネットワークを通じて、高帯域幅で低レイテンシのネットワーキングにより相互接続されます。AZ間のすべてのトラフィックは暗号化されます。このネットワーク性能はAZ間の同期レプリケーションを実現するのに十分です。すべてのAZは互いに100km以内にありますが、他の任意のAZとかなりの距離（何kmも）を隔てて物理的に分離されています。個々のアベイラビリティゾーンの障害に耐えるため、AWSでは冗長なクラスターノードが異なるアベイラビリティゾーンにまたがって分散するアーキテクチャパターンを推奨しています。

AWS仮想プライベートネットワーク（VPC）はすべてのアベイラビリティゾーンにまたがっています。ユーザーは以下を所有していることが前提となります。

HANAサービス向けの仮想IPアドレスはオーバーレイIPアドレスです。これは、インスタンスが存在するアベイラビリティゾーン（およびサブネット）にかかわらず、ネットワークトラフィックをインスタンスに送信できる特定のルーティングエントリです。

クラスターはこのルーティングエントリを必要に応じて更新します。VPC内のすべてのSAPシステムコンポーネントは、このオーバーレイIPアドレスを通じて、VPC内にSAPシステムコンポーネントを持つAWSインスタンスに到達できます。

オーバーレイIPアドレスには1つの要件があり、VPCの外部にCIDR範囲を持つ必要があります。そうでない場合、サブネットと特定のアベイラビリティゾーンの一部になる可能性があります。

オンプレミスで、HANA StudioなどのユーザーはこのIPアドレスに到達できません。これは、AWS仮想プライベートネットワーク（VPN）ゲートウェイがトラフィックをそうしたIPアドレスにルーティングしないからです。

4.1 AWS環境構成 #

 

AWSでインストールを開始する前に満たす必要のある前提条件を以下に示します。

• AWSアカウントを保有していること

• 管理権限または以下の権限を持つAWSユーザーを保有していること。

  • セキュリティグループの作成

  • AWSルーティングテーブルの変更

  • ポリシーの作成とIAMロールへのアタッチ

  • EC2インスタンスの送信元/送信先チェックの有効化/無効化

  • プレイスメントグループの作成

• ランドスケープについて以下を理解していること。

  • 使用するAWSリージョンとそのAWS名を知っている

  • 使用するVPCとそのAWS VPC IDを知っている

  • 使用するアベイラビリティゾーン（AZ）を知っている

  • 各アベイラビリティゾーンにサブネットが存在する

    • サブネットに暗黙的または明示的に付属するルーティングテーブルがある

    • サブネットにSAPインストール用のフリーIPアドレスがある

    • サブネット間のネットワークトラフィックを許可している

    • サブネットからの外部インターネットアクセスを許可している

注記

AWS SAP HANAクイックスタートを使用すると、上記のすべての必須AWSリソースが自動的にデプロイされます。これは、該当するすべてのSAPノートおよび構成を確実にAWSリソースに適用するための最速で最も安全な方法です。

4.2 セキュリティグループ #

 

クラスターノードによる相互通信を可能にするために、次のポートおよびプロトコルを構成する必要があります。

• インバウンドUDP用のポート5405。Corosync通信レイヤを構成するために使用され、ポート5405がよく使用されます。Corosync構成に応じて別のポートを使用できます。

• インバウンドTCP用のポート7630。Web GUI であるSUSE「HAWK」で使用されます。

注記

このセクションでは、SUSE Linux Enterprise HAEクラスターで使用可能にする必要があるポートのみを示しています。SAP関連のポートは含まれていません。

4.5 ホスト名 #

 

デフォルトで、EC2インスタンスは自動生成されたホスト名を持ちます。ただし、SAP要件に合ったホスト名を割り当てることが推奨されます。SAPノート611361をご参照ください。ホスト名に関して、次のように/etc/cloud/cloud.cfgを編集する必要があります。

preserve_hostname: true

注記

SUSE Linux Enterpriseを実行しているEC2インスタンスのデフォルトのホスト名を変更する方法については、 https://aws.amazon.com/premiumsupport/knowledge-center/linux-static-hostname-suse/にあるAWSの公開ドキュメントを参照してください。

4.6 AWS CLI プロファイル構成 #

 

クラスターのリソースエージェントはAWSコマンドラインインターフェース（CLI）を使用します。すべてのインスタンスでrootユーザー用に作成する必要があるAWS CLIプロファイルを使用します。SUSEクラスターリソースエージェントでは、出力をテキスト形式で生成するプロファイルが必要です。

プロファイルの名前は任意で、後でクラスター構成に追加されます。この例で選択されている名前はclusterです。インスタンスのリージョンも追加する必要があります。次の例で、文字列region-nameを目的のリージョンで置き換えます。

こうしたプロファイルを作成する1つの方法は、次の内容を含むファイル/root/.aws/configを作成することです。

[default]
region = region-name
[profile cluster]
region = region-name
output = text

別の方法は、aws configure CLIコマンドを次のように使用することです。

# aws configure
AWS Access Key ID [None]:
AWS Secret Access Key [None]:
Default region name [None]: _region-name_
Default output format [None]:

# aws configure --profile cluster
AWS Access Key ID [None]:
AWS Secret Access Key [None]:
Default region name [None]: region-name
Default output format [None]: text

上記のコマンドはデフォルトのプロファイルとクラスタープロファイルという2つのプロファイルを作成します。

注記

AWSでは、これらのプロファイルにAWSユーザー資格情報またはAPI署名キーのいずれも格納しないことを推奨しています。これらのフィールドを空白のままにして、必要な権限が付いたEC2 IAMプロファイルをEC2インスタンスにアタッチします。

export HTTP_PROXY=http://a.b.c.d:n
export HTTPS_PROXY=http://a.b.c.d:m
export NO_PROXY="169.254.169.254"

export NO_PROXY="127.0.0.1,localhost,localaddress,169.254.169.254"

export HTTP_PROXY=http://username:password@a.b.c.d:n
export HTTPS_PROXY=http://username:password@a.b.c.d:m
export NO_PROXY="127.0.0.1,localhost,localaddress,169.254.169.254"

4.8 クラスターインスタンスの送信元/送信先チェックの無効化 #

 

クラスターの一部であるすべてのEC2インスタンスで、送信元/送信先チェックを無効化する必要があります。これは、AWSコマンドラインインターフェース（AWS-CLI）を使用するスクリプトまたはAWSコンソールの利用によって実行できます。クラスターの一部であるすべてのEC2インスタンスで、次のコマンドを一度だけ実行する必要があります。

# aws ec2 modify-instance-attribute --instance-id EC2-instance-id --no-source-dest-check

変数EC2-instance-idをAWS EC2インスタンスのインスタンスIDで置き換えます。このコマンドの実行対象となるシステムでは、次のポリシーを持つロールが一時的に必要です。

{
   "Version": "2012-10-17",
   "Statement": [
   {
      "Sid": "Stmt1424870324000",
      "Effect": "Allow",
      "Action": [ "ec2:ModifyInstanceAttribute"],
      "Resource": [
      "arn:aws:ec2:region-name:account-id:instance/instance-a",
      "arn:aws:ec2:region-name:account-id:instance/instance-b"
      ]
   }
   ]
}

次の個別パラメータを適切な値に置き換えます。

• region-name（例: us-east-1）

• account-id（例: 123456789012）

• instance-a、instance-b（例: i-1234567890abcdef）

注記

ポリシーに含まれる文字列「instance」は固定文字列です。置き換えが必要な変数ではありません。

送信元/送信先チェックはAWSコンソールから無効化することもできます。両方のEC2インスタンスのコンソールで、次のドロップダウンボックスから実行します（下図参照）。

図 6: コンソールで送信元/送信先チェックを無効化 #

 

# zypper info cloud-netconfig-ec2

CLOUD_NETCONFIG_MANAGE='no'

{
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "EC2:DescribeInstances",
                "EC2:DescribeVolumes"
            ],
            "Resource": "*"
        },
        {
            "Effect": "Allow",
            "Action": "cloudwatch:GetMetricStatistics",
            "Resource": "*"
        },
        {
            "Effect": "Allow",
            "Action": "s3:GetObject",
            "Resource": "arn:aws:s3:::aws-data-provider/config.properties"
        }
    ]
}

{
    "Version": "2012-10-17",
    "Statement": [
        {
           "Sid": "Stmt1424870324000",
           "Action": "ec2:ReplaceRoute",
           "Effect": "Allow",
           "Resource": "arn:aws:ec2:region-name:account-id:route-table/rtb-XYZ"
        },
        {
           "Sid": "Stmt1424870324000",
           "Action": "ec2:DescribeRouteTables",
           "Effect": "Allow",
           "Resource": "*"
        }
    ]
}

4.11 ルーティングテーブルへのオーバーレイIPアドレスの追加 #

 

EC2クラスターインスタンスによって使用される2つのサブネットに割り当てられるルーティングテーブル中のルートエントリを作成します。このIPアドレスはHANAクラスターの仮想サービスIPアドレスです。オーバーレイIPアドレスは、VPCのCIDR範囲の外部にある必要があります。AWSコンソールを使用し、「VPC」を検索します。

• VPCを選択

• 左側の列で「Route Tables」をクリック

• 使用するSAP EC2インスタンスとそのアプリケーションサーバーのいずれかからサブネットで使用されるルートテーブルを選択

• 「Routes」タブをクリック

• 「Edit」をクリック

• リストの最後までスクロールし、「Add another route」をクリック

HANAデータベースのオーバーレイIPアドレスを追加します。フィルタとして/32を使用します（例: 192.168.10.1/32）。SAP HANAマスターになるEC2インスタンスにElastic Network Interface（ENI）名を追加します。リソースエージェントは、この後者を必要に応じて自動的に変更します。「Save」をクリックして変更内容を保存します。

注記

ルーティングエントリを含むルーティングテーブルが、サービスのコンシューマを持つVPC内のすべてのサブネットに継承される必要があることは重要です。ルーティングテーブルの継承について詳しくは、AWS VPCのドキュメント（http://docs.aws.amazon.com/AmazonVPC/latest/UserGuide/VPC_Introduction.html）をご参照ください。

zypper remove SAPHanaSR SAPHanaSR-doc yast2-sap-ha

zypper in SAPHanaSR-ScaleOut SAPHanaSR-ScaleOut-doc

Refreshing service 'Advanced_Systems_Management_Module_12_x86_64'.
Refreshing service 'SUSE_Linux_Enterprise_Server_for_SAP_Applications_12_SP3_x86_64'.
Loading repository data...
Reading installed packages...
Resolving package dependencies...

The following 2 NEW packages are going to be installed:
  SAPHanaSR-ScaleOut SAPHanaSR-ScaleOut-doc

2 new packages to install.
Overall download size: 539.1 KiB. Already cached: 0 B. After the operation, additional 763.1 KiB will be used.
Continue? [y/n/...? shows all options] (y): y
Retrieving package SAPHanaSR-ScaleOut-0.161.1-1.1.noarch                                                                            (1/2),  48.7 KiB (211.8 KiB unpacked)
Retrieving: SAPHanaSR-ScaleOut-0.161.1-1.1.noarch.rpm ....................................[done]
Retrieving package SAPHanaSR-ScaleOut-doc-0.161.1-1.1.noarch                                                                        (2/2), 490.4 KiB (551.3 KiB unpacked)
Retrieving: SAPHanaSR-ScaleOut-doc-0.161.1-1.1.noarch.rpm ................................[done (48.0 KiB/s)]
Checking for file conflicts: .............................................................[done]
(1/2) Installing: SAPHanaSR-ScaleOut-0.161.1-1.1.noarch ..................................[done]
(2/2) Installing: SAPHanaSR-ScaleOut-doc-0.161.1-1.1.noarch ..............................[done]

zypper in --type pattern ha_sles

zypper patch

zypper update

ssh-keygen -t rsa

Generating public/private rsa key pair.
Enter file in which to save the key (/root/.ssh/id_rsa):
Enter passphrase (empty for no passphrase):
Enter same passphrase again:
Your identification has been saved in /root/.ssh/id_rsa.
Your public key has been saved in /root/.ssh/id_rsa.pub.
The key fingerprint is:
SHA256:ip/8kdTbYZNuuEUAdsaYOAErkwnkAPBR7d2SQIpIZCU root@<host1>
The key's randomart image is:
+---[RSA 2048]----+
|XEooo+ooo+o      |
|=+.= o=.o+.      |
|..B o. + o.      |
|   o  . +... .   |
|        S.. *    |
|     . o . B o   |
|    . . o o =    |
|     o . . +     |
|      +.. .      |
+----[SHA256]-----+

ls /root/.ssh/
id_rsa  id_rsa.pub

ssh-keyscan

ssh-keyscan -t ecdsa-sha2-nistp256 <host1>,<host1 ip> >>.ssh/known_hosts
ssh-keyscan -t ecdsa-sha2-nistp256 <host2>,<host2 ip> >>.ssh/known_hosts
ssh-keyscan -t ecdsa-sha2-nistp256 <host3>,<host3 ip> >>.ssh/known_hosts
...

rsync -ay /root/.ssh/ <host2>:/root/.ssh/
rsync -ay /root/.ssh/ <host3>:/root/.ssh/
rsync -ay /root/.ssh/ <host4>:/root/.ssh/
....

vi /etc/hosts

192.168.201.151 suse01
192.168.201.152 suse02
...

インフラストラクチャの設定が終わったので、両サイトでSAP HANAデータベースをインストールできます。クラスター内のマシンはノードともいいます。

図 7: 3項 「計画とインストール」 4項 「SUSE Linux Enterprise High Availability ExtensionクラスターによるAWSの使用」 SAPHanaInst 6項 「SAP HANAシステムレプリケーションの設定」 7項 「SAP HANAとクラスターの統合」 8項 「クラスターとSAP HANAリソースの構成」 9項 「クラスターのテスト」 #

 

この例では、ドキュメントをよりわかりやすくするために、マシン（つまりノード）にsuse01、…​ suseXXという名前を付けています。奇数が付いているノード（suse01、suse03、suse05、…​）はサイト「A」（WDF1）の部分で、偶数が付いているノード（suse02、suse04、suse06、…​）はサイト「B」（ROT1）の部分です。

次のユーザーは、SAP HANAのインストール時に自動で作成されます。

ALTER SYSTEM ALTER CONFIGURATION ('global.ini', 'SYSTEM') SET ('persistence','basepath_shared')='no';

このセクションでは、SAP HANAが正しくインストールされた後のシステムレプリケーション（HSR）の設定について説明します。

手順

図 8: 3項 「計画とインストール」 4項 「SUSE Linux Enterprise High Availability ExtensionクラスターによるAWSの使用」 5項 「両サイトでのSAP HANAデータベースのインストール」 SAPHanaHsr 7項 「SAP HANAとクラスターの統合」 8項 「クラスターとSAP HANAリソースの構成」 9項 「クラスターのテスト」 #

 

詳しくはSAP HANA Administration Guideのセクション「Setting Up System Replication」をご参照ください。

6.1 プライマリデータベースをバックアップする #

 

初めに、SAP HANA Administration Guideのセクション「SAP HANA Database Backup and Recovery」の説明に従って、プライマリデータベースをバックアップしてください。

SQLコマンドを使用してSAP HANAをバックアップする例をご紹介します。

例 8: 単一のバックアップ呼び出しを使用したシステムデータベースとすべてのテナントの単純なバックアップ #

 

ユーザー<sid>admとして、次のコマンドを入力します。

hdbsql -u SYSTEM -d SYSTEMDB \
   "BACKUP DATA FOR FULL SYSTEM USING FILE ('backup')"

次のコマンド出力（または類似する出力）が得られます。

0 rows affected (overall time 15.352069 sec; server time 15.347745 sec)

例 9: シングルコンテナ（非MDC）データベースの単純なバックアップ #

 

ユーザー<sid>admとして、次のコマンドを入力します。

hdbsql -i <Inst> -u <dbuser> \
   "BACKUP DATA USING FILE ('backup')"

重要

有効なバックアップがないと、SAP HANAをシステムレプリケーション構成に移行できません。

hdbnsutil -sr_enable --name=HAP

nameserver is active, proceeding ...
successfully enabled system as system replication source site
done.

hdbnsutil -sr_stateConfiguration

checking for active or inactive nameserver ...
System Replication State
~~~~~~~~~~~~~~~~~~~~~~~~

mode: primary
site id: 1
site name: HAP
done.

sapcontrol -nr <Inst> -function StopSystem

hdbnsutil -sr_register --name=<site2> \
     --remoteHost=<node1-siteA> --remoteInstance=<Inst> \
     --replicationMode=syncmem --operationMode=logreplay

adding site ...
checking for inactive nameserver ...
nameserver suse02:30001 not responding.
collecting information ...
updating local ini files ...
done.

sapcontrol -nr <Inst> -function StartSystem

hdbnsutil -sr_stateConfiguration

System Replication State
~~~~~~~~~~~~~~~~~~~~~~~~
mode: sync
site id: 2
site name: HAS
active primary site: 1

primary masters: suse01 suse03 suse05
done.

HDBSettings.sh systemReplicationStatus.py

| Database | Host   | .. Site Name | Secondary | .. Secondary | .. Replication
|          |        | ..           | Host      | .. Site Name | .. Status
| -------- | ------ | .. --------- | --------- | .. --------- | .. ------
| SYSTEMDB | suse01 | .. HAP      | suse02    | .. HAS      | .. ACTIVE
| HA1      | suse01 | .. HAP      | suse02    | .. HAS      | .. ACTIVE
| HA1      | suse01 | .. HAP      | suse02    | .. HAS      | .. ACTIVE
| HA1      | suse03 | .. HAP      | suse04    | .. HAS      | .. ACTIVE

status system replication site "2": ACTIVE
overall system replication status: ACTIVE

Local System Replication State
~~~~~~~~~~

mode: PRIMARY
site id: 1
site name: HAP

図 9: 3項 「計画とインストール」 4項 「SUSE Linux Enterprise High Availability ExtensionクラスターによるAWSの使用」 5項 「両サイトでのSAP HANAデータベースのインストール」 6項 「SAP HANAシステムレプリケーションの設定」 統合 8項 「クラスターとSAP HANAリソースの構成」 9項 「クラスターのテスト」 #

 

次のステップを進める必要があります。

手順

suse01~ # mkdir -p /hana/shared/myHooks
suse01~ # cp /usr/share/SAPHanaSR-ScaleOut/SAPHanaSR.py /hana/shared/myHooks
suse01~ # chown -R <sid>adm:sapsys /hana/shared/myHooks

sapcontrol -nr <Inst> -function StopSystem

[ha_dr_provider_SAPHanaSR]
provider = SAPHanaSR
path = /hana/shared/myHooks
execution_order = 1

[trace]
ha_dr_saphanasr = info

[system_replication]
operation_mode = logreplay

# SAPHanaSR-ScaleOut needs for srHook
<sid>adm ALL=(ALL) NOPASSWD: /usr/sbin/crm_attribute -n hana_<sid>_glob_srHook -v *

# SAPHanaSR-ScaleOut needs for srHook
Cmnd_Alias SOK   = /usr/sbin/crm_attribute -n hana_<sid>_glob_srHook -v SOK   -t crm_config -s SAPHanaSR
Cmnd_Alias SFAIL = /usr/sbin/crm_attribute -n hana_<sid>_glob_srHook -v SFAIL -t crm_config -s SAPHanaSR
<sid>adm ALL=(ALL) NOPASSWD: SOK, SFAIL

# SAPHanaSR-ScaleOut needs for srHook
hd1adm ALL=(ALL) NOPASSWD: /usr/sbin/crm_attribute -n hana_ha1_glob_srHook -v *

sapcontrol -nr <Inst> -function StartSystem

11.06.2018 18:30:16
StartSystem
OK

sapcontrol -nr <Inst> -function WaitforStarted 300 20

suse01:ha1adm> cdtrace
suse01:ha1adm> awk  '/ha_dr_SAPHanaSR.*crm_attribute/ \
     { printf "%s %s %s %s\n",$2,$3,$5,$16 }' nameserver_suse01.*
2018-05-04 12:34:04.476445 ha_dr_SAPHanaSR SFAIL
2018-05-04 12:53:06.316973 ha_dr_SAPHanaSR SOK

この章では、SUSE Linux Enterprise High Availability（SLE HA）クラスターの構成について説明します。SUSE Linux Enterprise High Availabilityは、SUSE Linux Enterprise Server for SAP Applicationsの一部です。さらに、SUSE Linux Enterprise High AvailabilityクラスターによるSAP HANAシステムレプリケーションの統合について説明します。この統合は、同様にSUSE Linux Enterprise Server for SAP Applicationsの一部である、SAPHanaSR-ScaleOutパッケージを使用して行われます。

図 10: 3項 「計画とインストール」 4項 「SUSE Linux Enterprise High Availability ExtensionクラスターによるAWSの使用」 5項 「両サイトでのSAP HANAデータベースのインストール」 6項 「SAP HANAシステムレプリケーションの設定」 7項 「SAP HANAとクラスターの統合」 クラスター 9項 「クラスターのテスト」 #

 

手順

8.1 基本的なクラスター構成 #

 

8.1.1 SBDフェンシング用のウォッチドッグの設定 #

 

すべてのインスタンスは、SUSEのディスクレスSBDフェンシングメカニズムを使用します。この方式では、SBDがAWS API呼び出しを発行しないので、追加のAWS権限は必要ありません。その代わりに、SBDは（ハードウェア/ソフトウェア）ウォッチドッグタイマーを利用します。

ほとんどのAWSベアメタルインスタンスはハードウェアウォッチドッグを備えており、こうしたインスタンスではハードウェアウォッチドッグを使用するために追加の操作はなく、非ベアメタルインスタンスはソフトウェアウォッチドッグを使用します。

SBDが使用される場合は常に、正しく動作するウォッチドッグが非常に重要です。最近のシステムは、ソフトウェアコンポーネントによる「くすぐり」、つまり「入力」が必要なウォッチドッグをサポートしています。ソフトウェアコンポーネント（通常はデーモン）が定期的にサービスパルスをウォッチドッグに書き込みます。デーモンがウォッチドッグへの入力を停止した場合、ハードウェアがシステム再起動を強制します。これにより、SBDプロセス自体の障害（停止など）またはI/Oエラーによる動作不能から保護されます。

適切なウォッチドッグモジュールを特定します。使用するカーネルバージョンとともにインストールされているドライバのリストを確認することもできます。

ls -l /lib/modules/$(uname -r)/kernel/drivers/watchdog

ウォッチドッグモジュールが既にロード済みかどうかをチェックします。

lsmod | egrep "(wd|dog|i6|iT)"

結果が表示される場合、システムにはロード済みのウォッチドッグが存在します。

ウォッチドッグを使用しているソフトウェアがあるかどうかをチェックします。

lsof /dev/watchdog

使用可能なウォッチドッグがない場合（仮想化されたEC2インスタンス上）、softdogを有効化できます。

再起動した後も永続的にsoftdogを有効化するには、クラスターの一部になるすべてのEC2インスタンスで（マジョリティメーカーノードを含む）、次のステップを実行します。

echo softdog > /etc/modules-load.d/watchdog.conf
systemctl restart systemd-modules-load

これにより、システムブート時に、ソフトウェアウォッチドッグカーネルモジュールもロードされます。

ウォッチドッグモジュールが正しくロードされているかチェックします。

lsmod | grep dog

ウォッチドッグのテストは、簡単な操作で実行できます。ウォッチドッグはシステムのクリーンでないリセットまたはシャットダウンを強制するので、始めにSAP HANAをオフにするよう注意してください。

ハードウェアウォッチドッグの場合、ウォッチドッグのタイムアウトに到達した後の適切な動作があらかじめ定義されています。ウォッチドッグモジュールがロードされており、他のアプリケーションによって制御されていない場合、下記のコマンドを実行します。

重要

ウォッチドッグへの継続的な入力が無いまま、ウォッチドッグをトリガすると、システムのリセットまたはシャットダウンが発生します。これは意図されたメカニズムです。次のコマンドは、システムのリセットまたは電源オフを強制します。

touch /dev/watchdog

softdogモジュールが使用される場合は、以下を実行できます。

echo 1> /dev/watchdog

テストが正常終了したら、すべてのクラスターメンバーにウォッチドッグを実装できます。下記の例はsoftdogモジュールに適用されます。

for i in suse{02,03,04,05,06,-mm}; do
 ssh -T $i <<EOSSH
 hostname
 echo softdog > /etc/modules-load.d/watchdog.conf
 systemctl restart systemd-modules-load
 lsmod |grep -e dog
EOSSH
done

すべてのクラスターノードが/dev/watchdogにあるハードウェア/ソフトウェアウォッチドッグデバイスにアクセスできたら、すべてのクラスターノードの/etc/sysconfig/sbdで、次に示すSBD構成の属性をチェックします。

#SBD_DEVICE=""
SBD_PACEMAKER=yes
SBD_STARTMODE=always
SBD_DELAY_START=no
SBD_WATCHDOG_DEV=/dev/watchdog
SBD_WATCHDOG_TIMEOUT=5
SBD_TIMEOUT_ACTION=flush,reboot
SBD_OPTS=

ここで、すべてのクラスターノードでディスクレスSBDを有効化します。

systemctl enable sbd

8.1.2 クラスターの初期設定 #

 

AWS VPCはマルチキャストトラフィックをサポートしないため、Corosync通信にはユニキャストUDPが必要です。最初のクラスターノードで、次のようにクラスター通信用の暗号化キーを作成します。

corosync-keygen

上記のコマンドはファイル/etc/corosync/authkeyを生成します。次に示すように、UNIXファイル所有者および権限を変更せず、このキーをすべてのノードにコピーします。

ls -l /etc/corosync/authkey
-r-------- 1 root root 128 Feb  5 19:47 /etc/corosync/authkey

暗号化キーの配布が済んだら、クラスタータイミング、トランスポートプロトコル、および暗号化のパラメータを使用して、初期の/etc/corosync/corosync.conf構成を作成します。使用するネットワークトポロジに従って、ノードリスト中のすべてのクラスターノードのbindnetaddrおよびring0_addr（IPv4アドレス）を交換します。

corosync.confファイルの例:

# Read the corosync.conf.5 manual page
totem {
   version: 2
   token: 30000
   consensus: 32000
   token_retransmits_before_loss_const: 6
   secauth: on
   crypto_hash: sha1
   crypto_cipher: aes256
   clear_node_high_bit: yes
   interface {
      ringnumber: 0
      bindnetaddr: <<local-node-ip-address>>
      mcastport: 5405
      ttl: 1
   }
   transport: udpu
}
logging {
   fileline: off
   to_logfile: yes
   to_syslog: yes
   logfile: /var/log/cluster/corosync.log
   debug: off
   timestamp: on
   logger_subsys {
      subsys: QUORUM
      debug: off
   }
}
nodelist {
   node {
      ring0_addr: <<ip-node01-AZ-a>>
      nodeid: 1
   }
   node {
      ring0_addr: <<ip-node02-AZ-a>>
      nodeid: 2
   }
   node {
      ring0_addr: <<ip-node03-AZ-a>>
      nodeid: 3
   }
   node {
      ring0_addr: <<ip-node01-AZ-b>>
      nodeid: 4
   }
   node {
      ring0_addr: <<ip-node02-AZ-b>>
      nodeid: 5
   }
   node {
      ring0_addr: <<ip-node03-AZ-b>>
      nodeid: 6
   }
   node {
      ring0_addr: <<ip-majority-maker-node>>
      nodeid: 7
   }
}
quorum {
# Enable and configure quorum subsystem (default: off)
# see also corosync.conf.5 and votequorum.5
   provider: corosync_votequorum
}

構成を/etc/corosync/corosync.confのすべてのノードに配布

8.1.3 クラスターを起動する #

 

すべてのノードでクラスターを起動

systemctl start pacemaker

注記

すべてのノードは並行して起動する必要があります。そうしないと、確認されないノードがフェンシングされる場合があります。

crm_monを使用して、クラスターステータスをチェックします。ここではオプション「-r」を使用して、構成済みではあるが停止していないリソースも確認します。

crm_mon -r

このコマンドは「空の」クラスターを表示し、次の画面出力のようになります。ここで最も興味深い情報は、ステータスが「online」で「partition with quorum」というメッセージのノードが2つあることです。

Stack: corosync
Current DC: suse05 (version 1.1.18+20180430.b12c320f5-3.15.1-b12c320f5) - partition with quorum
Last updated: Fri Nov 29 14:23:19 2019
Last change: Fri Nov 29 12:31:06 2019 by hacluster via crmd on suse03

7 nodes configured
0 resource configured

Online: [ suse-mm suse01 suse02 suse03 suse04 suse05 suse06 ]

No resources

vi crm-file<XX>
crm configure load update crm-file<XX>

vi crm-bs.txt

property $id="cib-bootstrap-options" \
            no-quorum-policy="freeze" \
            stonith-enabled="true" \
            stonith-action="reboot" \
            stonith-watchdog-timeout="10" \

op_defaults $id="op-options" \
            timeout="600"

rsc_defaults rsc-options: \
            resource-stickiness="1000" \
            migration-threshold="5"

crm configure load update crm-bs.txt

# systemctl status sbd
● sbd.service - Shared-storage based fencing daemon
   Loaded: loaded (/usr/lib/systemd/system/sbd.service; enabled; vendor preset: disabled)
   Active: active (running) since Fri 2019-02-15 08:12:57 UTC; 1 months 22 days ago
     Docs: man:sbd(8)
  Process: 10366 ExecStart=/usr/sbin/sbd $SBD_OPTS -p /var/run/sbd.pid watch (code=exited, status=0/SUCCESS)
 Main PID: 10374 (sbd)
    Tasks: 3 (limit: 4915)
   CGroup: /system.slice/sbd.service
           ├─10374 sbd: inquisitor
           ├─10375 sbd: watcher: Pacemaker
           └─10376 sbd: watcher: Cluster

crm configure property maintenance-mode=true

suse01:~ # vi crm-saphanatop.txt

primitive rsc_SAPHanaTop_<SID>_HDB<Inst> ocf:suse:SAPHanaTopology \
        op monitor interval="10" timeout="600" \
        op start interval="0" timeout="600" \
        op stop interval="0" timeout="300" \
        params SID="<SID>" InstanceNumber="<Inst>"

clone cln_SAPHanaTop_<SID>_HDB<Inst> rsc_SAPHanaTop_<SID>_HDB<Inst> \
        meta clone-node-max="1" interleave="true"

primitive rsc_SAPHanaTop_HA1_HDB00 ocf:suse:SAPHanaTopology \
        op monitor interval="10" timeout="600" \
        op start interval="0" timeout="600" \
        op stop interval="0" timeout="300" \
        params SID="HA1" InstanceNumber="00"

clone cln_SAPHanaTop_HA1_HDB00 rsc_SAPHanaTop_HA1_HDB00 \
        meta clone-node-max="1" interleave="true"

crm configure load update crm-saphanatop.txt

vi crm-saphanacon.txt

primitive rsc_SAPHanaCon_<SID>_HDB<Inst> ocf:suse:SAPHanaController \
        op start interval="0" timeout="3600" \
        op stop interval="0" timeout="3600" \
        op promote interval="0" timeout="3600" \
        op monitor interval="60" role="Master" timeout="700" \
        op monitor interval="61" role="Slave" timeout="700" \
        params SID="<SID>" InstanceNumber="<Inst>" \
        PREFER_SITE_TAKEOVER="true" \
        DUPLICATE_PRIMARY_TIMEOUT="7200" AUTOMATED_REGISTER="false"

ms msl_SAPHanaCon_<SID>_HDB<Inst> rsc_SAPHanaCon_<SID>_HDB<Inst> \
        meta clone-node-max="1" master-max="1" interleave="true"

primitive rsc_SAPHanaCon_HA1_HDB00 ocf:suse:SAPHanaController \
        op start interval="0" timeout="3600" \
        op stop interval="0" timeout="3600" \
        op promote interval="0" timeout="3600" \
        op monitor interval="60" role="Master" timeout="700" \
        op monitor interval="61" role="Slave" timeout="700" \
        params SID="HA1" InstanceNumber="00" PREFER_SITE_TAKEOVER="true" \
        DUPLICATE_PRIMARY_TIMEOUT="7200" AUTOMATED_REGISTER="false"

ms msl_SAPHanaCon_HA1_HDB00 rsc_SAPHanaCon_HA1_HDB00 \
        meta clone-node-max="1" master-max="1" interleave="true"

crm configure load update crm-saphanacon.txt

vi crm-oip.txt

primitive rsc_ip_<SID>_HDB<Inst> ocf:heartbeat:aws-vpc-move-ip \
        op start interval=0 timeout=180 \
        op stop interval=0 timeout=180 \
        op monitor interval=60 timeout=60 \
        params ip=<overlayIP> routing_table=<aws-route-table>[,<2nd-route-table>] \
        interface=eth0 profile=<aws-cli-profile>

crm configure load update crm-oip.txt

vi crm-cs.txt

colocation col_saphana_ip_<SID>_HDB<Inst> 2000: rsc_ip_<SID>_HDB<Inst>:Started \
 msl_SAPHanaCon_<SID>_HDB<Inst>:Master
order ord_SAPHana_<SID>_HDB<Inst> Optional: cln_SAPHanaTop_<SID>_HDB<Inst> \
 msl_SAPHanaCon_<SID>_HDB<Inst>
location OIP_not_on_majority_maker rsc_ip_<SID>_HDB<Inst> -inf: <majority maker>
location SAPHanaCon_not_on_majority_maker msl_SAPHanaCon_<SID>_HDB<Inst> -inf:
 <majority maker>
location SAPHanaTop_not_on_majority_maker cln_SAPHanaTop_<SID>_HDB<Inst> -inf:
 <majority maker>

colocation col_saphana_ip_HA1_HDB00 2000: rsc_ip_HA1_HDB00:Started \
 msl_SAPHanaCon_HA1_HDB00:Master
order ord_SAPHana_HA1_HDB00 Optional: cln_SAPHanaTop_HA1_HDB00 \
 msl_SAPHanaCon_HA1_HDB00
location OIP_not_on_majority_maker rsc_ip_HA1_HDB00 -inf: suse-mm
location SAPHanaCon_not_on_majority_maker msl_SAPHanaCon_HA1_HDB00 -inf: suse-mm
location SAPHanaTop_not_on_majority_maker cln_SAPHanaTop_HA1_HDB00 -inf: suse-mm

crm configure load update crm-cs.txt

crm configure property maintenance-mode=false

crm_attribute -G -n hana_<sid>_glob_srHook

scope=crm_config  name=hana_<sid>_glob_srHook value=SOK

suse01:ha1adm> /usr/sap/hostctrl/exe/saphostctrl -function ListInstances
 Inst Info : HA1 - 00 - suse01 - 749, patch 418, changelist 1816226

テストはクラスターの実装で最も重要なプロジェクトタスクの1つです。適切なテストが不可欠です。プロジェクトまたはユーザーの期待から導き出されるすべてのテストケースが定義され、完全に合格することを確認してください。テストなしでは、プロジェクトが本稼働で失敗する可能性があります。

図 11: 3項 「計画とインストール」 4項 「SUSE Linux Enterprise High Availability ExtensionクラスターによるAWSの使用」 5項 「両サイトでのSAP HANAデータベースのインストール」 6項 「SAP HANAシステムレプリケーションの設定」 7項 「SAP HANAとクラスターの統合」 8項 「クラスターとSAP HANAリソースの構成」 テスト #

 

特に明記されていない限り、テストの前提条件は常に、すべてのクラスターノードがブートされれていること、すべてのクラスタ-ノードが既にクラスターの正規メンバーであること、およびSAP HANA RDBMSが稼動中であることです。システムレプリケーションは、「SOK」で表される同期中です。クラスターはアイドルで、保留中のアクションはなく、移行制約は残っておらず、フェイルカウントは残っていません。

本バージョンの設定ガイドでは、テストケースの計画リストを提供します。将来はテストケースをより詳細に記述する予定です。本ガイドの更新版でこれらの詳細を提供するか、テストケースを抽出して別のテスト計画ドキュメントとします。

Copyright © 2006–2020 SUSE LLC and contributors.全著作権所有

本書は、GNU Free Documentation Licenseのバージョン1.2または（オプションとして）バージョン1.3の条項に従って、複製、頒布、および/または改変が許可されています。ただし、この著作権表示およびライセンスは変更せずに記載してください。ライセンスバージョン1.2のコピーは、「GNU Free Documentation License」セクションに含まれています。

SUSE、SUSEのロゴ、およびYaSTは、米国およびその他の国におけるSUSE LLCの登録商標です。SUSEの商標については、https://www.suse.com/company/legal/を参照してください。

Linuxは、Linus Torvaldsの登録商標です。本書に記載されているその他の名称や商標はすべて、それぞれの所有者の商標または登録商標の可能性があります。

この記事は、「SUSE Best Practices」と呼ばれる一連の文書の一部です。個々の文書は、SUSE社員および第三者が自主的に作成したものです。これらの記事は、特定の操作をどのように行うかの一例を示しているにすぎません。

また、SUSEは、これらの記事に記載された操作が主張どおりに機能し、予期せぬ結果をもたらさないことを確認していません。

この記事のすべての情報は、細心の注意を払って編集されています。しかし、このことは絶対に正確であることを保証するものではありません。SUSE LLC、その関係者、著者、翻訳者のいずれも誤りまたはその結果に対して一切責任を負いかねます。参考までに、これらの記事の基になったライセンスを以下に示します。

Copyright (C) 2000, 2001, 2002 Free Software Foundation, Inc. 51 Franklin St, Fifth Floor, Boston, MA 02110-1301 USA. Everyone is permitted to copy and distribute verbatim copies of this license document, but changing it is not allowed.

The purpose of this License is to make a manual, textbook, or other functional and useful document "free" in the sense of freedom: to assure everyone the effective freedom to copy and redistribute it, with or without modifying it, either commercially or non-commercially. Secondarily, this License preserves for the author and publisher a way to get credit for their work, while not being considered responsible for modifications made by others.

This License is a kind of "copyleft", which means that derivative works of the document must themselves be free in the same sense. It complements the GNU General Public License, which is a copyleft license designed for free software.

We have designed this License to use it for manuals for free software, because free software needs free documentation: a free program should come with manuals providing the same freedoms that the software does. But this License is not limited to software manuals; it can be used for any textual work, regardless of subject matter or whether it is published as a printed book. We recommend this License principally for works whose purpose is instruction or reference.

This License applies to any manual or other work, in any medium, that contains a notice placed by the copyright holder saying it can be distributed under the terms of this License. Such a notice grants a world-wide, royalty-free license, unlimited in duration, to use that work under the conditions stated herein. The "Document", below, refers to any such manual or work. Any member of the public is a licensee, and is addressed as "you". You accept the license if you copy, modify or distribute the work in a way requiring permission under copyright law.

A "Modified Version" of the Document means any work containing the Document or a portion of it, either copied verbatim, or with modifications and/or translated into another language.

A "Secondary Section" is a named appendix or a front-matter section of the Document that deals exclusively with the relationship of the publishers or authors of the Document to the Document's overall subject (or to related matters) and contains nothing that could fall directly within that overall subject. (Thus, if the Document is in part a textbook of mathematics, a Secondary Section may not explain any mathematics.) The relationship could be a matter of historical connection with the subject or with related matters, or of legal, commercial, philosophical, ethical or political position regarding them.

The "Invariant Sections" are certain Secondary Sections whose titles are designated, as being those of Invariant Sections, in the notice that says that the Document is released under this License. If a section does not fit the above definition of Secondary then it is not allowed to be designated as Invariant. The Document may contain zero Invariant Sections. If the Document does not identify any Invariant Sections then there are none.

The "Cover Texts" are certain short passages of text that are listed, as Front-Cover Texts or Back-Cover Texts, in the notice that says that the Document is released under this License. A Front-Cover Text may be at most 5 words, and a Back-Cover Text may be at most 25 words.

A "Transparent" copy of the Document means a machine-readable copy, represented in a format whose specification is available to the general public, that is suitable for revising the document straightforwardly with generic text editors or (for images composed of pixels) generic paint programs or (for drawings) some widely available drawing editor, and that is suitable for input to text formatters or for automatic translation to a variety of formats suitable for input to text formatters. A copy made in an otherwise Transparent file format whose markup, or absence of markup, has been arranged to thwart or discourage subsequent modification by readers is not Transparent. An image format is not Transparent if used for any substantial amount of text. A copy that is not "Transparent" is called "Opaque".

Examples of suitable formats for Transparent copies include plain ASCII without markup, Texinfo input format, LaTeX input format, SGML or XML using a publicly available DTD, and standard-conforming simple HTML, PostScript or PDF designed for human modification. Examples of transparent image formats include PNG, XCF and JPG. Opaque formats include proprietary formats that can be read and edited only by proprietary word processors, SGML or XML for which the DTD and/or processing tools are not generally available, and the machine-generated HTML, PostScript or PDF produced by some word processors for output purposes only.

The "Title Page" means, for a printed book, the title page itself, plus such following pages as are needed to hold, legibly, the material this License requires to appear in the title page. For works in formats which do not have any title page as such, "Title Page" means the text near the most prominent appearance of the work's title, preceding the beginning of the body of the text.

A section "Entitled XYZ" means a named subunit of the Document whose title either is precisely XYZ or contains XYZ in parentheses following text that translates XYZ in another language. (Here XYZ stands for a specific section name mentioned below, such as "Acknowledgements", "Dedications", "Endorsements", or "History".) To "Preserve the Title" of such a section when you modify the Document means that it remains a section "Entitled XYZ" according to this definition.

The Document may include Warranty Disclaimers next to the notice which states that this License applies to the Document. These Warranty Disclaimers are considered to be included by reference in this License, but only as regards disclaiming warranties: any other implication that these Warranty Disclaimers may have is void and has no effect on the meaning of this License.

You may copy and distribute the Document in any medium, either commercially or noncommercially, provided that this License, the copyright notices, and the license notice saying this License applies to the Document are reproduced in all copies, and that you add no other conditions whatsoever to those of this License. You may not use technical measures to obstruct or control the reading or further copying of the copies you make or distribute. However, you may accept compensation in exchange for copies. If you distribute a large enough number of copies you must also follow the conditions in section 3.

You may also lend copies, under the same conditions stated above, and you may publicly display copies.

If you publish printed copies (or copies in media that commonly have printed covers) of the Document, numbering more than 100, and the Document's license notice requires Cover Texts, you must enclose the copies in covers that carry, clearly and legibly, all these Cover Texts: Front-Cover Texts on the front cover, and Back-Cover Texts on the back cover. Both covers must also clearly and legibly identify you as the publisher of these copies. The front cover must present the full title with all words of the title equally prominent and visible. You may add other material on the covers in addition. Copying with changes limited to the covers, as long as they preserve the title of the Document and satisfy these conditions, can be treated as verbatim copying in other respects.

If the required texts for either cover are too voluminous to fit legibly, you should put the first ones listed (as many as fit reasonably) on the actual cover, and continue the rest onto adjacent pages.

If you publish or distribute Opaque copies of the Document numbering more than 100, you must either include a machine-readable Transparent copy along with each Opaque copy, or state in or with each Opaque copy a computer-network location from which the general network-using public has access to download using public-standard network protocols a complete Transparent copy of the Document, free of added material. If you use the latter option, you must take reasonably prudent steps, when you begin distribution of Opaque copies in quantity, to ensure that this Transparent copy will remain thus accessible at the stated location until at least one year after the last time you distribute an Opaque copy (directly or through your agents or retailers) of that edition to the public.

It is requested, but not required, that you contact the authors of the Document well before redistributing any large number of copies, to give them a chance to provide you with an updated version of the Document.

You may copy and distribute a Modified Version of the Document under the conditions of sections 2 and 3 above, provided that you release the Modified Version under precisely this License, with the Modified Version filling the role of the Document, thus licensing distribution and modification of the Modified Version to whoever possesses a copy of it. In addition, you must do these things in the Modified Version:

If the Modified Version includes new front-matter sections or appendices that qualify as Secondary Sections and contain no material copied from the Document, you may at your option designate some or all of these sections as invariant. To do this, add their titles to the list of Invariant Sections in the Modified Version's license notice. These titles must be distinct from any other section titles.

You may add a section Entitled "Endorsements", provided it contains nothing but endorsements of your Modified Version by various parties--for example, statements of peer review or that the text has been approved by an organization as the authoritative definition of a standard.

You may add a passage of up to five words as a Front-Cover Text, and a passage of up to 25 words as a Back-Cover Text, to the end of the list of Cover Texts in the Modified Version. Only one passage of Front-Cover Text and one of Back-Cover Text may be added by (or through arrangements made by) any one entity. If the Document already includes a cover text for the same cover, previously added by you or by arrangement made by the same entity you are acting on behalf of, you may not add another; but you may replace the old one, on explicit permission from the previous publisher that added the old one.

The author(s) and publisher(s) of the Document do not by this License give permission to use their names for publicity for or to assert or imply endorsement of any Modified Version.

You may combine the Document with other documents released under this License, under the terms defined in section 4 above for modified versions, provided that you include in the combination all of the Invariant Sections of all of the original documents, unmodified, and list them all as Invariant Sections of your combined work in its license notice, and that you preserve all their Warranty Disclaimers.

The combined work need only contain one copy of this License, and multiple identical Invariant Sections may be replaced with a single copy. If there are multiple Invariant Sections with the same name but different contents, make the title of each such section unique by adding at the end of it, in parentheses, the name of the original author or publisher of that section if known, or else a unique number. Make the same adjustment to the section titles in the list of Invariant Sections in the license notice of the combined work.

In the combination, you must combine any sections Entitled "History" in the various original documents, forming one section Entitled "History"; likewise combine any sections Entitled "Acknowledgements", and any sections Entitled "Dedications". You must delete all sections Entitled "Endorsements".

You may make a collection consisting of the Document and other documents released under this License, and replace the individual copies of this License in the various documents with a single copy that is included in the collection, provided that you follow the rules of this License for verbatim copying of each of the documents in all other respects.

You may extract a single document from such a collection, and distribute it individually under this License, provided you insert a copy of this License into the extracted document, and follow this License in all other respects regarding verbatim copying of that document.

A compilation of the Document or its derivatives with other separate and independent documents or works, in or on a volume of a storage or distribution medium, is called an "aggregate" if the copyright resulting from the compilation is not used to limit the legal rights of the compilation's users beyond what the individual works permit. When the Document is included in an aggregate, this License does not apply to the other works in the aggregate which are not themselves derivative works of the Document.

If the Cover Text requirement of section 3 is applicable to these copies of the Document, then if the Document is less than one half of the entire aggregate, the Document's Cover Texts may be placed on covers that bracket the Document within the aggregate, or the electronic equivalent of covers if the Document is in electronic form. Otherwise they must appear on printed covers that bracket the whole aggregate.

Translation is considered a kind of modification, so you may distribute translations of the Document under the terms of section 4. Replacing Invariant Sections with translations requires special permission from their copyright holders, but you may include translations of some or all Invariant Sections in addition to the original versions of these Invariant Sections. You may include a translation of this License, and all the license notices in the Document, and any Warranty Disclaimers, provided that you also include the original English version of this License and the original versions of those notices and disclaimers. In case of a disagreement between the translation and the original version of this License or a notice or disclaimer, the original version will prevail.

If a section in the Document is Entitled "Acknowledgements", "Dedications", or "History", the requirement (section 4) to Preserve its Title (section 1) will typically require changing the actual title.

You may not copy, modify, sublicense, or distribute the Document except as expressly provided for under this License. Any other attempt to copy, modify, sublicense or distribute the Document is void, and will automatically terminate your rights under this License. However, parties who have received copies, or rights, from you under this License will not have their licenses terminated so long as such parties remain in full compliance.

The Free Software Foundation may publish new, revised versions of the GNU Free Documentation License from time to time. Such new versions will be similar in spirit to the present version, but may differ in detail to address new problems or concerns. See http://www.gnu.org/copyleft/.

Each version of the License is given a distinguishing version number. If the Document specifies that a particular numbered version of this License "or any later version" applies to it, you have the option of following the terms and conditions either of that specified version or of any later version that has been published (not as a draft) by the Free Software Foundation. If the Document does not specify a version number of this License, you may choose any version ever published (not as a draft) by the Free Software Foundation.

Copyright (c) YEAR YOUR NAME.
Permission is granted to copy, distribute and/or modify this document
under the terms of the GNU Free Documentation License, Version 1.2
or any later version published by the Free Software Foundation;
with no Invariant Sections, no Front-Cover Texts, and no Back-Cover Texts.
A copy of the license is included in the section entitled "GNU
 Free Documentation License".

If you have Invariant Sections, Front-Cover Texts and Back-Cover Texts, replace the "with...Texts". line with this:

with the Invariant Sections being LIST THEIR TITLES, with the
Front-Cover Texts being LIST, and with the Back-Cover Texts being LIST.

If you have Invariant Sections without Cover Texts, or some other combination of the three, merge those two alternatives to suit the situation.

If your document contains nontrivial examples of program code, we recommend releasing these examples in parallel under your choice of free software license, such as the GNU General Public License, to permit their use in free software.