23 クラスタファイルシステム #

クライアントホストがSUSE Linux Enterprise 12 SP2以降を実行している場合、システムはCephFSをそのまますぐにマウントできます。

クライアントホストがSUSE Linux Enterprise 12 SP1を実行している場合は、CephFSをマウントする前にすべての最新パッチを適用する必要があります。

いずれの場合も、CephFSをマウントするのに必要なものはすべてSUSE Linux Enterpriseに付属しています。SUSE Enterprise Storage 7.1製品は必要ありません。

完全なmount構文をサポートするには、CephFSをマウントする前に、ceph-commonパッケージ(SUSE Linux Enterpriseに付属)をインストールする必要があります。

重要

ceph-commonパッケージがない場合(つまり、mount.cephヘルパーがない場合)、モニターのホスト名ではなく、IPアドレスを使用する必要があります。これは、カーネルクライアントがネームレゾリューションを実行できないためです。

基本的な構文は、次の通りです。

# mount -t ceph MON1_IP[:PORT],MON2_IP[:PORT],...:CEPHFS_MOUNT_TARGET \
MOUNT_POINT -o name=CEPHX_USER_NAME,secret=SECRET_STRING

Cephクラスタは、デフォルトで認証がオンの状態で動作します。秘密鍵(キーリングそのものではない)を保存するファイルを作成する必要があります。特定のユーザの秘密鍵を入手してファイルを作成するには、次の操作を行います。

mountコマンドでCephFSをマウントできます。Monitorのホスト名またはIPアドレスを指定する必要があります。SUSE Enterprise Storageではcephx認証がデフォルトで有効になっているため、ユーザ名とその関連シークレットも指定する必要があります。

# mount -t ceph ceph_mon1:6789:/ /mnt/cephfs \
 -o name=admin,secret=AQATSKdNGBnwLhAAnNDKnH65FmVKpXZJVasUeQ==

以前のコマンドはシェルの履歴に残るため、ファイルからシークレットを読み込むアプローチの方が安全です。

# mount -t ceph ceph_mon1:6789:/ /mnt/cephfs \
 -o name=admin,secretfile=/etc/ceph/admin.secret

シークレットファイルには実際のキーリングシークレットだけが含まれる必要があることに注意してください。この例では、ファイルに含まれるのは次の行だけです。

AQATSKdNGBnwLhAAnNDKnH65FmVKpXZJVasUeQ==

ヒント: 複数のMonitorの指定

マウント時に特定のMonitorがダウンしている事態に備え、mountコマンドラインで複数のMonitorをコンマで区切って指定することをお勧めします。各Monitorのアドレスはhost[:port]という形式です。ポートを指定しない場合は、デフォルトで6789が使用されます。

ローカルホストでマウントポイントを作成します。

# mkdir /mnt/cephfs

CephFSをマウントします。

# mount -t ceph ceph_mon1:6789:/ /mnt/cephfs \
 -o name=admin,secretfile=/etc/ceph/admin.secret

ファイルシステムのサブセットをマウントする場合は、サブディレクトリsubdirを指定できます。

# mount -t ceph ceph_mon1:6789:/subdir /mnt/cephfs \
 -o name=admin,secretfile=/etc/ceph/admin.secret

mountコマンドで複数のMonitorホストを指定できます。

# mount -t ceph ceph_mon1,ceph_mon2,ceph_mon3:6789:/ /mnt/cephfs \
 -o name=admin,secretfile=/etc/ceph/admin.secret

重要: ルートディレクトリに対する読み込みアクセス

パス制約付きのクライアントを使用する場合は、MDSのケーパビリティにルートディレクトリに対する読み込みアクセスを含める必要があります。たとえば、キーリングは次のようになります。

client.bar
 key: supersecretkey
 caps: [mds] allow rw path=/barjail, allow r path=/
 caps: [mon] allow r
 caps: [osd] allow rwx

allow r path=/の部分は、パス制約付きのクライアントは、ルートボリュームを表示できても書き込みはできないことを意味します。これは、完全な分離が要件である使用事例で問題になることがあります。

デフォルトの単一のMDSではメタデータのパフォーマンスがボトルネックになる場合、複数のアクティブMDSデーモンの使用を検討します。

デーモンを追加しても、すべてのワークロードタイプのパフォーマンスが向上するわけではありません。たとえば、単一のクライアント上で動作している単一のアプリケーションの場合、そのアプリケーションが大量のメタデータ操作を並列で実行していない限り、MDSデーモンの数を増やしてもメリットはありません。

一般的に大量のアクティブMDSデーモンのメリットを受けられるワークロードは、クライアントが複数あり、多数の別個のディレクトリを操作する可能性が高いワークロードです。

各CephFSファイルシステムには、作成するランクの数を制御するmax_mds設定があります。ファイルシステム内の実際のランク数は、新しいランクを引き受けるスペアデーモンが利用可能な場合にのみ増やされます。たとえば、実行中のMDSデーモンが1つだけで、max_mdsが2に設定されている場合、2番目のランクは作成されません。

次の例では、max_mdsオプションを2に設定して、デフォルトのランクとは別の新しいランクを作成します。変更を確認するには、max_mdsの設定前と設定後にceph statusを実行し、fsmapが含まれる行を確認します。

cephuser@adm > ceph status
  [...]
  services:
    [...]
    mds: cephfs-1/1/1 up  {0=node2=up:active}, 1 up:standby
    [...]
cephuser@adm > ceph fs set cephfs max_mds 2
cephuser@adm > ceph status
  [...]
  services:
    [...]
    mds: cephfs-2/2/2 up  {0=node2=up:active,1=node1=up:active}
    [...]

新しく作成されたランク(1)は、「creating (作成中)」状態を経由して「active (アクティブ)」状態になります。

重要: スタンバイデーモン

複数のアクティブMDSデーモンを使用していても、高可用性システムには、アクティブデーモンを実行するサーバに障害が発生した場合に処理を引き継ぐスタンバイデーモンも必要です。

そのため、高可用性システムのmax_mdsの実用的な最大数は、システムのMDSサーバの合計数から1を引いた数になります。複数のサーバ障害時に可用性を維持するには、切り抜ける必要があるサーバ障害の数に一致するようにシステムのスタンバイデーモンの数を増やします。

最初に、すべてのランク(削除するランクを含む)がアクティブになっている必要があります。つまり、少なくともmax_mds MDSデーモンが利用可能である必要があります。

最初に、max_mdsをより低い数字に設定します。たとえば、単一のアクティブMDSに戻します。

cephuser@adm > ceph status
  [...]
  services:
    [...]
    mds: cephfs-2/2/2 up  {0=node2=up:active,1=node1=up:active}
    [...]
cephuser@adm > ceph fs set cephfs max_mds 1
cephuser@adm > ceph status
  [...]
  services:
    [...]
    mds: cephfs-1/1/1 up  {0=node2=up:active}, 1 up:standby
    [...]

複数のアクティブメタデータサーバ設定では、バランサが動作し、メタデータの負荷をクラスタに均等に分散します。これは通常、ほとんどのユーザにとって十分有効に機能しますが、メタデータを特定のランクに明示的にマッピングして動的バランサを無効にした方が良い場合もあります。これにより、管理者やユーザは、アプリケーションの負荷を均等に分散したり、ユーザのメタデータ要求によるクラスタ全体への影響を抑えたりできます。

このために提供されているメカニズムを「エクスポートピン」と呼びます。これはディレクトリの拡張属性です。この拡張属性の名前はceph.dir.pinです。標準のコマンドを使用して、この属性を設定できます。

# setfattr -n ceph.dir.pin -v 2 /path/to/dir

拡張属性の値(-v)は、ディレクトリサブツリーの割り当て先となるランクです。デフォルト値-1は、ディレクトリが固定されないことを示します。

ディレクトリのエクスポートピンは、設定されているエクスポートピンを持つ最も近い親から継承されます。したがって、ディレクトリにエクスポートピンを設定すると、そのすべての子に影響します。ただし、子ディレクトリのエクスポートピンを設定して親のピンを上書きできます。例:

# mkdir -p a/b                      # "a" and "a/b" start with no export pin set.
setfattr -n ceph.dir.pin -v 1 a/  # "a" and "b" are now pinned to rank 1.
setfattr -n ceph.dir.pin -v 0 a/b # "a/b" is now pinned to rank 0
                                  # and "a/" and the rest of its children
                                  # are still pinned to rank 1.

各CephFSファイルシステムはスタンバイ再生デーモンを追加するように設定することもできます。こうしたスタンバイデーモンはアクティブMDSのメタデータジャーナルを追跡して、アクティブMDSが利用不能になるようなイベントが発生した場合のフェールオーバー時間を短縮します。各アクティブMDSに設定できる、追跡用のスタンバイ再生デーモンは一つだけです。

ファイルシステムにスタンバイ再生を設定するには、次のコマンドを使用します。

cephuser@adm > ceph fs set FS-NAME allow_standby_replay BOOL

設定された場合、モニターは使用可能なスタンバイデーモンをファイルシステムのアクティブMDSを追跡するように割り当てます。

MDSがスタンバイ再生状態になると、そのMDSは追跡しているランクのスタンバイとしてのみ使用されます。別のランクが失敗し、他に利用可能なスタンバイがない場合でも、このスタンバイ再生デーモンは代わりとして使用されません。そのため、スタンバイ再生機能を使用する場合は、すべてのアクティブMDSにスタンバイ再生デーモンを設定することをお勧めします。

CephFSでのクォータの使用には、次の制限があります。

仮想拡張属性を使用して、CephFSクォータを設定できます。

これらの属性がディレクトリiノード上に存在する場合、そこにクォータが設定されています。存在しない場合は、そのディレクトリにクォータは設定されていません(ただし、親ディレクトリに設定されている場合があります)。

100MBのクォータを設定するには、次のコマンドを実行します。

cephuser@mds > setfattr -n ceph.quota.max_bytes -v 100000000 /SOME/DIRECTORY

10,000ファイルのクォータを設定するには、次のコマンドを実行します。

cephuser@mds > setfattr -n ceph.quota.max_files -v 10000 /SOME/DIRECTORY

クォータ設定を表示するには、次のコマンドを実行します。

cephuser@mds > getfattr -n ceph.quota.max_bytes /SOME/DIRECTORY

cephuser@mds > getfattr -n ceph.quota.max_files /SOME/DIRECTORY

注記: クォータが設定されない

拡張属性の値が「0」の場合、クォータは設定されません。

クォータを削除するには、次のコマンドを実行します。

cephuser@mds > setfattr -n ceph.quota.max_bytes -v 0 /SOME/DIRECTORY
cephuser@mds > setfattr -n ceph.quota.max_files -v 0 /SOME/DIRECTORY

CephFSスナップショット機能は、新しいファイルシステムではデフォルトで有効になっています。既存のファイルシステムでこの機能を有効にするには、次のコマンドを実行します。

cephuser@adm > ceph fs set CEPHFS_NAME allow_new_snaps true

スナップショットを有効にすると、CephFSのすべてのディレクトリに特別な.snapサブディレクトリが作成されます。

注記

これは「仮想」サブディレクトリです。このサブディレクトリは親ディレクトリのディレクトリ一覧には表示されませんが、.snapという名前はファイル名やディレクトリ名として使用できません。.snapディレクトリにアクセスするには、明示的にアクセスする必要があります。たとえば、次のようなコマンドを使用します。

> ls -la /CEPHFS_MOUNT/.snap/

重要: カーネルクライアントの制限

CephFSカーネルクライアントには、1つのファイルシステム内で400を超えるスナップショットを処理できないという制限があります。スナップショットの数は、使用しているクライアントに関係なく、常にこの制限を下回るようにする必要があります。SLE12-SP3などの古いCephFSクライアントを使用する場合は、スナップショットが400を超えるとクライアントがクラッシュするため、操作に害を及ぼすことに注意してください。

ヒント: カスタムスナップショットサブディレクトリ名

client snapdir設定により、スナップショットサブディレクトリに異なる名前を設定できます。

スナップショットを作成するには、.snapディレクトリに、カスタム名を持つサブディレクトリを作成します。たとえば、/CEPHFS_MOUNT/2/3/ディレクトリのスナップショットを作成するには、次のコマンドを実行します。

> mkdir /CEPHFS_MOUNT/2/3/.snap/CUSTOM_SNAPSHOT_NAME

スナップショットを削除するには、.snapディレクトリ内にあるそのサブディレクトリを削除します。

> rmdir /CEPHFS_MOUNT/2/3/.snap/CUSTOM_SNAPSHOT_NAME