SAP HANA 시스템 복제 수직 확장 - 성능 최적화 시나리오 #

SAPHanaSR 리소스 에이전트 소프트웨어 패키지에서는 수직 확장(단일 상자 대 단일 상자) 시스템 복제에 대한 지원이 다음 구성 및 파라미터로 제한됩니다.

최소한으로 SAPHanaSR 버전 0.153이 있어야 하며 최상으로는 SUSE Linux Enterprise Server for SAP Applications 15 SP1 이상이 필요합니다. 설명된 모든 설정에서는 SPS09(095) 이후부터 SAP HANA 1.0이 지원됩니다. 알려진 모든 SPS 버전에서는 SAP HANA 2.0이 지원됩니다.

중요

유효한 STONITH 메서드가 없는 경우에는 전체 클러스터가 지원되지 않고 올바르게 작동하지 않습니다.

다양한 시나리오를 구현해야 하는 경우에는 SUSE를 사용한 PoC를 정의하는 것이 매우 좋습니다. 이 PoC는 시나리오에서 기존 솔루션의 테스트를 집중적으로 다룹니다. 위에서 언급된 대부분의 제한은 세밀한 테스트가 필요하기 때문입니다.

SAP HANA뿐만 아니라 SAP 호스트 에이전트를 시스템에 설치해야 합니다.

본 문서에서는 시스템 복제 시나리오에서 SAP HANA를 제어하는 클러스터 설정 방법에 대한 설명이 제공됩니다. 그리고 이미 설치되어 작동 중인 SAP HANA를 시스템 복제와 통합하는 단계를 집중적으로 설명합니다.

설명된 예시 설정에서는 SAP 15 SP1 시스템용 2개의 SLES에 설치된 2개의 Walldorf(WDF) 및 Rot(ROT) 데이터 센터에 SAP HANA HA 클러스터를 구축합니다.

그림 7: SAP HANA SR를 사용한 클러스터 - 성능 최적화 #

 

YaST 마법사를 사용하여 수동으로 또는 사용자의 자체 자동화를 사용하여 클러스터를 설정할 수 있습니다.

YaST 마법사를 사용하는 경우에는 yast sap_ha 바로 가기를 사용하여 모듈을 시작할 수 있습니다. YaST를 사용한 SAPHanaSR 설정 절차는 SUSE Linux Enterprise Server for SAP Applications 제품 설명서의 SAP HANA 클러스터 설정(https://documentation.suse.com/sles-sap/15-SP1/single-html/SLES4SAP-guide/#cha-s4s-cluster) 섹션에서 설명합니다.

그림 8: YaST 모듈 sap_ha에서 SAP HANA를 위한 시나리오 선택 #

 

본 가이드는 클러스터의 수동 설정을 중심으로 세부 정보를 설명하고 사용자가 자체 자동화를 구축할 수 있는 기회를 제공합니다.

7개의 기본 설정 단계는 다음과 같습니다.

설치 계획 수립은 성공적인 SAP HANA 클러스터 설정을 위해 필수적입니다.

시작하기 전 필요한 사항:

4.1 최소 랩 요구 사항 및 필수 구성 요소 #

 

참고

여기에서 설명하는 최소 랩 요구 사항은 SAP 크기 조정 정보가 아닙니다. 이러한 데이터는 설명되는 클러스터를 테스트 목적으로 랩에 재구축하기 위한 목적으로만 제공됩니다. 이러한 테스트의 경우에도 테스트 시나리오에 따라 요구 사항이 증가할 수 있습니다. 생산적 시스템의 경우 하드웨어 벤더에게 요청하거나 공식 SAP 크기 조정 도구 및 서비스를 사용하십시오.

참고

허용되는 저장소 구성 및 파일 시스템과 관련해서는 SAP HANA TDI 설명서를 참조하십시오.

사이트당 1개의 SAP 인스턴스 요구 사항(1:1) - 대부분 제조사 제외(2 노드 클러스터):

• 각각 32GB RAM, 50GB 시스템 디스크 여유 공간이 있는 VM 2개

• 10MB의 디스크 여유 공간이 있는 SBD용 공유 디스크 1개

• 각각 96GB의 SAP HANA용 용량이 있는 데이터 디스크 2개(사이트당 1개)

• 인수를 위한 추가 IP 주소 1개

• 읽기 지원 설정을 위한 IP 주소 1개(선택 사항)

• HAWK Administration GUI를 위한 IP 주소 1개(선택 사항)

사이트당 1개의 SAP 인스턴스 요구 사항(1:1) - 대부분 제조사 포함(3 노드 클러스터):

• 각각 32GB RAM, 50GB 시스템 디스크 여유 공간이 있는 VM 2개

• 2GB RAM, 50GB 시스템 디스크 여유 공간이 있는 VM 1개

• 각각 96GB의 SAP HANA용 용량이 있는 데이터 디스크 2개(사이트당 1개)

• 인수를 위한 추가 IP 주소 1개

• 읽기 지원 설정을 위한 IP 주소 1개(선택 사항)

• HAWK Administration GUI를 위한 IP 주소 1개(선택 사항)

본 섹션에서는 운영 체제 설치 중에 고려해야 하는 정보를 설명합니다.

본 문서의 범위를 위해, 먼저 SUSE Linux Enterprise Server for SAP Applications가 설치 및 구성됩니다. 그리고 시스템 복제가 포함된 SAP HANA 데이터베이스가 설정됩니다. 마지막으로 클러스터 포함 자동화가 설정 및 구성됩니다.

이 문서는 설치된 SAP HANA와 pacemaker 클러스터에 이미 설정된 시스템 복제의 통합을 중점적으로 다루지만 이 장에서는 테스트 환경을 요약 설명합니다. 항상 SAP의 공식 문서를 사용하여 SAP HANA를 설치하고 시스템 복제를 설정하십시오.

suse02:ha1adm> HDB info
USER          PID     PPID  ... COMMAND
ha1adm      13017    ... -sh
ha1adm      13072    ...  \_ /bin/sh /usr/sap/HA1/HDB10/HDB info
ha1adm      13103    ...      \_ ps fx -U ha1adm -o user:8,pid:8,ppid:8,pcpu:5,vsz:10,rss:10,args
ha1adm       9268    ... hdbrsutil  --start --port 31003 --volume 2 --volumesuffix mnt00001/hdb00002.00003 --identifier 1580897137
ha1adm       8911    ... hdbrsutil  --start --port 31001 --volume 1 --volumesuffix mnt00001/hdb00001 --identifier 1580897100
ha1adm       8729    ... sapstart pf=/hana/shared/HA1/profile/HA1_HDB10_suse02
ha1adm       8738    ...  \_ /usr/sap/HA1/HDB10/suse02/trace/hdb.sapHA1_HDB10 -d -nw -f /usr/sap/HA1/HDB10/suse02/daemon.ini pf=/usr/sap/HA1/SYS/profile/HA1_HDB10_suse02
ha1adm       8756    ...      \_ hdbnameserver
ha1adm       9031    ...      \_ hdbcompileserver
ha1adm       9034    ...      \_ hdbpreprocessor
ha1adm       9081    ...      \_ hdbindexserver -port 31003
ha1adm       9084    ...      \_ hdbxsengine -port 31007
ha1adm       9531    ...      \_ hdbwebdispatcher
ha1adm       8574    ... /usr/sap/HA1/HDB10/exe/sapstartsrv pf=/hana/shared/HA1/profile/HA1_HDB10_suse02 -D -u ha1adm

자세한 정보는 SAP HANA 관리 가이드의 시스템 복제 설정 섹션에서 확인할 수 있습니다.

절차

7.1 기본 데이터베이스 백업 #

 

SAP HANA 관리 가이드의 SAP HANA 데이터베이스 백업 및 복구 섹션의 설명을 따라 기본 데이터베이스를 백업합니다. SQL 명령이 포함된 예시가 제공됩니다. 사용자는 사용하는 백업 인프라에 맞게 이러한 백업 명령을 조정해야 합니다.

예제 2: 1회의 단일 백업 호출을 통한 시스템 데이터베이스 및 모든 테넌트의 간단한 백업 #

 

<sidadm> 사용자로 다음 명령 입력 시:

hdbsql -u SYSTEM -d SYSTEMDB \
   "BACKUP DATA FOR FULL SYSTEM USING FILE ('backup')"

다음과 같은 출력(또는 유사 출력)이 제공됨:

0 rows affected (overall time 15.352069 sec; server time 15.347745 sec)

예제 3: 단일 컨테이너(비MDC) 데이터베이스를 위한 간단한 백업 #

 

<sidadm> 사용자로 다음 명령 입력:

hdbsql -i <instanceNumber> -u <dbuser> \
   "BACKUP DATA USING FILE ('backup')"

중요

올바르게 백업하지 않으면 SAP HANA를 시스템 복제 구성으로 가져올 수 없습니다.

7.2 기본 노드 활성화 #

 

Linux 사용자 <sid>adm으로 기본 노드에서 시스템 복제를 활성화합니다. 사이트 이름(예: WDF)을 정의해야 합니다. 이 사이트 이름은 시스템 복제를 통해 연결된 모든 SAP HANA 데이터베이스에서 고유해야 합니다. 즉, 보조 사이트는 이름이 달라야 합니다.

참고

"primary" 및 "secondary"와 같은 문자열을 사이트 이름으로 사용하지 마십시오.

예제 4: 기본 사이트 활성화 #

 

-sr_enable 옵션을 사용하여 기본 사이트를 활성화합니다.

suse01:~> hdbnsutil -sr_enable --name=WDF
checking local nameserver:
checking for active nameserver ...
nameserver is running, proceeding ...
configuring ini files ...
successfully enabled system as primary site ...
done.

예제 5: 기본 사이트에서 SR 구성 확인 #

 

hdbnsutil -sr_stateConfiguration 명령을 사용하여 기본 사이트를 확인합니다.

suse01:~> hdbnsutil -sr_stateConfiguration --sapcontrol=1
SAPCONTROL-OK: <begin>
mode=primary
site id=1
site name=WDF
SAPCONTROL-OK: <end>
done.

모드가 "none"에서 "primary"로 변경되며 이제 사이트가 사이트 이름 및 사이트 ID를 갖습니다.

suse02:~> HDB stop

cd /usr/sap/<SID>/SYS/global/security/rsecssfs
rsync -va {,<node1-siteB>:}$PWD/data/SSFS_<SID>.DAT
rsync -va {,<node1-siteB>:}$PWD/key/SSFS_<SID>.KEY

...
suse02:~> hdbnsutil -sr_register --name=ROT \
     --remoteHost=suse01 --remoteInstance=10 \
     --replicationMode=sync --operationMode=logreplay
adding site ...
checking for inactive nameserver ...
nameserver suse02:30001 not responding.
collecting information ...
updating local ini files ...
done.

suse02:~> HDB start
...
suse02:~> hdbnsutil -sr_stateConfiguration --sapcontrol=1
SAPCONTROL-OK: <begin>
mode=sync
site id=2
site name=ROT
active primary site=1
primary masters=suse01
SAPCONTROL-OK: <end>
done.

suse01:~> HDBSettings.sh systemReplicationStatus.py --sapcontrol=1
...
site/2/SITE_NAME=ROT1
site/2/SOURCE_SITE_ID=1
site/2/REPLICATION_MODE=SYNC
site/2/REPLICATION_STATUS=ACTIVE
site/1/REPLICATION_MODE=PRIMARY
site/1/SITE_NAME=WDF1
local_site_id=1
...

이 단계는 보조가 동기화되지 않은 경우 클러스터에 즉시 통지하기 위한 필수 단계입니다. 보조가 동기화되지 않는 시점에 HA/DR 제공자 인터페이스를 사용하여 SAP HANA가 후크를 호출합니다. 이는 일반적으로 대기 중인 첫 번째 커밋이 릴리스되는 경우입니다. 시스템 복제가 다시 수행되면 SAP HANA가 후크를 다시 호출합니다.

절차

sapcontrol -nr <instanceNumber> -function StopSystem

[ha_dr_provider_SAPHanaSR]
provider = SAPHanaSR
path = /usr/share/SAPHanaSR
execution_order = 1

[trace]
ha_dr_saphanasr = info

[system_replication]
operation_mode = logreplay

# SAPHanaSR-ScaleUp entries for writing srHook cluster attribute
<sidadm> ALL=(ALL) NOPASSWD: /usr/sbin/crm_attribute -n hana_<sid>_site_srHook_*

# SAPHanaSR-ScaleUp entries for writing srHook cluster attribute
Cmnd_Alias SOK_SITEA   = /usr/sbin/crm_attribute -n hana_<sid>_site_srHook_<siteA> -v SOK   -t crm_config -s SAPHanaSR
Cmnd_Alias SFAIL_SITEA = /usr/sbin/crm_attribute -n hana_<sid>_site_srHook_<siteA> -v SFAIL -t crm_config -s SAPHanaSR
Cmnd_Alias SOK_SITEB   = /usr/sbin/crm_attribute -n hana_<sid>_site_srHook_<siteB> -v SOK   -t crm_config -s SAPHanaSR
Cmnd_Alias SFAIL_SITEB = /usr/sbin/crm_attribute -n hana_<sid>_site_srHook_<siteB> -v SFAIL -t crm_config -s SAPHanaSR
<sidadm> ALL=(ALL) NOPASSWD: SOK_SITEA, SFAIL_SITEA, SOK_SITEB, SFAIL_SITEB

이 장에서는 SUSE Linux Enterprise High Availability Extension 클러스터 소프트웨어의 구성에 대해 설명하고, 이는 SUSE Linux Enterprise Server for SAP Applications 및 SAP HANA 데이터베이스 통합의 일부입니다.

9.1 기본 클러스터 구성 #

 

첫 번째 단계는 기본 클러스터 프레임워크를 설정하는 것입니다. 편의를 위해 ha-cluster-init 스크립트에서 YaST2를 사용하십시오. 두 번째 corosync 링을 추가하고 UCAST 통신으로 변경한 후 시간 제한 값을 환경에 따라 조정하는 것이 매우 좋습니다.

9.1.1 "저장소 기반 펜싱”을 위한 Watchdog 설정 #

 

SBD 펜싱 메커니즘(디스크리스 또는 디스크 기반)을 사용하는 경우에는 watchdog도 구성해야 합니다. 시스템이 더 이상 SBD(디스크리스 또는 디스크 기반)에 액세스할 수 없는 경우 노드를 재설정하려면 watchdog이 필요합니다. Linux 시스템은 watchdog 드라이버를 로드하도록 구성되어야 합니다. hpwdt 또는 iTCO_wdt 등 하드웨어 # 지원(대부분의 최신 시스템에서 사용 가능)과 함께 watchdog을 사용하는 것이 매우 좋습니다. softdog 모듈을 대안으로 사용할 수 있습니다.

예제 15: Watchdog 설정 #

 

중요

Watchdog 타이머에 액세스: 다른 소프트웨어는 watchdog 타이머에 액세스하지 않아야 하며 한 번에 1개의 프로세스만 액세스해야 합니다. 일부 하드웨어 벤더는 시스템 재설정용으로 watchdog을 사용하는 시스템 관리 소프트웨어를 제공합니다(예: HP ASR 데몬). 그러한 소프트웨어는 SBD에서 watchdog을 사용하는 경우 비활성화되어야 합니다.

올바른 watchdog 모듈을 결정합니다. 아니면, 터널 버전에 설치된 드라이버 목록을 살펴볼 수도 있습니다.

ls -l /lib/modules/$(uname -r)/kernel/drivers/watchdog

기존에 로드된 watchdog 모듈이 있는지 확인합니다.

lsmod | egrep "(wd|dog|i6|iT|ibm)"

결과가 제공되면 시스템이 이미 로드된 watchdog이 있는 것입니다. watchdog이 watchdog 장치와 일치하지 않으면 모듈의 로드를 해제해야 합니다.

모듈을 안전하게 언로드하려면 응용 프로그램에서 watchdog 장치가 사용 중인지의 여부를 우선 확인하십시오.

lsof /dev/watchdog
rmmod <wrong_module>

watchdog 모듈을 활성화하고 영구로 설정합니다. 아래 예시에서는 일부 제약이 있는 softdog이 사용되며 우선 옵션으로 사용되지 않아야 합니다.

echo softdog > /etc/modules-load.d/watchdog.conf
systemctl restart systemd-modules-load

watchdog 모듈이 올바르게 로드되었는지 확인합니다.

lsmod | grep dog
ls -l /dev/watchdog

간단한 작업으로 watchdog 테스트를 수행할 수 있습니다. watchdog으로 인해 시스템에서 불완전한 재설정/종료가 수행되므로 우선 SAP HANA를 전환해야 합니다.

하드웨어 watchdog을 사용하는 경우에는 watchdog 시간 제한이 도달한 후 원하는 동작이 사전 정의됩니다. watchdog 모듈이 로드되고 다른 응용 프로그램에 의해 제어되지 않는 경우에는 다음을 수행하십시오.

중요

계속해서 업데이트하지 않고 watchdog을 트리거하면 watchdog이 시스템을 재설정/종료합니다. 이는 의도된 방식입니다. 다음 명령은 시스템을 강제로 재설정/종료합니다.

touch /dev/watchdog

softdog 모듈이 사용되는 경우에는 다음 동작을 수행할 수 있습니다.

echo 1> /dev/watchdog

테스트가 완료된 후에는 모든 클러스터 멤버에 watchdog을 구현해야 합니다.

9.1.2 ha-cluster-init을 사용한 초기 클러스터 설정 #

 

자세한 정보는 SUSE Linux Enterprise High Availability Extension의 자동 클러스터 설정을 참조하십시오.

ha-cluster-init 명령을 사용하여 초기 설정을 생성한 후 대화 상자를 따릅니다. 첫 번째 클러스터 노드에서 이 작업을 수행해야 합니다.

suse01:~> ha-cluster-init -u -s <sbddevice>

이 명령을 수행하면 다음이 포함된 기본 클러스터 프레임워크가 구성됩니다.

• SSH 키

• 구성 파일을 전송하기 위한 csync2

• SBD(장치 1개 이상)

• corosync(링 1개 이상)

• HAWK 웹 인터페이스

중요

ha-cluster-init의 요청에 따라 hacluster 사용자의 암호를 변경합니다.

9.1.3 Corosync 및 SBD 구성 조정 #

 

두 번째 corosync 링을 추가하는 것이 좋습니다. -u 옵션을 사용하여 ha-cluster-init을 시작하지 않은 경우에는 UCAST 통신을 사용하도록 corosync를 변경해야 합니다. UCAST를 중지하려면 systemctl stop pacemaker를 사용하여 기존에 실행 중인 클러스터를 중지합니다. corosync 구성 및 SBD 파라미터를 설정한 후 클러스터를 다시 시작합니다.

9.1.3.1 Corosync 구성 #

 

/Etc/corosync/corosync.conf 파일에서 다음 블록을 확인하십시오. 또한, 이 문서의 마지막 부분에서 제공되는 예시도 참조하십시오.

totem {
    ...

    interface {
        ringnumber: 0
        mcastport:  5405
        ttl:        1
    }
    #Transport protocol
    transport:      udpu

}
nodelist {
        node {
        #ring0 address
        ring0_addr:     192.168.1.11
        nodeid: 1

        }
    }

9.1.3.2 SBD 구성 조정 #

 

SBD 장치가 없는 경우에는 이 섹션을 건너뛰어도 되지만, 지원되는 다른 펜싱 메커니즘을 구현해야 합니다.

자세한 내용은 sbd.8 및 stonith_sbd.7 기본 페이지를 참조하십시오.

표 3: /etc/sysconfig/SBD 파일의 SBD 옵션 #

 

파라미터	설명
SBD_WATCHDOG_DEV	watchdog 장치를 정의합니다. watchdog 사용은 필수입니다. watchdog이 없는 경우 SBD가 올바르게 작동하지 않습니다. watchdog 설정과 관련해서는 SLES 설명서 및 SUSE TIDs 7016880를 참조하십시오.
SBD_WATCHDOG_TIMEOUT	시간 제한(초)을 정의합니다. watchdog은 사용자가 없어 노드에서 경고가 발생할 때까지 대기합니다. 이 파라미터는 사용자의 저장소 환경과 일치해야 합니다. 저장소가 30초 동안 중단될 수 있는 경우에는 이 파라미터를 더 높은 값으로 설정해야 합니다. 일반적인 설정 값인 5초는 프로덕션 환경에서는 너무 적극적일 수 있습니다. pacameker 클러스터 속성 stonith-watchdog-timeout에 따라서도 파라미터를 조정해야 합니다. stonith-watchdog-timeout 속성은 SBD_WATCHDOG_TIMEOUT의 값보다 크거나 같게 설정해야 합니다. SUSE Linux Enterprise High Availability Extension 15부터는 stonith-watchdog-timeout을 음수 값으로 설정하면 Pacemaker가 이 시간 제한을 자동으로 계산한 후 SBD_WATCHDOG_TIMEOUT 값의 2배로 설정합니다.
SBD_STARTMODE	모드를 시작합니다. clean으로 설정하면 노드가 이전에 정상적으로 종료되거나 슬롯이 비어 있는 경우에만 SBD가 시작됩니다.
SBD_PACEMAKER	Pacemaker 쿼럼 및 노드 상태를 확인합니다.

다음에서 /dev/disk/by-id/SBDA 및 /dev/disk/by-id/SBDB를 실제 SBD 장치 이름으로 바꿉니다. 예를 들면, SBD_WATCHDOG_TIMEOUT를 15초로 설정하여 일반적인 5초보다 덜 적극적으로 설정합니다.

# /etc/sysconfig/sbd
SBD_DEVICE="/dev/disk/by-id/SBDA;/dev/disk/by-id/SBDB"
SBD_WATCHDOG_DEV="/dev/watchdog"
SBD_WATCHDOG_TIMEOUT=15
SBD_PACEMAKER="yes"
SBD_STARTMODE="clean"
SBD_OPTS=""

중요

시간 제한 계산 방법에 대한 자세한 내용은 SUSE 제품 문서(https://documentation.suse.com/sle-ha/15-SP1/single-html/SLE-HA-guide/#sec-ha-storage-protect-watchdog-timings)도 참조하십시오.

9.1.3.3 SBD 장치 확인 #

 

SBD 장치가 없는 경우에는 이 섹션을 건너뛰어도 되지만, 지원되는 펜싱 메커니즘을 구현해야 합니다.

두 노드 모두에서 SBD 장치에 액세스할 수 있고 SBD 장치에 유효한 레코드가 있는지를 확인하는 것이 좋습니다. /etc/sysconfig/sbd에서 구성된 모든 장치에 대하여 이를 확인합니다.

suse01:~ # sbd -d /dev/disk/by-id/SBDA dump
==Dumping header on disk /dev/disk/by-id/SBDA
Header version     : 2.1
UUID               : 0f4ea13e-fab8-4147-b9b2-3cdcfff07f86
Number of slots    : 255
Sector size        : 512
Timeout (watchdog) : 20
Timeout (allocate) : 2
Timeout (loop)     : 1
Timeout (msgwait)  : 40
==Header on disk /dev/disk/by-id/SBDA is dumped

예시의 시간 제한 값은 시작 값에 불과하며, 환경에 따라 조정해야 합니다.

여러 클러스터 노드에 대한 현재 SBD 항목을 확인하려면 sbd list를 사용할 수 있습니다. 모든 항목이 clear인 경우에는 SBD 장치에 펜싱 작업이 표시되지 않습니다.

suse01:~ # sbd -d /dev/disk/by-id/SBDA list
0     suse01      clear

SBD 구성 파라미터에 대한 자세한 내용은 SUSE Linux Enterprise High Availability Extension의 저장소 기반 펜싱 섹션 및 TID 7016880과 7008216을 참조하십시오.

이제 첫 번째 노드에서 클러스터를 다시 시작합니다(systemctl start pacemaker).

9.1.4 두 번째 노드의 클러스터 구성 #

 

2개 노드 클러스터의 두 번째 노드는 ha-cluster-join 명령을 사용하여 통합할 수 있습니다. 이 명령은 첫 번째 클러스터 노드의 IP 주소 또는 이름을 요청합니다. 그러면 필요한 모든 구성 파일이 복사됩니다. 그 결과 두 노드 모두에서 클러스터가 시작됩니다.

# ha-cluster-join -c <host1>

9.1.5 처음으로 클러스터 확인 #

 

이제 두 노드에서 처음으로 클러스터를 확인하고 선택 사항으로 클러스터를 시작합니다.

suse01:~ # systemctl status pacemaker
suse01:~ # systemctl status sbd
suse02:~ # systemctl status pacemaker
suse01:~ # systemctl start pacemaker
suse02:~ # systemctl status sbd
suse02:~ # systemctl start pacemaker

crm_mon을 사용하여 클러스터 상태를 확인합니다. "-r” 옵션을 사용하면 구성되었지만 중지되지 않은 리소스를 살펴볼 수도 있습니다.

# crm_mon -r

이 명령은 “비어 있는” 클러스터를 보여주며 다음 화면 출력과 같은 출력을 제공합니다. 현재 가장 관심이 있는 정보는 “온라인” 상태의 노드가 있다는 것과 “partition with quorum” 메시지입니다.

Stack: corosync
Current DC: suse01 (version 2.0.1+20190417.13d370ca9-3.6.1-2.0.1+20190417.13d370ca9) - partition with quorum
Last updated: Wed Feb  5 15:06:35 2020
Last change: Wed Feb  5 15:04:42 2020 by hacluster via crmd on suse02
2 nodes configured
1 resource configured
Online: [ suse01 suse02 ]
Full list of resources:
 stonith-sbd    (stonith:external/sbd): Started suse01

suse01:~ # vi crm-fileXX
suse01:~ # crm configure load update crm-fileXX

suse01:~ # vi crm-bs.txt
# enter the following to crm-bs.txt
property $id="cib-bootstrap-options" \
              stonith-enabled="true" \
              stonith-action="reboot" \
              stonith-timeout="150s"
rsc_defaults $id="rsc-options" \
              resource-stickiness="1000" \
              migration-threshold="5000"
op_defaults $id="op-options" \
                 timeout="600"

suse01:~ # crm configure load update crm-bs.txt

# vi crm-sbd.txt
# enter the following to crm-sbd.txt
primitive stonith-sbd stonith:external/sbd \
    params pcmk_delay_max="15"

suse01:~ # crm configure load update crm-sbd.txt

# vi crm-saphanatop.txt
# enter the following to crm-saphanatop.txt
primitive rsc_SAPHanaTopology_HA1_HDB10 ocf:suse:SAPHanaTopology \
        op monitor interval="10" timeout="600" \
        op start interval="0" timeout="600" \
        op stop interval="0" timeout="300" \
        params SID="HA1" InstanceNumber="10"
clone cln_SAPHanaTopology_HA1_HDB10 rsc_SAPHanaTopology_HA1_HDB10 \
        meta clone-node-max="1" interleave="true"

suse01:~ # crm configure load update crm-saphanatop.txt

# vi crm-saphana.txt
# enter the following to crm-saphana.txt
primitive rsc_SAPHana_HA1_HDB10 ocf:suse:SAPHana \
        op start interval="0" timeout="3600" \
        op stop interval="0" timeout="3600" \
        op promote interval="0" timeout="3600" \
        op monitor interval="60" role="Master" timeout="700" \
        op monitor interval="61" role="Slave" timeout="700" \
        params SID="HA1" InstanceNumber="10" PREFER_SITE_TAKEOVER="true" \
        DUPLICATE_PRIMARY_TIMEOUT="7200" AUTOMATED_REGISTER="false"
ms msl_SAPHana_HA1_HDB10 rsc_SAPHana_HA1_HDB10 \
        meta clone-max="2" clone-node-max="1" interleave="true"

suse01:~ # crm configure load update crm-saphana.txt

# vi crm-vip.txt
# enter the following to crm-vip.txt

primitive rsc_ip_HA1_HDB10 ocf:heartbeat:IPaddr2 \
        op monitor interval="10s" timeout="20s" \
        params ip="192.168.1.20"

suse01:~ # crm configure load update crm-vip.txt

# vi crm-cs.txt
# enter the following to crm-cs.txt

colocation col_saphana_ip_HA1_HDB10 2000: rsc_ip_HA1_HDB10:Started \
    msl_SAPHana_HA1_HDB10:Master
order ord_SAPHana_HA1_HDB10 Optional: cln_SAPHanaTopology_HA1_HDB10 \
    msl_SAPHana_HA1_HDB10

suse01:~ # crm configure load update crm-cs.txt

# vi crm-re.txt
# enter the following to crm-re.txt

primitive rsc_ip_HA1_HDB10_readenabled ocf:heartbeat:IPaddr2 \
        op monitor interval="10s" timeout="20s" \
        params ip="192.168.1.21"
colocation col_saphana_ip_HA1_HDB10_readenabled 2000: \
    rsc_ip_HA1_HDB10_readenabled:Started msl_SAPHana_HA1_HDB10:Slave

테스트 목록은 이 문서의 다음 업데이트에서 개선될 예정입니다.

모든 클러스터 테스트는 매우 중요합니다. 고객이 예상하여 작성한 모든 테스트 사례를 구현하여 모두 통과하는지 확인합니다. 그렇지 않으면 프로덕션 중에 프로젝트가 실패할 수 있습니다.

별도로 설명되는 경우를 제외하고, 테스트 필수 구성 요소가 부팅되고 클러스터의 일반 멤버 및 HANA RDBMS가 실행 중이어야 합니다. 시스템 복제가 동기화 중(SOK)입니다.

10.1 반자동화를 위한 테스트 사례 #

 

다음 테스트 설명에서는 PREFER_SITE_TAKEOVER="true" 및 AUTOMATED_REGISTER="false"가 가정됩니다.

참고

다음 테스트는 순차적으로 실행되도록 설계되었으며 진행 중인 테스트의 종료 상태에 따라 다릅니다.

10.1.1 테스트: 사이트 A에서 기본 데이터베이스 중지(노드 1) #

 

예제 16: STOP_PRIMARY_SITE_A 테스트 #

 

구성 요소: #

 

• 기본 데이터베이스

설명: #

 

• 기본 HANA 데이터베이스는 정상 클러스터 작업 중에 중지됩니다.

테스트 절차: #

 

1. <sid>adm으로서 기본 HANA 데이터베이스를 정상적으로 중지합니다.

   suse01# HDB stop

복구 절차: #

 

1. 기존 기본 사이트(노드 1)를 <sid>adm으로 인수 후 새 기본 사이트(노드 2)와 함께 수동으로 등록합니다.

   suse01# hdbnsutil -sr_register --remoteHost=suse02 --remoteInstance=10 \
             --replicationMode=sync --operationMode=logreplay \
             --name=WDF

2. 노드 1에서 HANA 데이터베이스(현재 보조 사이트)를 루트로 다시 시작합니다.

   suse01# crm resource refresh rsc_SAPHana_HA1_HDB10 suse01

예상되는 결과: #

 

1. 클러스터가 중지된 기본 HANA 데이터베이스(노드 1)를 감지하고 리소스를 실패로 표시합니다.

2. 클러스터는 보조 HANA 데이터베이스(노드 2)를 승격하여 기본 사이트로 인수합니다.

3. 클러스터는 IP 주소를 새 기본 사이트(노드 2)로 마이그레이션합니다.

4. 잠시 후에 클러스터에 중지된 기본 사이트(노드 1)의 sync_state가 SFAIL로 표시됩니다.

5. AUTOMATED_REGISTER="false”이므로 클러스터는 실패한 HANA 데이터베이스를 다시 시작하지 않거나 새 기본 사이트로 등록합니다.

6. 수동 등록 및 리소스 새로 고침 후 시스템 복제 쌍이 동기화 중(SOK)으로 표시됩니다.

7. "실패한 작업” 클러스터는 다음 복구 절차 후에 정리됩니다.

10.1.2 테스트: 사이트 B에서 기본 데이터베이스 중지(노드 2) #

 

예제 17: STOP_PRIMARY_DB_SITE_B 테스트 #

 

구성 요소:

기본 데이터베이스

설명:

기본 HANA 데이터베이스는 정상 클러스터 작업 중에 중지됩니다.

테스트 절차: #

 

1. <sid>adm으로서 데이터베이스를 정상적으로 중지합니다.

   suse02# HDB stop

복구 절차: #

 

1. 기존 기본 사이트(노드 2)를 <sid>adm으로 인수 후 새 기본 사이트(노드 1)와 함께 수동으로 등록합니다.

   suse02# hdbnsutil -sr_register --remoteHost=suse01 --remoteInstance=10 \
                  --replicationMode=sync --operationMode=logreplay \
                  --name=ROT

2. 노드 1에서 HANA 데이터베이스(현재 보조 사이트)를 루트로 다시 시작합니다.

   suse02# crm resource refresh rsc_SAPHana_HA1_HDB10 suse02

예상되는 결과: #

 

1. 클러스터가 중지된 기본 HANA 데이터베이스(노드 2)를 감지하고 리소스를 실패로 표시합니다.

2. 클러스터는 보조 HANA 데이터베이스(노드 1)를 승격하여 기본 사이트로 인수합니다.

3. 클러스터는 IP 주소를 새 기본 사이트(노드 1)로 마이그레이션합니다.

4. 잠시 후에 클러스터에 중지된 기본 사이트(노드 2)의 sync_state가 SFAIL로 표시됩니다.

5. AUTOMATED_REGISTER="false”이므로 클러스터는 실패한 HANA 데이터베이스를 다시 시작하지 않거나 새 기본 사이트로 등록합니다.

6. 수동 등록 및 리소스 새로 고침 후 시스템 복제 쌍이 동기화 중(SOK)으로 표시됩니다.

7. "실패한 작업” 클러스터는 다음 복구 절차 후에 정리됩니다.

10.1.3 테스트: 사이트 A에서 기본 데이터베이스 충돌(노드 1) #

 

예제 18: CRASH_PRIMARY_DB_SITE_A 테스트 #

 

구성 요소:

기본 데이터베이스

설명:

기본 데이터베이스 시스템의 모든 장애를 시뮬레이션합니다.

테스트 절차: #

 

1. <sid>adm으로서 신호를 사용하여 기본 데이터베이스 시스템을 종료합니다.

   suse01# HDB kill-9

복구 절차: #

 

1. 기존 기본 사이트(노드 1)를 <sid>adm으로 인수 후 새 기본 사이트(노드 2)와 함께 수동으로 등록합니다.

   suse01# hdbnsutil -sr_register --remoteHost=suse02 --remoteInstance=10 \
                  --replicationMode=sync  --operationMode=logreplay \
                  --name=WDF

2. 노드 1에서 HANA 데이터베이스(현재 보조 사이트)를 루트로 다시 시작합니다.

   suse01# crm resource refresh rsc_SAPHana_HA1_HDB10 suse01

예상되는 결과: #

 

1. 클러스터가 중지된 기본 HANA 데이터베이스(노드 1)를 감지하고 리소스를 실패로 표시합니다.

2. 클러스터는 보조 HANA 데이터베이스(노드 2)를 승격하여 기본 사이트로 인수합니다.

3. 클러스터는 IP 주소를 새 기본 사이트(노드 2)로 마이그레이션합니다.

4. 잠시 후에 클러스터에 중지된 기본 사이트(노드 1)의 sync_state가 SFAIL로 표시됩니다.

5. AUTOMATED_REGISTER="false”이므로 클러스터는 실패한 HANA 데이터베이스를 다시 시작하지 않거나 새 기본 사이트로 등록합니다.

6. 수동 등록 및 리소스 새로 고침 후 시스템 복제 쌍이 동기화 중(SOK)으로 표시됩니다.

7. "실패한 작업” 클러스터는 다음 복구 절차 후에 정리됩니다.

10.1.4 테스트: 사이트 B에서 기본 데이터베이스 충돌(노드 2) #

 

예제 19: CRASH_PRIMARY_DB_SITE_B 테스트 #

 

구성 요소:

기본 데이터베이스

설명:

기본 데이터베이스 시스템의 모든 장애를 시뮬레이션합니다.

테스트 절차: #

 

1. <sid>adm으로서 신호를 사용하여 기본 데이터베이스 시스템을 종료합니다.

   suse02# HDB kill-9

복구 절차: #

 

1. 기존 기본 사이트(노드 2)를 <sid>adm으로 인수 후 새 기본 사이트(노드 1)와 함께 수동으로 등록합니다.

   suse02# hdbnsutil -sr_register --remoteHost=suse01 --remoteInstance=10 \
                  --replicationMode=sync  --operationMode=logreplay \
                  --name=ROT

2. 노드 1에서 HANA 데이터베이스(현재 보조 사이트)를 루트로 다시 시작합니다.

   suse02# crm resource refresh rsc_SAPHana_HA1_HDB10 suse02

예상되는 결과: #

 

1. 클러스터가 중지된 기본 HANA 데이터베이스(노드 2)를 감지하고 리소스를 실패로 표시합니다.

2. 클러스터는 보조 HANA 데이터베이스(노드 1)를 승격하여 기본 사이트로 인수합니다.

3. 클러스터는 IP 주소를 새 기본 사이트(노드 1)로 마이그레이션합니다.

4. 잠시 후에 클러스터에 중지된 기본 사이트(노드 2)의 sync_state가 SFAIL로 표시됩니다.

5. AUTOMATED_REGISTER="false”이므로 클러스터는 실패한 HANA 데이터베이스를 다시 시작하지 않거나 새 기본 사이트로 등록합니다.

6. 수동 등록 및 리소스 새로 고침 후 시스템 복제 쌍이 동기화 중(SOK)으로 표시됩니다.

7. "실패한 작업” 클러스터는 다음 복구 절차 후에 정리됩니다.

10.1.5 테스트: 사이트 A에서 기본 노드 충돌(노드 1) #

 

예제 20: CRASH_PRIMARY_NODE_SITE_A 테스트 #

 

구성 요소:

기본 사이트의 클러스터 노드

설명:

기본 HANA 데이터베이스가 실행되는 기본 사이트 노드의 충돌을 시뮬레이션합니다.

테스트 절차: #

 

1. 'fast-reboot’ 시스템 요청을 전송하여 기본 노드에서 충돌을 유발합니다.

   suse01# echo 'b' > /proc/sysrq-trigger

복구 절차: #

 

1. SBD 펜싱을 사용하는 경우 펜싱된 후 pacemaker가 자동으로 다시 시작됩니다. 이 경우 모든 SBD 장치에서 펜싱 플래그를 삭제한 후 pacemaker를 시작합니다.

   suse01# sbd -d /dev/disk/by-id/SBDA message suse01 clear
   suse01# sbd -d /dev/disk/by-id/SBDB message suse01 clear
   ...

2. 클러스터 프레임워크 시작

   suse01# systemctl start pacemaker

3. 기존 기본 사이트(노드 1)를 <sid>adm으로 인수 후 새 기본 사이트(노드 2)와 함께 수동으로 등록합니다.

   suse01# hdbnsutil -sr_register --remoteHost=suse02 --remoteInstance=10 \
                  --replicationMode=sync  --operationMode=logreplay \
                  --name=WDF

4. 노드 1에서 HANA 데이터베이스(현재 보조 사이트)를 루트로 다시 시작합니다.

   suse01# crm resource refresh rsc_SAPHana_HA1_HDB10 suse01

예상되는 결과: #

 

1. 클러스터가 장애가 발생한 노드(노드 1)를 감지하고 이를 UNCLEAN으로 선언한 후 보조 노드(노드 2)를 "partition WITHOUT quorum” 상태로 설정합니다.

2. 클러스터가 장애 발생 노드(노드 1)를 펜싱합니다.

3. 클러스터가 장애 발생 노드(노드 1)을 OFFLINE으로 선언합니다.

4. 클러스터는 보조 HANA 데이터베이스(노드 2)를 승격하여 기본 사이트로 인수합니다.

5. 클러스터는 IP 주소를 새 기본 사이트(노드 2)로 마이그레이션합니다.

6. 잠시 후에 클러스터에 중지된 기본 사이트(노드 2)의 sync_state가 SFAIL로 표시됩니다.

7. SBD 펜싱을 사용하는 경우에는 수동 복구 절차를 사용하여 펜싱 플래그를 삭제하고 노드에서 pacemaker를 다시 시작합니다.

8. AUTOMATED_REGISTER="false”이므로 클러스터는 실패한 HANA 데이터베이스를 다시 시작하지 않거나 새 기본 사이트로 등록합니다.

9. 수동 등록 및 리소스 새로 고침 후 시스템 복제 쌍이 동기화 중(SOK)으로 표시됩니다.

10. "실패한 작업” 클러스터는 다음 복구 절차 후에 정리됩니다.

10.1.6 테스트: 사이트 B에서 기본 노드 충돌(노드 2) #

 

예제 21: CRASH_PRIMARY_NODE_SITE_B 테스트 #

 

구성 요소:

보조 사이트의 클러스터 노드

설명:

기본 HANA 데이터베이스가 실행되는 보조 사이트 노드의 충돌을 시뮬레이션합니다.

테스트 절차: #

 

1. 'fast-reboot’ 시스템 요청을 전송하여 보조 노드에서 충돌을 유발합니다.

   suse02# echo 'b' > /proc/sysrq-trigger

복구 절차: #

 

1. SBD 펜싱을 사용하는 경우 펜싱된 후 pacemaker가 자동으로 다시 시작됩니다. 이 경우 모든 SBD 장치에서 펜싱 플래그를 삭제한 후 pacemaker를 시작합니다.

   suse02# sbd -d /dev/disk/by-id/SBDA message suse02 clear
   suse02# sbd -d /dev/disk/by-id/SBDB message suse02 clear
   ...

2. 클러스터 프레임워크 시작

   suse02# systemctl start pacemaker

3. 기존 기본 사이트(노드 2)를 <sid>adm으로 인수 후 새 기본 사이트(노드 1)와 함께 수동으로 등록합니다.

   suse02# hdbnsutil -sr_register --remoteHost=suse01 --remoteInstance=10 \
                  --replicationMode=sync  --operationMode=logreplay \
                  --name=ROT

4. 노드 2에서 HANA 데이터베이스(현재 보조 사이트)를 루트로 다시 시작합니다.

   suse02# crm resource refresh rsc_SAPHana_HA1_HDB10 suse02

예상되는 결과: #

 

1. 클러스터가 장애가 발생한 보조 노드(노드 2)를 감지하고 이를 UNCLEAN으로 선언한 후 기본 노드(노드 1)를 "partition WITHOUT quorum” 상태로 설정합니다.

2. 클러스터가 장애 발생 보조 노드(노드 2)를 펜싱합니다.

3. 클러스터가 장애 발생 보조 노드(노드 2)을 OFFLINE으로 선언합니다.

4. 클러스터는 보조 HANA 데이터베이스(노드 1)를 승격하여 기본 사이트로 인수합니다.

5. 클러스터는 IP 주소를 새 기본 사이트(노드 1)로 마이그레이션합니다.

6. 잠시 후에 클러스터에 중지된 보조 사이트(노드 2)의 sync_state가 SFAIL로 표시됩니다.

7. SBD 펜싱을 사용하는 경우에는 수동 복구 절차를 사용하여 펜싱 플래그를 삭제하고 노드에서 pacemaker를 다시 시작합니다.

8. AUTOMATED_REGISTER="false”이므로 클러스터는 실패한 HANA 데이터베이스를 다시 시작하지 않거나 새 기본 사이트로 등록합니다.

9. 수동 등록 및 리소스 새로 고침 후 시스템 복제 쌍이 동기화 중(SOK)으로 표시됩니다.

10. "실패한 작업” 클러스터는 다음 복구 절차 후에 정리됩니다.

10.1.7 테스트: 사이트 B에서 보조 데이터베이스 중지(노드 2) #

 

예제 22: STOP_SECONDARY_DB_SITE_B 테스트 #

 

구성 요소:

보조 HANA 데이터베이스

설명:

보조 HANA 데이터베이스는 정상 클러스터 작업 중에 중지됩니다.

테스트 절차: #

 

1. <sid>adm으로서 보조 HANA 데이터베이스를 정상적으로 중지합니다.

   suse02# HDB stop

복구 절차: #

 

1. 루트로서 보조 HANA 데이터베이스(노드 2)의 장애가 발생한 리소스 상태를 새로 고칩니다.

   suse02# crm resource refresh rsc_SAPHana_HA1_HDB10 suse02

예상되는 결과: #

 

1. 클러스터가 중지된 보조 데이터베이스(노드 2)를 감지하고 리소스를 실패로 표시합니다.

2. 클러스터가 중단된 시스템 복제를 감지하고 이를 실패(SFAIL)로 표시합니다.

3. 클러스터가 동일한 노드(노드 2)에서 보조 HANA 데이터베이스를 다시 시작합니다.

4. 클러스터가 시스템 복제가 동기화 중임을 다시 감지하고 이를 ok(SOK)로 표시합니다.

5. "실패한 작업” 클러스터는 다음 복구 절차 후에 정리됩니다.

10.1.8 테스트: 사이트 B에서 보조 데이터베이스 충돌(노드 2) #

 

예제 23: CRASH_SECONDARY_DB_SITE_B 테스트 #

 

구성 요소:

보조 HANA 데이터베이스

설명:

보조 데이터베이스 시스템의 모든 장애를 시뮬레이션합니다.

테스트 절차: #

 

1. <sid>adm으로서 신호를 사용하여 보조 데이터베이스 시스템을 종료합니다.

   suse02# HDB kill-9

복구 절차: #

 

1. 루트로서 보조 HANA 데이터베이스(노드 2)의 장애가 발생한 리소스 상태를 정리합니다.

   suse02# crm resource refresh rsc_SAPHana_HA1_HDB10 suse02

예상되는 결과: #

 

1. 클러스터가 중지된 보조 데이터베이스(노드 2)를 감지하고 리소스를 실패로 표시합니다.

2. 클러스터가 중단된 시스템 복제를 감지하고 이를 실패(SFAIL)로 표시합니다.

3. 클러스터가 동일한 노드(노드 2)에서 보조 HANA 데이터베이스를 다시 시작합니다.

4. 클러스터가 시스템 복제가 동기화 중임을 다시 감지하고 이를 ok(SOK)로 표시합니다.

5. "실패한 작업” 클러스터는 다음 복구 절차 후에 정리됩니다.

10.1.9 테스트: 사이트 B에서 보조 노드 충돌(노드 2) #

 

예제 24: CRASH_SECONDARY_NODE_SITE_B 테스트 #

 

구성 요소:

보조 사이트의 클러스터 노드

설명:

보조 HANA 데이터베이스가 실행되는 보조 사이트 노드의 충돌을 시뮬레이션합니다.

테스트 절차: #

 

1. 'fast-reboot’ 시스템 요청을 전송하여 보조 노드에서 충돌을 유발합니다.

   suse02# echo 'b' > /proc/sysrq-trigger

복구 절차: #

 

1. SBD 펜싱을 사용하는 경우 펜싱된 후 pacemaker가 자동으로 다시 시작됩니다. 이 경우 모든 SBD 장치에서 펜싱 플래그를 삭제한 후 pacemaker를 시작합니다.

   suse02# sbd -d /dev/disk/by-id/SBDA message suse02 clear
   suse02# sbd -d /dev/disk/by-id/SBDB message suse02 clear
   ...

2. 클러스터 프레임워크를 시작합니다.

   suse02# systemctl start pacemaker

예상되는 결과: #

 

1. 클러스터가 장애가 발생한 보조 노드(노드 2)를 감지하고 이를 UNCLEAN으로 선언한 후 기본 노드(노드 1)를 "partition WITHOUT quorum” 상태로 설정합니다.

2. 클러스터가 장애 발생 보조 노드(노드 2)를 펜싱합니다.

3. 클러스터가 장애 발생 보조 노드(노드 2)을 OFFLINE으로 선언합니다.

4. 잠시 후에 클러스터에 중지된 보조 사이트(노드 2)의 sync_state가 SFAIL로 표시됩니다.

5. SBD 펜싱을 사용하는 경우에는 수동 복구 절차를 사용하여 펜싱 플래그를 삭제하고 노드에서 pacemaker를 다시 시작합니다.

6. 펜싱된 노드(노드 2)가 클러스터에 다시 합류하면 이전 보조 HANA 데이터베이스가 자동으로 시작됩니다.

7. 클러스터가 시스템 복제가 동기화 중임을 다시 감지하고 이를 ok(SOK)로 표시합니다.

10.1.10 테스트: 복제 LAN의 장애 #

 

예제 25: FAIL_NETWORK_SR 테스트 #

 

구성 요소:

복제 LAN

설명:

기본 및 보조 노드 간 복제 LAN 연결 끊김

테스트 절차: #

 

1. 복제 LAN의 클러스터 노드 간 연결을 끊습니다.

복구 절차: #

 

1. 복제 LAN의 클러스터 노드 간 연결을 다시 설정합니다.

예상되는 결과: #

 

1. 잠시 후에 클러스터에 보조 사이트(노드 2)의 sync_state가 SFAIL로 표시됩니다.

2. 기본 HANA 데이터베이스(노드 1) "HDBSettings.sh systemReplicationStatus.py"에 "CONNECTION TIMEOUT"이 표시되고 보조 HANA 데이터베이스(노드 2)가 기본 데이터베이스(노드 1)에 연결할 수 없습니다.

3. 기본 HANA 데이터베이스는 계속해서 "정상"으로 작동하지만, 시스템 복제가 수행되지 않으므로 더 이상 유효한 인수 대상이 아닙니다.

4. LAN 연결이 다시 수립되면 HDB가 HANA 데이터베이스 사이의 연결을 자동으로 감지한 후 시스템 복제 프로세스를 다시 시작합니다.

5. 클러스터가 시스템 복제가 동기화 중임을 다시 감지하고 이를 ok(SOK)로 표시합니다.

10.2 완전 자동화를 위한 테스트 사례 #

 

다음 테스트 설명에서는 PREFER_SITE_TAKEOVER="true" 및 AUTOMATED_REGISTER=”true"가 가정됩니다.

참고

다음 테스트는 순차적으로 실행되도록 설계되었으며 진행 중인 테스트의 종료 상태에 따라 다릅니다.

10.2.1 테스트: 사이트 A에서 기본 데이터베이스 중지 #

 

예제 26: STOP_PRIMARY_DB_SITE_A 테스트 #

 

구성 요소: #

 

• 기본 데이터베이스

설명: #

 

• 기본 HANA 데이터베이스는 정상 클러스터 작업 중에 중지됩니다.

테스트 절차: #

 

• <sid>adm으로서 기본 HANA 데이터베이스를 정상적으로 중지합니다.

suse01# HDB stop

복구 절차: #

 

1. 필요하지 않은 경우 모든 사항이 자동화됩니다.

2. 루트로서 노드 1에서 클러스터 리소스를 새로 고칩니다.

suse01# crm resource refresh rsc_SAPHana_HA1_HDB10 suse01

예상되는 결과: #

 

1. 클러스터가 중지된 기본 HANA 데이터베이스(노드 1)를 감지하고 리소스를 실패로 표시합니다.

2. 클러스터는 보조 HANA 데이터베이스(노드 2)를 승격하여 기본 사이트로 인수합니다.

3. 클러스터는 IP 주소를 새 기본 사이트(노드 2)로 마이그레이션합니다.

4. 잠시 후에 클러스터에 중지된 기본 사이트(노드 1)의 sync_state가 SFAIL로 표시됩니다.

5. AUTOMATED_REGISTER="true”이므로 클러스터는 실패한 HANA 데이터베이스를 다시 시작하고 새 기본 사이트로 등록합니다.

6. 자동 등록 및 리소스 새로 고침 후 시스템 복제 쌍이 동기화 중(SOK)으로 표시됩니다.

7. "실패한 작업” 클러스터는 다음 복구 절차 후에 정리됩니다.

10.2.2 테스트: 사이트 B에서 기본 노드 충돌(노드 2) #

 

예제 27: CRASH_PRIMARY_NODE_SITE_B 테스트 #

 

구성 요소: #

 

• B 사이트의 클러스터 노드

설명: #

 

• 기본 HANA 데이터베이스가 실행되는 사이트 B의 충돌을 시뮬레이션합니다.

테스트 절차: #

 

• 'fast-reboot’ 시스템 요청을 전송하여 보조 노드에서 충돌을 유발합니다.

suse02# echo 'b' > /proc/sysrq-trigger

복구 절차: #

 

• SBD 펜싱을 사용하는 경우 펜싱된 후 pacemaker가 자동으로 다시 시작됩니다. 이 경우 모든 SBD 장치에서 펜싱 플래그를 삭제한 후 pacemaker를 시작합니다.

suse02# sbd -d /dev/disk/by-id/SBDA message suse02 clear
suse02# sbd -d /dev/disk/by-id/SBDB message suse02 clear
...

• 클러스터 프레임워크를 시작합니다.

suse02# systemctl start pacemaker

• 루트인 노드 2에서 클러스터 리소스를 새로 고칩니다.

suse02# crm resource refresh rsc_SAPHana_HA1_HDB10 suse02

예상되는 결과: #

 

1. 클러스터가 장애가 발생한 기본 노드(노드 2)를 감지하고 이를 UNCLEAN으로 선언한 후 기본 노드(노드 2)를 "partition WITHOUT quorum” 상태로 설정합니다.

2. 클러스터가 장애 발생 기본 노드(노드 2)를 펜싱합니다.

3. 클러스터가 장애 발생 기본 노드(노드 2)을 OFFLINE으로 선언합니다.

4. 클러스터는 보조 HANA 데이터베이스(노드 1)를 승격하여 기본 사이트로 인수합니다.

5. 클러스터는 IP 주소를 새 기본 사이트(노드 1)로 마이그레이션합니다.

6. 잠시 후에 클러스터에 중지된 보조 사이트(노드 2)의 sync_state가 SFAIL로 표시됩니다.

7. SBD 펜싱을 사용하는 경우에는 수동 복구 절차를 사용하여 펜싱 플래그를 삭제하고 노드에서 pacemaker를 다시 시작합니다.

8. 펜싱된 노드(노드 2)가 클러스터에 다시 합류하면 이전 기본 노드가 보조가 됩니다.

9. AUTOMATED_REGISTER="true”이므로 클러스터는 실패한 HANA 데이터베이스를 다시 시작하고 새 기본 사이트로 등록합니다.

10. 클러스터가 시스템 복제가 동기화 중임을 다시 감지하고 이를 ok(SOK)로 표시합니다.

자세한 정보는 아래 문서에서 확인할 수 있습니다.

저작권 © 2006–2020 SUSE LLC 및 제공자. All rights reserved.

GNU 무료 설명서 라이선스, 버전 1.2 또는 (사용자 선택에 따라) 버전 1.3의 조항에 따라 본 문서를 복사, 배포 및/또는 수정하는 권한이 허가됩니다. 그리고 각 항목에는 본 저작권 통지 및 라이선스가 설명된 고정(Invariant) 섹션이 있습니다. 라이선스 버전 1.2의 복사본은 "GNU 무료 설명서 라이선스" 섹션에 포함되어 있습니다.

SUSE, SUSE 로고 및 YaST는 미국과 기타 국가에서 SUSE LLC의 등록 상표입니다. SUSE 상표는 https://www.suse.com/company/legal/을 참조하십시오.

Linux는 Linus Torvalds의 등록 상표입니다. 본 문서에 언급된 기타 모든 이름 또는 상표는 해당 소유주의 상표 또는 등록 상표일 수 있습니다.

본 문서는 "SUSE 모범 사례"라는 문서 시리즈 중 일부입니다. 시리즈의 각 문서는 SUSE 직원 및 제3자가 자발적으로 기여하여 작성되었습니다. 문서의 목적은 특정 작업을 수행하는 방법의 한 가지 예만을 제공하는 것입니다.

또한, SUSE는 문서에서 설명되는 작업이 해당 기능을 수행하는지 또는 의도하지 않은 결과가 제공되지 않는지를 확인할 수 없습니다.

본 문서의 모든 정보는 최대한 주의를 기울여 작성되었습니다. 그러나 이것이 문서의 정확성을 보장하지는 않습니다. 따라서 SUSE LLC, 그 계열사, 저자, 번역자 중 어느 누구도 있을 수 있는 오류나 그에 따른 결과에 책임을 지지 않는다고 명확히 진술할 필요가 있습니다. 아래에 명시된 내용은 문서를 게시할 때 준수해야 할 라이선스에 대한 주의를 환기하기 위한 것입니다.

Copyright (C) 2000, 2001, 2002 Free Software Foundation, Inc. 51 Franklin St, Fifth Floor, Boston, MA 02110-1301 USA. Everyone is permitted to copy and distribute verbatim copies of this license document, but changing it is not allowed.

The purpose of this License is to make a manual, textbook, or other functional and useful document "free" in the sense of freedom: to assure everyone the effective freedom to copy and redistribute it, with or without modifying it, either commercially or non-commercially. Secondarily, this License preserves for the author and publisher a way to get credit for their work, while not being considered responsible for modifications made by others.

This License is a kind of "copyleft", which means that derivative works of the document must themselves be free in the same sense. It complements the GNU General Public License, which is a copyleft license designed for free software.

We have designed this License to use it for manuals for free software, because free software needs free documentation: a free program should come with manuals providing the same freedoms that the software does. But this License is not limited to software manuals; it can be used for any textual work, regardless of subject matter or whether it is published as a printed book. We recommend this License principally for works whose purpose is instruction or reference.

This License applies to any manual or other work, in any medium, that contains a notice placed by the copyright holder saying it can be distributed under the terms of this License. Such a notice grants a world-wide, royalty-free license, unlimited in duration, to use that work under the conditions stated herein. The "Document", below, refers to any such manual or work. Any member of the public is a licensee, and is addressed as "you". You accept the license if you copy, modify or distribute the work in a way requiring permission under copyright law.

A "Modified Version" of the Document means any work containing the Document or a portion of it, either copied verbatim, or with modifications and/or translated into another language.

A "Secondary Section" is a named appendix or a front-matter section of the Document that deals exclusively with the relationship of the publishers or authors of the Document to the Document's overall subject (or to related matters) and contains nothing that could fall directly within that overall subject. (Thus, if the Document is in part a textbook of mathematics, a Secondary Section may not explain any mathematics.) The relationship could be a matter of historical connection with the subject or with related matters, or of legal, commercial, philosophical, ethical or political position regarding them.

The "Invariant Sections" are certain Secondary Sections whose titles are designated, as being those of Invariant Sections, in the notice that says that the Document is released under this License. If a section does not fit the above definition of Secondary then it is not allowed to be designated as Invariant. The Document may contain zero Invariant Sections. If the Document does not identify any Invariant Sections then there are none.

The "Cover Texts" are certain short passages of text that are listed, as Front-Cover Texts or Back-Cover Texts, in the notice that says that the Document is released under this License. A Front-Cover Text may be at most 5 words, and a Back-Cover Text may be at most 25 words.

A "Transparent" copy of the Document means a machine-readable copy, represented in a format whose specification is available to the general public, that is suitable for revising the document straightforwardly with generic text editors or (for images composed of pixels) generic paint programs or (for drawings) some widely available drawing editor, and that is suitable for input to text formatters or for automatic translation to a variety of formats suitable for input to text formatters. A copy made in an otherwise Transparent file format whose markup, or absence of markup, has been arranged to thwart or discourage subsequent modification by readers is not Transparent. An image format is not Transparent if used for any substantial amount of text. A copy that is not "Transparent" is called "Opaque".

Examples of suitable formats for Transparent copies include plain ASCII without markup, Texinfo input format, LaTeX input format, SGML or XML using a publicly available DTD, and standard-conforming simple HTML, PostScript or PDF designed for human modification. Examples of transparent image formats include PNG, XCF and JPG. Opaque formats include proprietary formats that can be read and edited only by proprietary word processors, SGML or XML for which the DTD and/or processing tools are not generally available, and the machine-generated HTML, PostScript or PDF produced by some word processors for output purposes only.

The "Title Page" means, for a printed book, the title page itself, plus such following pages as are needed to hold, legibly, the material this License requires to appear in the title page. For works in formats which do not have any title page as such, "Title Page" means the text near the most prominent appearance of the work's title, preceding the beginning of the body of the text.

A section "Entitled XYZ" means a named subunit of the Document whose title either is precisely XYZ or contains XYZ in parentheses following text that translates XYZ in another language. (Here XYZ stands for a specific section name mentioned below, such as "Acknowledgements", "Dedications", "Endorsements", or "History".) To "Preserve the Title" of such a section when you modify the Document means that it remains a section "Entitled XYZ" according to this definition.

The Document may include Warranty Disclaimers next to the notice which states that this License applies to the Document. These Warranty Disclaimers are considered to be included by reference in this License, but only as regards disclaiming warranties: any other implication that these Warranty Disclaimers may have is void and has no effect on the meaning of this License.

You may copy and distribute the Document in any medium, either commercially or noncommercially, provided that this License, the copyright notices, and the license notice saying this License applies to the Document are reproduced in all copies, and that you add no other conditions whatsoever to those of this License. You may not use technical measures to obstruct or control the reading or further copying of the copies you make or distribute. However, you may accept compensation in exchange for copies. If you distribute a large enough number of copies you must also follow the conditions in section 3.

You may also lend copies, under the same conditions stated above, and you may publicly display copies.

If you publish printed copies (or copies in media that commonly have printed covers) of the Document, numbering more than 100, and the Document's license notice requires Cover Texts, you must enclose the copies in covers that carry, clearly and legibly, all these Cover Texts: Front-Cover Texts on the front cover, and Back-Cover Texts on the back cover. Both covers must also clearly and legibly identify you as the publisher of these copies. The front cover must present the full title with all words of the title equally prominent and visible. You may add other material on the covers in addition. Copying with changes limited to the covers, as long as they preserve the title of the Document and satisfy these conditions, can be treated as verbatim copying in other respects.

If the required texts for either cover are too voluminous to fit legibly, you should put the first ones listed (as many as fit reasonably) on the actual cover, and continue the rest onto adjacent pages.

If you publish or distribute Opaque copies of the Document numbering more than 100, you must either include a machine-readable Transparent copy along with each Opaque copy, or state in or with each Opaque copy a computer-network location from which the general network-using public has access to download using public-standard network protocols a complete Transparent copy of the Document, free of added material. If you use the latter option, you must take reasonably prudent steps, when you begin distribution of Opaque copies in quantity, to ensure that this Transparent copy will remain thus accessible at the stated location until at least one year after the last time you distribute an Opaque copy (directly or through your agents or retailers) of that edition to the public.

It is requested, but not required, that you contact the authors of the Document well before redistributing any large number of copies, to give them a chance to provide you with an updated version of the Document.

You may copy and distribute a Modified Version of the Document under the conditions of sections 2 and 3 above, provided that you release the Modified Version under precisely this License, with the Modified Version filling the role of the Document, thus licensing distribution and modification of the Modified Version to whoever possesses a copy of it. In addition, you must do these things in the Modified Version:

If the Modified Version includes new front-matter sections or appendices that qualify as Secondary Sections and contain no material copied from the Document, you may at your option designate some or all of these sections as invariant. To do this, add their titles to the list of Invariant Sections in the Modified Version's license notice. These titles must be distinct from any other section titles.

You may add a section Entitled "Endorsements", provided it contains nothing but endorsements of your Modified Version by various parties--for example, statements of peer review or that the text has been approved by an organization as the authoritative definition of a standard.

You may add a passage of up to five words as a Front-Cover Text, and a passage of up to 25 words as a Back-Cover Text, to the end of the list of Cover Texts in the Modified Version. Only one passage of Front-Cover Text and one of Back-Cover Text may be added by (or through arrangements made by) any one entity. If the Document already includes a cover text for the same cover, previously added by you or by arrangement made by the same entity you are acting on behalf of, you may not add another; but you may replace the old one, on explicit permission from the previous publisher that added the old one.

The author(s) and publisher(s) of the Document do not by this License give permission to use their names for publicity for or to assert or imply endorsement of any Modified Version.

You may combine the Document with other documents released under this License, under the terms defined in section 4 above for modified versions, provided that you include in the combination all of the Invariant Sections of all of the original documents, unmodified, and list them all as Invariant Sections of your combined work in its license notice, and that you preserve all their Warranty Disclaimers.

The combined work need only contain one copy of this License, and multiple identical Invariant Sections may be replaced with a single copy. If there are multiple Invariant Sections with the same name but different contents, make the title of each such section unique by adding at the end of it, in parentheses, the name of the original author or publisher of that section if known, or else a unique number. Make the same adjustment to the section titles in the list of Invariant Sections in the license notice of the combined work.

In the combination, you must combine any sections Entitled "History" in the various original documents, forming one section Entitled "History"; likewise combine any sections Entitled "Acknowledgements", and any sections Entitled "Dedications". You must delete all sections Entitled "Endorsements".

You may make a collection consisting of the Document and other documents released under this License, and replace the individual copies of this License in the various documents with a single copy that is included in the collection, provided that you follow the rules of this License for verbatim copying of each of the documents in all other respects.

You may extract a single document from such a collection, and distribute it individually under this License, provided you insert a copy of this License into the extracted document, and follow this License in all other respects regarding verbatim copying of that document.

A compilation of the Document or its derivatives with other separate and independent documents or works, in or on a volume of a storage or distribution medium, is called an "aggregate" if the copyright resulting from the compilation is not used to limit the legal rights of the compilation's users beyond what the individual works permit. When the Document is included in an aggregate, this License does not apply to the other works in the aggregate which are not themselves derivative works of the Document.

If the Cover Text requirement of section 3 is applicable to these copies of the Document, then if the Document is less than one half of the entire aggregate, the Document's Cover Texts may be placed on covers that bracket the Document within the aggregate, or the electronic equivalent of covers if the Document is in electronic form. Otherwise they must appear on printed covers that bracket the whole aggregate.

Translation is considered a kind of modification, so you may distribute translations of the Document under the terms of section 4. Replacing Invariant Sections with translations requires special permission from their copyright holders, but you may include translations of some or all Invariant Sections in addition to the original versions of these Invariant Sections. You may include a translation of this License, and all the license notices in the Document, and any Warranty Disclaimers, provided that you also include the original English version of this License and the original versions of those notices and disclaimers. In case of a disagreement between the translation and the original version of this License or a notice or disclaimer, the original version will prevail.

If a section in the Document is Entitled "Acknowledgements", "Dedications", or "History", the requirement (section 4) to Preserve its Title (section 1) will typically require changing the actual title.

You may not copy, modify, sublicense, or distribute the Document except as expressly provided for under this License. Any other attempt to copy, modify, sublicense or distribute the Document is void, and will automatically terminate your rights under this License. However, parties who have received copies, or rights, from you under this License will not have their licenses terminated so long as such parties remain in full compliance.

The Free Software Foundation may publish new, revised versions of the GNU Free Documentation License from time to time. Such new versions will be similar in spirit to the present version, but may differ in detail to address new problems or concerns. See http://www.gnu.org/copyleft/.

Each version of the License is given a distinguishing version number. If the Document specifies that a particular numbered version of this License "or any later version" applies to it, you have the option of following the terms and conditions either of that specified version or of any later version that has been published (not as a draft) by the Free Software Foundation. If the Document does not specify a version number of this License, you may choose any version ever published (not as a draft) by the Free Software Foundation.

Copyright (c) YEAR YOUR NAME.
Permission is granted to copy, distribute and/or modify this document
under the terms of the GNU Free Documentation License, Version 1.2
or any later version published by the Free Software Foundation;
with no Invariant Sections, no Front-Cover Texts, and no Back-Cover Texts.
A copy of the license is included in the section entitled "GNU
 Free Documentation License".

If you have Invariant Sections, Front-Cover Texts and Back-Cover Texts, replace the "with...Texts". line with this:

with the Invariant Sections being LIST THEIR TITLES, with the
Front-Cover Texts being LIST, and with the Back-Cover Texts being LIST.

If you have Invariant Sections without Cover Texts, or some other combination of the three, merge those two alternatives to suit the situation.

If your document contains nontrivial examples of program code, we recommend releasing these examples in parallel under your choice of free software license, such as the GNU General Public License, to permit their use in free software.