AWS 클라우드용 SAP NetWeaver High Availability Cluster 7.40 - 설정 가이드 #

이 가이드는 다음 작업 방법을 자세히 설명합니다.

이 가이드는 중앙 서비스의 고가용성(HA)을 중심으로 설명합니다. 데이터베이스 및 SAP NetWeaver 인스턴스용 HA 클러스터 솔루션에 대한 설명은 SUSE 모범 사례 문서 웹 페이지(“추가 문서 및 리소스” 섹션 참조)에서 제공되는 모범 사례 “단순 스택”에서 제공됩니다. SAP HANA 시스템 복제의 경우 성능 최적화 또는 비용 최적화 시나리오용 가이드를 따르십시오.

이 가이드는 AWS 플랫폼에서의 Enqueue Replication 시나리오를 위해 SUSE Linux Enterprise Server for SAP Applications 12를 사용한 pacemaker 클러스터 설정 방법을 설명합니다. 이 가이드에서는 온프레미스 pacemaker 클러스터 설치 방법은 설명하지 않습니다. 목표는 SAP NW-HA-CLU 7.40 인증 사양 및 목표를 충족하는 것입니다.

목표에는 다음이 포함됩니다.

업데이트된 인증 SAP NW-HA-CLU 7.40은 일부 테스트 절차를 재정의하고 특수 조건에서 클러스터의 새 동작 방법을 설명합니다. 이러한 변경 사항을 통해 클러스터 아키텍처를 개선하고 더 편리하게 사용 및 설정할 수 있도록 설계했습니다.

공유 SAP 리소스는 AWS EFS(Elastic File Systems)에서 관리됩니다. SAP 인스턴스 자체는 EFS 파일 시스템에 설치되어 파일 시스템의 전환을 통해 원활하게 기능할 수 있습니다.

3.2 AWS 고유 HA 설치를 위한 필수 구성 요소 #

 

설치를 시작하기 전 충족해야 하는 여러 조건이 있습니다.

• AWS 계정이 있어야 함

• 관리자 권한 또는 최소한으로 다음 권한이 있는 AWS 사용자가 있어야 함

  • 보안 그룹 생성

  • EFS 파일 시스템 생성

  • AWS 라우팅 테이블 수정

  • 정책을 만들어 IAM 역할에 연결

  • Route53 에이전트 설치 시 선택 사항

    • 프라이빗 호스팅 영역에 A 레코드 생성 및 수정

• 환경에 대한 이해

  • 리전 및 AWS 이름 파악

  • VPC 및 AWS ID 파악

  • VPC에서 사용할 가용 영역 파악

  • 각 가용 영역에 서브넷 보유

    • 서브넷에 묵시적으로 또는 명시적으로 연결된 2개의 라우팅 테이블 보유

    • SAP 설치 및 EFS 마운트 지점을 위한 서브넷 2개에 사용 가능한 IP 주소 보유

    • 두 서브넷 간 네트워크 트래픽 허용 서브넷에서 발신 인터넷 액세스 허용

  • 선택 사항: 두 서브넷에서 인스턴스용 서브 도메인을 호스팅하는 Route 53 프라이빗 호스팅 영역 보유

  • SAP 중앙 인스턴스용 이름 및 IP 주소를 갖는 리소스 레코드 보유

부록의 체크리스트를 사용하여 필요한 모든 정보를 확인한 후 설치를 시작하십시오.

3.2.1 EC2 인스턴스 태그 지정 #

 

EC2 인스턴스에는 자동으로 생성되는 호스트 이름이 있습니다. SAP 요구 사항을 준수하는 호스트 이름을 선택하십시오. 이와 관련한 자세한 내용은 SAP 노트 611361에서 확인할 수 있습니다.

클러스터 에이전트는 올바른 방법으로 EC2 인스턴스를 식별할 수 있어야 합니다. 이는 인스턴스 태그를 통해 수행할 수 있습니다.

AWS 명령줄 인터페이스(CLI) 또는 콘솔을 통해 클러스터 및 호스트 이름과 같이 임의로 선택한 태그를 두 EC2 인스턴스에 지정합니다. 이는 uname 명령으로 표시됩니다. 두 인스턴스에서 동일한 태그(예: 클러스터) 및 개별 호스트 이름을 사용하십시오. EC2 인스턴스에 태그를 지정하는 방법에 대한 설명은 AWS 문서(http://docs.aws.amazon.com/AWSEC2/latest/UserGuide/Using_Tags.html)에서 찾을 수 있습니다.

참고

클러스터 관리 리소스에 지정되는 태그에는 비ASCII 문자를 사용하지 마십시오.

3.2.2 보안 그룹 #

 

중요

이 섹션에서는 보안 그룹의 SAP 관련 포트에 대해 설명하지 않으며, SUSE 클러스터 전용으로 사용할 수 있어야 하는 포트만 나열합니다.

다음 포트 및 프로토콜은 2개의 클러스터 노드 간 통신을 허용하도록 구성해야 합니다.

• 인바운드 UDP용 포트 5405: corosync 통신 계층을 구성하는 데 사용됩니다. 포트 5405는 공통 예시에서 사용되고 있습니다. corosync 구성에 따라 다른 포트를 사용할 수 있습니다.

• 인바운드 TCP용 포트 7630: SUSE “hawk” 웹 GUI에서 사용됩니다.

• ICMP 활성화: SUSE 클러스터의 AWS IP-이동 에이전트에서 ping 명령을 통해 사용됩니다.

아웃바운드 네트워크 통신에는 제한이 없는 것으로 가정합니다.

3.2.3 두 EC2 인스턴스에 AWS CLI 프로파일 생성 #

 

SUSE Linux Enterprise Server 에이전트는 AWS 명령줄 인터페이스(CLI)를 사용합니다. 이 AWS CLI 프로파일을 두 인스턴스의 루트 계정 root에 대해 생성해야 합니다. SUSE 리소스에는 텍스트 형식으로 출력을 생성하는 프로파일이 필요합니다. 프로파일 이름은 임의로 지정할 수 있습니다. 아래 예시에서 선택한 이름은 cluster입니다. 인스턴스의 리전도 추가해야 합니다. 아래 예시에서 region-name이라는 문자열을 대상 리전으로 교체하십시오.

이러한 프로파일을 생성하는 한 가지 방법은 다음과 같은 내용으로 /root/.aws/config 파일을 만드는 것입니다.

[default]
region = region-name
[profile cluster]
region = region-name
output = text

다른 방법은 다음과 같이 aws configure CLI 명령을 사용하는 것입니다.

# aws configure
AWS Access Key ID [None]:
AWS Secret Access Key [None]:
Default region name [None]: region-name
Default output format [None]:

# aws configure --profile cluster
AWS Access Key ID [None]:
AWS Secret Access Key [None]:
Default region name [None]: region-name
Default output format [None]: text

이 명령 시퀀스는 기본 프로파일 및 클러스터 프로파일을 생성합니다.

3.2.4 HTTP 프록시 구성 #

 

시스템의 인터넷 액세스가 투명한 경우에는 HTTP 프록시를 구성할 필요가 없습니다. 리소스 에이전트는 AWS CLI(명령줄 인터페이스) 명령을 실행합니다. 이러한 명령은 HTTP/HTTPS 요청을 인터넷의 액세스 포인트로 전송합니다. 일반적으로 이러한 액세스 포인트와는 직접 통신할 수 있습니다.

그러나 투명한 인터넷 액세스를 제공하지 않는 시스템의 경우에는 HTTP/HTTPS 프록시를 제공해야 합니다. 프록시 액세스 구성은 AWS 문서에 자세히 설명되어 있습니다.

루트 사용자의 .bashrc 파일에 다음과 같은 환경 변수를 추가하십시오.

export HTTP_PROXY=http://a.b.c.d:n
export HTTPS_PROXY=http://a.b.c.d:m

인증이 필요한 경우, 위의 환경 변수가 아닌 다음 변수를 추가합니다.

export HTTP_PROXY=http://username:password@a.b.c.d:n
export HTTPS_PROXY=http://username:password@a.b.c.d:m

AWS의 SAP용 데이터 공급자는 인스턴스 메타 데이터 서비스와 직접 통신해야 합니다. 루트 사용자의 .bashrc 파일에 다음과 같은 환경 변수를 추가하십시오.

export NO_PROXY=169.254.169.254

3.2.5 각 클러스터 인스턴스에 보조 IP 추가 #

 

클러스터 구성에서는 각 클러스터 인스턴스에 IP 주소 두 개가 필요합니다. 인스턴스에 보조 IP 주소를 추가하면 SUSE 클러스터가 2개의 링 corosync 구성을 구현할 수 있습니다. 2개의 링 corosync 구성을 사용하면 기본 IP 주소를 통해 서로 통신하는 도중 문제가 발생하는 경우 클러스터 노드가 보조 IP 주소를 사용하여 서로 통신할 수 있습니다.

보조 IP 주소 할당 방법은 AWS 문서(https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/MultipleIP.html#assignIP-existing)를 참조하십시오.

AWS에서 보조 IP 주소를 클러스터 인스턴스에 연결한 후에는 보조 IP 주소를 클러스터 인스턴스에 추가해야 합니다. /etc/sysconfig/network/ifcfg-eth0 파일을 업데이트합니다. XX.XX.XX.XX를 새로운 보조 IP 주소로 바꾸고 ‘XX’를 두 자리 숫자 서브넷 마스크로 바꿉니다.

IPADDR_1=‘XX.XX.XX.XX/XX'
LABEL_1="1"

클러스터 인스턴스가 재부팅되면 시스템이 파일을 읽고 보조 IP 주소를 추가합니다. 추가적으로, 루트로 아래 명령을 실행하면 재부팅하지 않고 IP 주소를 클러스터 인스턴스 네트워크 스택에 추가합니다.

ip address add XX.XX.XX.XX/XX dev eth0

XX.XX.XX.XX를 새로운 보조 IP 주소로 바꾸고 ‘XX’를 두 자리 숫자 서브넷 마스크로 바꿉니다.

3.2.6 클러스터 인스턴스의 소스/대상 확인 비활성화 #

 

소스/대상 확인은 AWS 명령줄 인터페이스(AWS-CLI)를 사용하여 스크립트를 통해 비활성화할 수 있습니다. 두 EC2 인스턴스에서 다음 명령을 1회 실행해야 하며, 이를 통해 오버레이 IP 주소에서 트래픽이 수신됩니다.

# aws ec2 modify-instance-attribute --profile cluster --instance-id EC2-instance --no-source-dest-check

이 명령이 실행되는 시스템에는 다음 정책이 포함된 역할이 일시적으로 필요합니다.

{
   "Version": "2012-10-17",
   "Statement": [
   {
      "Sid": "Stmt1424870324000",
      "Effect": "Allow",
      "Action": [ "ec2:ModifyInstanceAttribute"],
      "Resource": [
      "arn:aws:ec2:region-name:account-id:instance/instance-a",
      "arn:aws:ec2:region-name:account-id:instance/instance-b"
      ]
   }
   ]
}

EC2 인스턴스용 리전, 계정 식별자 및 2개 식별자에 대한 개별 파라미터를 적절한 값으로 변경합니다.

소스/대상 확인은 AWS 콘솔에서도 비활성화할 수 있습니다. 두 EC2 인스턴스 모두에 대해 콘솔에서 다음과 같은 드롭다운 박스를 실행해야 합니다(아래 참조).

그림 1: 콘솔에서 소스/대상 확인 비활성화 #

 

3.2.7 eth0 인터페이스에서 클러스터 관리 IP 주소 삭제 방지 #

 

SUSE Linux Enterprise Server 12 SP3는 cloud-netconfig 패키지를 제공하는 최초의 버전입니다. 이 패키지는 eth0 인터페이스에서 클러스터 에이전트가 관리하는 보조 IP 주소를 제거합니다. 이로 인해 HA 서비스 사용자에게 서비스 중단이 발생할 수 있습니다. 모든 클러스터 노드에서 아래 작업을 수행하십시오.

다음 명령으로 cloud-netconfig-ec2 패키지가 설치되어 있는지 확인합니다.

# zypper info cloud-netconfig-ec2

이 패키지가 설치된 경우 /etc/sysconfig/network/ifcfg-eth0 파일을 업데이트합니다. 다음 라인을 “no” 설정으로 변경하거나 패키지를 아직 설치하지 않은 경우에는 라인을 추가합니다.

CLOUD_NETCONFIG_MANAGE='no'

3.2.8 AWS 역할 및 정책 #

 

SAP ASCS 및 ESR은 SUSE Linux Enterprise Server Pacemaker 소프트웨어와 에이전트를 실행합니다. 이 소프트웨어로 클러스터를 작동하기 위해서는 여러 AWS IAM 권한이 필요합니다. 모든 ASCS/ESR 클러스터에서 사용할 새 역할을 만들고 이 역할을 두 인스턴스에 연결합니다. 아래 설명된 정책을 이 역할에 연결합니다.

3.2.8.1 AWS 데이터 공급자 정책 #

 

모든 클러스터 노드가 SAP 시스템에서 작동합니다. AWS 기반 SAP 시스템에는 “AWS Data Provider for SAP”를 설치해야 합니다. 데이터 공급자는 AWS 리소스에 액세스하기 위한 정책이 필요합니다. “AWS Data Provider for SAP 설치 및 운영 가이드”의 “IAM 역할” 섹션에서 설명하는 정책을 사용하고 이를 인스턴스의 역할에 연결합니다. 이 정책은 모든 SAP 시스템에서 사용할 수 있습니다. 한 AWS 계정에서는 정책을 1개만 사용합니다. 정책에는 인스턴스별 권한이 포함되지 않습니다.

{
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "EC2:DescribeInstances",
                "EC2:DescribeVolumes"
            ],
            "Resource": "*"
        },
        {
            "Effect": "Allow",
            "Action": "cloudwatch:GetMetricStatistics",
            "Resource": "*"
        },
        {
            "Effect": "Allow",
            "Action": "s3:GetObject",
            "Resource": "arn:aws:s3:::aws-data-provider/config.properties"
        }
    ]
}

3.2.8.2 STONITH 정책 #

 

SUSE 클러스터의 인스턴스에는 클러스터 내의 다른 노드를 시작 및 정지하기 위한 권한이 필요합니다. 다음 내용이 포함된 stonith-policy 같은 이름으로 정책을 만들고 클러스터 역할에 연결합니다.

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "Stmt1424870324000",
            "Effect": "Allow",
            "Action": [
                "ec2:DescribeInstances",
                "ec2:DescribeInstanceAttribute",
                "ec2:DescribeTags"
            ],
            "Resource": "*"
        },
        {
            "Sid": "Stmt1424870324001",
            "Effect": "Allow",
            "Action": [
                "ec2:ModifyInstanceAttribute",
                "ec2:RebootInstances",
                "ec2:StartInstances",
                "ec2:StopInstances"
            ],
            "Resource": [
                "arn:aws:ec2:region-name:aws-account:instance/i-node1",
                "arn:aws:ec2:region-name:aws-account:instance/i-node2"
            ]
        }
    ]
}

aws-account 변수를 적절한 AWS 계정 식별자로 바꿉니다. i-node1 및 i-node2 변수를 (hacert01) 및 (hacert02) 클러스터 노드 2개의 AWS 인스턴스 ID로 바꿉니다. region-name 변수를 사용 중인 AWS 리전의 이름(예: 노스 버지니아 리전의 경우 us-east-1)으로 바꿉니다. 이 정책은 클러스터의 인스턴스에 따라 다릅니다. 각 클러스터에 별도의 정책을 만들어야 합니다!

3.2.9 오버레이 IP 에이전트 정책 #

 

오버레이 IP 에이전트는 AWS 라우팅 테이블의 라우팅 항목을 변경합니다. 다음과 같이 Manage-Overlay-IP-Policy와 같은 이름의 정책을 생성하여 클러스터 인스턴스의 역할에 연결합니다.

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "VisualEditor0",
            "Effect": "Allow",
            "Action": "ec2:ReplaceRoute",
            "Resource": "arn:aws:ec2:region-name:account-id:route-table/rtb-XYZ"
        },
        {
            "Sid": "VisualEditor1",
            "Effect": "Allow",
            "Action": "ec2:DescribeRouteTables",
            "Resource": "*"
        }
    ]
}

이 정책에서는 사용되는 라우팅 테이블을 에이전트가 업데이트하도록 허용합니다. 다음 변수를 적절한 이름으로 교체하십시오.

• region-name : 해당 AWS 리전의 이름

• account-id : 정책이 사용되고 있는 AWS 계정의 이름

• rtb-XYZ : 업데이트되어야 하는 라우팅 테이블의 식별자

3.2.10 Route 53 업데이트 #

 

선택 사항으로 Route 53 에이전트를 클러스터에 설치할 수 있습니다. 다음 정책은 Route 53 에이전트를 사용할 때만 필요합니다. 이름이 Route53-Update인 정책을 만들고 두 클러스터 노드의 역할에 연결합니다.

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "Stmt1471878724000",
            "Effect": "Allow",
            "Action": "route53:GetChange",
            "Resource": "arn:aws:route53:::change/*"
        },
        {
            "Sid": "Stmt1471878724001",
            "Effect": "Allow",
            "Action": "route53:ChangeResourceRecordSets",
            "Resource": "arn:aws:route53:::hostedzone/hosted zone ID/full name"
        },
        {
            "Sid": "Stmt1471878724002",
            "Effect": "Allow",
            "Action": [
                "route53:ListResourceRecordSets",
                "route53:ChangeResourceRecordSets"
            ],
            "Resource": "arn:aws:route53:::hostedzone/hosted zone ID"
        }
    ]
}

이 정책은 호스팅된 영역 및 리소스 레코드 세트에 고유합니다. hosted zone ID 변수를 호스팅된 영역의 AWS ID로 바꿉니다. full name을 항목의 이름으로 바꿉니다. 개별 Route 53 정책을 모든 클러스터에 만들어야 합니다.

# mount efs-name: /mnt
# mkdir -p /mnt/ASCS00 /mnt/ERS10 /mnt/D01 /mnt/DVEBMGS01 /mnt/D02 /mnt/SYS /mnt/sapmnt /mnt/sapcd
# umount /mnt

# mkdir -p /sapmnt /usr/sap/HA1/SYS

efs-name:SYS     /usr/sap/HA1/SYS    nfs4       rsize=1048576,wsize=1048576,hard,timeo=600,retrans=2    0 0
efs-name:sapmnt  /sapmnt             nfs4       rsize=1048576,wsize=1048576,hard,timeo=600,retrans=2    0 0

# mount /usr/sap/HA1/SYS
# mount /sapmnt

# ip address add OVERLAY-IP dev eth0

3.6 ASCS, ERS, 데이터베이스 및 추가 SAP 인스턴스를 위한 시스템 5개 #

 

이 가이드는 SAP 분산 시스템을 5개 시스템에 설치하는 방법을 설명합니다. 이 설정에서는 클러스터 내에 2개의 시스템만 위치합니다. 클러스터에 노드 3개를 추가하거나 기존 노드 중 하나에 데이터베이스를 설치하여 데이터베이스 및 SAP dialog 인스턴스도 클러스터에 추가할 수 있습니다. 그러나 데이터베이스는 별도의 클러스터에 설치하는 것이 좋습니다.

참고

이 가이드에서는 SAP NW-HA-CLU 7.40 인증에 집중하므로 SAP 인스턴스 ASCS 및 ERS만 클러스터에서 관리됩니다.

사용 중인 데이터베이스가 SAP HANA인 경우에는 자동화 솔루션인 SAPHanaSR을 사용하여 성능 최적화 시스템 복제 시나리오를 설정하는 것이 좋습니다. SAPHanaSR 자동화는 자체 2 노드 클러스터에 설정되어야 합니다. 이 설정에 대한 설명은 SUSE 모범 사례 페이지( https://www.suse.com/products/sles-for-sap/resource-library/sap-best-practices/)의 별도의 모범 사례에서 제공됩니다.

그림 2: 인증 설정을 위한 5개 시스템 #

 

클러스터 시스템 #

 

• ASCS용 시스템 1개(hacert01), 호스트 이름: sapha1as

• ERS용 시스템 1개(hacert02), 호스트 이름: sapha1er

비클러스터 시스템 #

 

• DB용 시스템 1개, 호스트 이름: sapha1db

• PAS용 시스템 1개, 호스트 이름: sapha1ci

• AAS용 시스템 1개, 호스트 이름: sapha1d2

3.7 데이터베이스 고가용성 #

 

데이터베이스가 고가용성을 지원하도록 설계되지 않은 경우에는 필요에 따라 데이터베이스의 가용성을 늘릴 수 있습니다.

3.7.1 SAP HANA 시스템 복제 #

 

이 문서에서 설명되는 5 노드 시나리오의 완벽한 향상은 SAP HANA 시스템 복제(SR) 자동화를 구현하는 것입니다.

그림 3: 중앙 서비스용 클러스터 1개, SAP HANA SR용 1개 #

 

이 시나리오에서 지원되는 데이터베이스는 다음과 같습니다.

• SAP HANA DATABASE 1.0

• SAP HANA DATABASE 2.0

3.8 클러스터 커넥터를 사용하여 SAP NetWeaver를 클러스터에 통합 #

 

sap-suse-cluster-connector를 사용하여 SAP 컨트롤 프레임워크를 통해 HA 클러스터를 통합하는 것은 특별한 관심사입니다. SAP Kernel versions 6.40 이상부터는 sapstartsrv가 SAP 인스턴스를 제어합니다. 고가용성 환경에서 SAP 인스턴스를 실행할 때 나타나는 한 가지 전형적인 문제는 SAP 관리자가 클러스터 소프트웨어에서 제공되는 인터페이스를 사용하지 않고 SAP 인스턴스의 상태(시작/중지)를 변경할 경우 클러스터 프레임워크가 이를 오류 상태로 인식하고 SAP 인스턴스를 시작하거나 중지하여 SAP 인스턴스를 기존 상태로 전환하는 것입니다. 이로 인해 SAP 유지보수 작업 중에 클러스터가 SAP 인스턴스의 상태를 변경하면 매우 위험한 상황이 발생할 수 있습니다. 새로 업데이트된 이 솔루션을 사용하면 중앙 구성 요소인 sapstartsrv가 클러스터 소프트웨어에 상태 변경을 보고하므로 이전에 설명한 위험한 상황을 방지할 수 있습니다. (https://blogs.sap.com/2014/05/08/using-sapvendorclusterconnector-for-interaction-between-cluster-framework-and-sapstartsrv/comment-page-1/의 “클러스터 프레임워크와 sapstartsrv 의 상호 작용에 sap_vendor_cluster_connector 사용” 문서도 참조).

그림 4: 클러스터와 SAP 시작 프레임워크를 통합하기 위한 클러스터 커넥터 #

 

참고

이 시나리오에서는 클러스터 프레임워크와 sapstartsrv 간 통신을 위해 API 버전 3을 구현하는 업데이트된 sap-suse-cluster-connector 버전을 사용합니다.

sap-suse-cluster-connector 새 버전을 사용하면 SAP 인스턴스를 시작, 중지 및 ‘마이그레이션’할 수 있습니다. 클러스터 소프트웨어와 sapstartsrv를 통합하면 명령줄 도구 sapcontrol 또는 SAP 관리 콘솔(SAP MMC 또는 SAP MC)을 사용하여 HA 설정 확인을 실행하도록 있도록 구현할 수도 있습니다.

3.9 디스크 및 파티션 #

 

모든 SAP 파일 시스템에는 EFS 파일 시스템뿐만 아니라 XFS를 사용합니다.

3.9.1 클러스터 ASCS 및 ERS를 위한 EFS 파일 시스템 #

 

두 클러스터 노드에서 루트로 다음 하위 디렉토리를 만듭니다.

# mkdir -p /usr/sap/HA1/ASCS00 /usr/sap/HA1/ERS10

ASCS 및 ERS 인스턴스를 위한 파일 시스템은 클러스터 노드 hacert01 및 hacert02에 공유 및 할당되어야 합니다. EFS 파일 시스템을 만듭니다.

SAP를 설치하는 중에 hacert01에 /usr/sap/HA1/ASCS00 파일 시스템을, hacert02에 /usr/sap/HA1/ERS10을 마운트해야 합니다.

hacert01: efs-name:/ASCS00 /usr/sap/HA1/ASCS00
hacert02: efs-name:/ERS10 /usr/sap/HA1/ERS10

efs-name 변수를 EFS 파일 시스템의 해당 DNS 이름으로 바꿉니다.

참고

hacert01과 hacert02는 서로 다른 가용 영역에서 작동하며, 이름이 “efs-name”이고 가용 영역에 고유한 마운트 지점이 필요합니다. AWS에서 제공하는 DNS 이름을 사용하십시오. DNS 이름은 지정된 가용 영역에 로컬인 파일 시스템 마운트 지점을 가리킵니다. SAP를 설치하는 중에 hacert01에 /usr/sap/HA1/ASCS00을, hacert02에 /usr/sap/HA1/ERS10을 마운트해야 합니다.

10.0.0.111  hacert01
10.0.0.112  hacert02
10.0.0.113  hacert03
10.0.0.114  sapha1ci
10.0.0.115  sapha1d2
192.168.201.116  sapha1as
192.168.201.117  sapha1er
192.168.201.118  sapha1db

3.11 마운트 지점 및 NFS 공유 #

 

현재 설정에서는 /usr/sap 디렉토리가 루트 파일 시스템의 일부입니다. 물론, 해당 영역을 위한 전용 파일 시스템을 만들고 시스템 부팅 중에 /usr/sap를 마운트할 수도 있습니다. 또한, /usr/sap에는 SAP 제어 파일 sapservices 및 saphostagent가 있으므로, 해당 디렉토리는 클러스터 노드 간 공유 파일 시스템에 위치하지 않아야 합니다.

SAP 리소스를 실행할 수 있는 모든 노드에 디렉토리 구조를 만들어야 합니다. SYS 디렉토리는 모든 노드에 대한 NFS 공유에 있게 됩니다.

• 마운트 지점을 생성하고 모든 노드에 NFS 공유를 마운트합니다.

• efs-name을 해당 DNS 이름으로 바꿉니다.

예제 1: SAP NetWeaver 7.4 #

 

# mkdir -p /sapmnt
# mkdir -p /usr/sap/HA1/{ASCS00,D02,DVEBMGS01,ERS10,SYS}
# mount -t nfs efs-name:/sapmnt /sapmnt
# mount -t nfs efs-name:/SYS    /usr/sap/HA1/SYS
# mount -t nfs efs-name:/sapcd /sapcd

예제 2: SAP NetWeaver 7.5 #

 

# mkdir -p /sapmnt
# mkdir -p /usr/sap/HA1/{ASCS00,D01,D02,ERS10,SYS}
# mount -t nfs efs-name:/sapmnt    /sapmnt
# mount -t nfs efs-name:/SYS /usr/sap/HA1/SYS
# mount -t nfs efs-name:/sapcd /sapcd

• HANA만 해당: hacert03에 데이터베이스용 마운트 지점 만들기:

# mkdir -p /hana/{shared,data,log}

그림 5: NFS 공유 포함 파일 시스템 레이아웃 #

 

SAP 분산 설치용 서버 3개가 다음과 같이 준비되었습니다.

• 서버 1(hacert01)은 ASCS SAP 인스턴스를 설치하기 위해 사용됩니다.

• 서버 2(hacert02)는 ERS SAP 인스턴스를 설치하기 위해 사용됩니다.

• 서버 3(hacert03)은 데이터베이스를 설치하기 위해 사용됩니다.

• 서버 4(sapha1ci)는 PAS SAP 인스턴스를 설치하기 위해 사용됩니다.

• 서버 5(sapha1d2)는 AAS SAP 인스턴스를 설치하기 위해 사용됩니다.

• 인스턴스 및 데이터베이스 파일 시스템을 특정 노드 1개에 마운트

• 그 결과, /usr/sap/HA1/ 디렉토리는 다음과 같아야 합니다.

# ls -l /usr/sap/HA1/
total 0
drwxr-xr-x 1 ha1adm sapsys 70 28. Mär 17:26 ./
drwxr-xr-x 1 root   sapsys 58 28. Mär 16:49 ../
drwxr-xr-x 7 ha1adm sapsys 58 28. Mär 16:49 ASCS00/
drwxr-xr-x 1 ha1adm sapsys  0 28. Mär 15:59 D02/
drwxr-xr-x 1 ha1adm sapsys  0 28. Mär 15:59 DVEBMGS01/
drwxr-xr-x 1 ha1adm sapsys  0 28. Mär 15:59 ERS10/
drwxr-xr-x 5 ha1adm sapsys 87 28. Mär 17:21 SYS/

참고

디렉토리 및 파일의 소유자는 SAP 설치 중에 변경됩니다. 기본적으로 모든 디렉토리 및 파일은 루트 소유입니다.

AWS 에이전트를 테스트한 후 클러스터를 시작하십시오. 테스트는 AWS 역할 및 정책이 올바르게 구성되었는지 여부를 보여줍니다. 테스트에서는 AWS CLI 오류가 발생하지 않아야 합니다.

OCF_RESKEY_address=ip_address \
OCF_RESKEY_routing_table=rtb-table \
OCF_RESKEY_interface=eth0 OCF_ROOT=/usr/lib/ocf OCF_RESKEY_profile=cluster \
/usr/lib/ocf/resource.d/suse/aws-vpc-move-ip start

OCF_RESKEY_address=ip_address \
OCF_RESKEY_routing_table=rtb-table \
OCF_RESKEY_interface=eth0 OCF_ROOT=/usr/lib/ocf OCF_RESKEY_profile=cluster \
/usr/lib/ocf/resource.d/suse/aws-vpc-move-ip monitor

OCF_RESKEY_address=ip_address \
OCF_RESKEY_routing_table=rtb-table \
OCF_RESKEY_interface=eth0 OCF_ROOT=/usr/lib/ocf OCF_RESKEY_profile=cluster \
/usr/lib/ocf/resource.d/suse/aws-vpc-move-ip stop

OCF_RESKEY_device="efs-name:ASCS00" \
OCF_RESKEY_directory="/usr/sap/HA1/ASCS00" OCF_RESKEY_fstype=nfs4 \
OCF_RESKEY_options="rsize=1048576,wsize=1048576,hard,timeo=600,retrans=2" \
OCF_ROOT=/usr/lib/ocf /usr/lib/ocf/resource.d/heartbeat/Filesystem start

OCF_RESKEY_device="efs-name:ERS10" \
OCF_RESKEY_directory="/usr/sap/HA1/ERS10" OCF_RESKEY_fstype=nfs4 \
OCF_RESKEY_options="rsize=1048576,wsize=1048576,hard,timeo=600,retrans=2" \
OCF_ROOT=/usr/lib/ocf /usr/lib/ocf/resource.d/heartbeat/Filesystem start

df -k

OCF_RESKEY_device="efs-name:ASCS00" \
OCF_RESKEY_directory="/usr/sap/HA1/ASCS00" OCF_RESKEY_fstype=nfs4 \
OCF_RESKEY_options="rsize=1048576,wsize=1048576,hard,timeo=600,retrans=2" \
OCF_ROOT=/usr/lib/ocf /usr/lib/ocf/resource.d/heartbeat/Filesystem stop

OCF_RESKEY_device="efs-name:ERS10" \
OCF_RESKEY_directory="/usr/sap/HA1/ERS10" OCF_RESKEY_fstype=nfs4 \
OCF_RESKEY_options="rsize=1048576,wsize=1048576,hard,timeo=600,retrans=2" \
OCF_ROOT=/usr/lib/ocf /usr/lib/ocf/resource.d/heartbeat/Filesystem stop

df -k

OCF_RESKEY_hostedzoneid=hosted zone id OCF_RESKEY_ttl=10 \
    OCF_RESKEY_fullname=fullname OCF_ROOT=/usr/lib/ocf \
    OCF_RESKEY_profile=cluster \
    /usr/lib/ocf/resource.d/heartbeat/aws-vpc-route53 monitor

OCF_RESKEY_hostedzoneid=hosted zone id OCF_RESKEY_ttl=10 \
    OCF_RESKEY_fullname=fullname OCF_ROOT=/usr/lib/ocf \
    OCF_RESKEY_profile=cluster \
    /usr/lib/ocf/resource.d/heartbeat/aws-vpc-route53 start

OCF_RESKEY_hostedzoneid=hosted zone id OCF_RESKEY_ttl=10 \
  OCF_RESKEY_fullname=fullname OCF_ROOT=/usr/lib/ocf \
  OCF_RESKEY_profile=cluster \
  /usr/lib/ocf/resource.d/heartbeat/aws-vpc-route53 stop

SAP 분산 시스템을 설치하기 위한 전체 절차는 다음과 같습니다.

결과적으로 SAP 분산 설치는 다음과 같습니다.

그림 6: SAP 시스템 분산 설치 #

 

Group sapinst      1000
Group sapsys       1001
Group sapadm       3000
Group sdba         3002

User  ha1adm       3000
User  sdb          3002
User  sqdha1       3003
User  sapadm       3004
User  h04adm       4001

# ip address add 192.168.201.116/32 dev eth0
# mount efs-name:/ASCS00 /usr/sap/HA1/ASCS00
# cd /sapcd/SWPM/
# ./sapinst SAPINST_USE_HOSTNAME=sapha1as

# ip address add 192.168.201.117/32 dev eth0
# mount efs-name:/ERS10 /usr/sap/HA1/ERS10
# cd /sapcd/SWPM/
# ./sapinst SAPINST_USE_HOSTNAME=sapha1er

# chown -R ha1adm:sapsys /usr/sap/HA1/ERS10

# sapcontrol -nr 00 -function Stop    # to stop the ASCS
# sapcontrol -nr 00 -function Start   # to start the ASCS

5.4 ASCS 및 ERS의 이후 단계 #

 

5.4.1 ASCS 및 ERS 중지 #

 

hacert01

# su - ha1adm
# sapcontrol -nr 00 -function Stop
# sapcontrol -nr 00 -function StopService

hacert02

# su - ha1adm
# sapcontrol -nr 10 -function Stop
# sapcontrol -nr 10 -function StopService

5.4.2 sapservices 관리 #

 

두 클러스터 노드 모두에서 /usr/sap/sapservices 파일에 두 항목(ASCS 및 ERS)이 있는지 확인합니다. 두 호스트에서 누락된 항목을 복사하여 파일을 수정합니다. 아니면 sapstartsrv를 사용하여 누락된 명령 문자열을 추가합니다.

ERS 호스트의 ASCS 프로파일을 위한 예시 단계:

# cd /usr/sap/hostctrl/exe
# export LD_LIBRARY_PATH=.
# ./sapstartsrv pf=/usr/sap/HA1/SYS/profile/HA1_ASCS00_sapha1as -reg

이를 통해 sapstartsrv 클라이언트가 다음과 같이 서비스를 시작할 수 있습니다.

ha1adm 사용자로

# sapcontrol -nr 10 -function StartService HA1

/usr/sap/sapservices는 다음과 같이 표시됩니다(일반적으로 인스턴스당 라인 1개).

#!/bin/sh
LD_LIBRARY_PATH=/usr/sap/HA1/ASCS00/exe:$LD_LIBRARY_PATH; export LD_LIBRARY_PATH; /usr/sap/HA1/ASCS00/exe/sapstartsrv pf=/usr/sap/HA1/SYS/profile/HA1_ASCS00_sapha1as -D -u ha1adm
LD_LIBRARY_PATH=/usr/sap/HA1/ERS10/exe:$LD_LIBRARY_PATH; export LD_LIBRARY_PATH; /usr/sap/HA1/ERS10/exe/sapstartsrv pf=/usr/sap/HA1/ERS10/profile/HA1_ERS10_sapha1er -D -u ha1adm

5.4.3 sap-suse-cluster-connector 패키지를 사용하여 클러스터 프레임워크 통합 #

 

리포지토리에서 sap-suse-cluster-connector 패키지 버전 3.0.0 이상을 설치합니다.

# zypper install sap-suse-cluster-connector

참고

sap-suse-cluster-connector 패키지의 3.0.x 버전은 SUSE SAP API 버전 3을 구현합니다. SAP RKS(Rolling Kernel Switch) 및 ASCS 마이그레이션 등의 새로운 기능은 이 새 버전에서만 지원됩니다.

ERS 및 ASCS 인스턴스의 경우, /usr/sap/HA1/SYS/profile/ 프로파일 디렉토리에서 HA1_ASCS00_sapha1as 및 HA1_ERS10_sapha1er 인스턴스 프로파일 파일을 편집합니다.

sapstartsrv 서비스에 HA 스크립트 커넥터 라이브러리를 로드하고 sap-suse-cluster-connector를 사용하도록 명령합니다.

service/halib = $(DIR_CT_RUN)/saphascriptco.so
service/halib_cluster_connector = /usr/bin/sap_suse_cluster_connector

ha1adm 사용자를 unix 사용자 그룹 haclient를 추가합니다.

# usermod -a -G haclient ha1adm

5.4.4 SAP 프로파일을 조정하여 SAP NW-HA-CLU 7.40 인증 일치 #

 

ASCS의 경우, 인큐 서버(enserver)에 대한 시작 명령을 Restart_Program_xx에서 Start_Program_xx로 변경합니다. 이렇게 하면 SAP 시작 프레임워크가 인큐 프로세스를 자체적으로 다시 시작하지 않습니다 . 이러한 재시작은 잠금 손실을 초래합니다.

파일 /usr/sap/HA1/SYS/profile/HA1_ASCS00_sapha1as. 

Start_Program_01 = local $(_EN) pf=$(_PF)

선택 사항으로 서비스 재시작 횟수를 제한할 수 있습니다(ASCS의 경우, 이로 인해 메시지 서버의 재시작이 제한됨).

ERS 인스턴스의 경우 인큐 복제 서버(enrepserver)에 대한 시작 명령을 Restart_Program_xx에서 Start_Program_xx로 변경합니다.

파일 /usr/sap/HA1/SYS/profile/HA1_ERS10_sapha1er. 

Start_Program_00 = local $(_ER) pf=$(_PFL) NR=$(SCSID)

5.4.5 ASCS 및 ERS 시작 #

 

hacert01

# su - ha1adm
# sapcontrol -nr 00 -function StartService HA1
# sapcontrol -nr 00 -function Start

hacert02

# su - ha1adm
# sapcontrol -nr 10 -function StartService HA1
# sapcontrol -nr 10 -function Start

# ip address add 192.168.201.118/32 dev eth0
# mount /dev/sdc1 /hana/shared
# mount /dev/sdc2 /hana/log
# mount /dev/sdc3 /hana/data
# cd /sapcd/SWPM/
# ./sapinst SAPINST_USE_HOSTNAME=sapha1db

efs-name:sapcd     /sapcd    nfs4    rsize=1048576,wsize=1048576,hard,timeo=600,retrans=2 0 0
efs-name:sapmnt    /sapmnt   nfs4    rsize=1048576,wsize=1048576,hard,timeo=600,retrans=2 0 0
efs-name:DVEBMGS01 /usr/sap/HA1/DVEBMGS01  nfs4    rsize=1048576,wsize=1048576,hard,timeo=600,retrans=2 0 0
efs-name:SYS       /usr/sap/HA1/SYS        nfs4    rsize=1048576,wsize=1048576,hard,timeo=600,retrans=2 0 0

# mkdir -p /sapcd /sapmnt /usr/sap/HA1/SYS /usr/sap/HA1/DVEBMGS01
# mount -a

efs-name:sapcd     /sapcd            nfs4    rsize=1048576,wsize=1048576,hard,timeo=600,retrans=2 0 0
efs-name:sapmnt    /sapmnt           nfs4    rsize=1048576,wsize=1048576,hard,timeo=600,retrans=2 0 0
efs-name:D02       /usr/sap/HA1/D02  nfs4    rsize=1048576,wsize=1048576,hard,timeo=600,retrans=2 0 0
efs-name:SYS       /usr/sap/HA1/SYS  nfs4    rsize=1048576,wsize=1048576,hard,timeo=600,retrans=2 0 0

# mkdir -p /sapcd /sapmnt /usr/sap/HA1/SYS /usr/sap/HA1/D02
# mount -a

클러스터를 구현하기 위한 주요 절차는 다음과 같습니다.

참고

클러스터 설정을 계속 진행하기 전, 우선 모든 SAP 인스턴스를 중지하고 클러스터 노드에서 (수동으로 추가한) IP 주소를 제거한 후 나중에 클러스터에서 제어할 파일 시스템의 마운트를 해제합니다.

# zypper install -t pattern ha_sles

Public Cloud Module을 활성화하여 AWS CLI(명령줄 인터페이스)를 업데이트합니다.

# SUSEConnect --list-extensions
# SUSEConnect -p sle-module-public-cloud/12/x86_64

다음 명령으로 패키지를 업데이트합니다.

# zypper update

6.1 클러스터 베이스 구성 #

 

작업 #

 

• 첫 번째 시스템에 클러스터 스택 설치 및 구성

6.1.1 시스템 로깅 구성 #

 

SUSE는 SUSE 클러스터에서 rsyslogd를 사용하여 로깅하는 것을 권장합니다. 이는 기본 구성입니다. 그러나 일부 AWS AMI에서는 syslogd 로깅을 사용합니다. 모든 클러스터 노드에서 루트로 다음 명령을 실행합니다.

# zypper install rsyslog

옵션 1을 사용합니다(경쟁 소프트웨어인 syslogd 설치 제거). 두 노드를 재부팅합니다.

6.1.2 Corosync 구성 #

 

6.1.2.1 corosync.conf 파일 구성 #

 

구성에서는 node-1 노드에 대해 ip-node-1 및 ip2-node-1라는 IP 주소가 있습니다. node-2 노드는 ip-node-2 및 ip2-node-2라는 IP 주소를 가집니다.

모든 클러스터 노드에는 다음과 같이 구성되는 로컬 구성 파일 /etc/corosync/corosync.conf가 있어야 합니다.

관련 정보는 인터페이스와 노드 목록을 설명하는 두 섹션에서 제공됩니다. 나머지 항목은 특정 구현에 필요한 경우 구성할 수 있습니다.

참고

AWS는 특정 수동 corosync 구성을 요구합니다.

두 클러스터 노드의 /etc/corosync/corosync.conf 파일에서 다음 구성을 사용하십시오.

# Read the corosync.conf.5 manual page
totem {
  version: 2
  rrp_mode: passive
  token: 30000
  consensus: 32000
  token_retransmits_before_loss_const: 10
  max_messages: 20
  crypto_cipher: none
  crypto_hash: none
  clear_node_high_bit: yes
  interface {
    ringnumber: 0
    bindnetaddr: <ip-local-node>
    mcastport: 5405
    ttl: 1
  }
  transport: udpu
}
 logging {
      fileline: off
      to_logfile: yes
      to_syslog: yes
      logfile: /var/log/cluster/corosync.log
      debug: off
      timestamp: on
      logger_subsys {
         subsys: QUORUM
         debug: off
     }
}
nodelist {
  node {
  ring0_addr: <ip-node-1>
  ring1_addr: <ip2-node-1>
  nodeid: 1
  }
  node {
  ring0_addr: <ip-node-2>
  ring1_addr: <ip2-node-2>
  nodeid: 2
  }
}

quorum {
  # Enable and configure quorum subsystem (default: off)
  # see also corosync.conf.5 and votequorum.5
  provider: corosync_votequorum
  expected_votes: 2
  two_node: 1
}

ip-node-1 / ip2-node-1 및 ip-node-2 / ip2-node-2 변수를 두 클러스터 인스턴스의 IP 주소로 바꿉니다. ip-local-node를 파일이 생성될 서버의 IP 주소로 바꿉니다.

crypto_cipher 및 crypto_hash용으로 선택한 설정은 AWS의 클러스터에 적합합니다. 그리고 강력한 클러스터 통신 암호화가 필요한 경우에는 SUSE 문서에 따라 수정할 수 있습니다.

6.1.3 클러스터 시작 #

 

다음 단계는 두 노드에서 다음 명령을 사용하여 클러스터를 시작하는 것입니다.

# systemctl start pacemaker

6.1.4 구성 확인 #

 

구성을 확인하기 위한 명령은 다음과 같습니다.

# corosync-cfgtool -s

그러면 IP 주소가 10.0.0.111인 클러스터 노드를 위한 다음과 같은 결과가 제공됩니다.

Printing ring status.
Local node ID 1
RING ID 0
id = 10.0.0.111
status = ring 0 active with no faults

해당 클러스터는 링 0을 사용하며 노드의 ID는 1입니다.

• crm_mon -1 출력은 다음과 같아야 합니다.

Stack: corosync
Current DC: hacert01 (version 1.1.15-19.15-e174ec8) - partition with quorum
Last updated: Wed Dec  6 16:02:42 2017
Last change: Wed Dec  6 15:44:45 2017 by hacluster via crmd on hacert01

2 nodes configured
0 resources configured

Online: [ hacert01 hacert02 ]

Full list of resources:

6.2 클러스터 리소스 구성 #

 

더 이상 마스터-슬레이브 구조를 사용하지 않고 클러스터와 더 유사한 구조로 변화된 변경된 SAP NetWeaver용 SAPInstance 리소스 에이전트가 필요합니다. 이를 통해 마스터-슬레이브 전체가 아니라 ASCS 및 ERS 자체를 시작 및 정지할 수 있습니다.

이를 위해 ASCS가 ERS를 준수하기 위해 필요한 새로운 기능이 있습니다. 잠금 손실을 방지하려면 ASCS가 ERS의 공유 메모리 테이블을 마운트해야 합니다.

그림 7: 리소스 및 제약 조건 #

 

RA 내에서 새 플래그인 “runs_ers_$SID”를 사용하여 구현할 수 있으며, 리소스 파라미터 “IS_ERS=TRUE”를 사용하여 활성화할 수 있습니다.

Route 53 에이전트를 추가하는 옵션이 제공됩니다. 그러면 아키텍처는 다음과 같게 됩니다.

그림 8: 리소스 및 제약 조건 #

 

6.2.1 리소스를 추가할 수 있도록 클러스터 준비 #

 

클러스터가 부분적으로 정의된 리소스를 시작하는 것을 방지하려면 클러스터를 유지보수 모드로 설정하십시오. 이렇게 하면 모든 모니터링 작업이 비활성화됩니다.

root 사용자로

# crm configure property maintenance-mode="true"

6.2.2 AWS 고유 설정 구성 #

 

두 클러스터 노드 중 하나에서 다음 명령을 실행하십시오.

# vi crm-bs.txt

crm-bs.txt 파일에 다음 정보를 입력합니다.

property cib-bootstrap-options: \
    stonith-enabled="true" \
    stonith-action="poweroff" \
    stonith-timeout="600s"
rsc_defaults rsc-options: \
        resource-stickiness=1 \
        migration-threshold=3
op_defaults op-options: \
        timeout=600 \
        record-pending=true

poweroff 설정은 에이전트가 인스턴스를 강제로 종료하도록 합니다. 이는 AWS에서 Split Brain 상황을 방지하는 데 도움이 됩니다.

구성을 클러스터에 추가합니다.

# crm configure load update crm-bs.txt

6.2.3 AWS 고유 Stonith 리소스 구성 #

 

다음과 같은 내용으로 파일을 만듭니다.

primitive res_AWS_STONITH stonith:external/ec2 \
op start interval=0 timeout=180 \
op stop interval=0 timeout=180 \
op monitor interval=120 timeout=60 \
params tag=pacemaker profile=cluster

EC2 태그 pacemaker 항목은 EC2 인스턴스에 대해 선택한 태그와 일치해야 합니다. 이 태그의 값에는 호스트 이름이 포함됩니다. 프로파일 이름(이 예에서 cluster)은 이전에 구성한 AWS 프로파일과 일치해야 합니다.

이 파일의 이름을 예를 들어 aws-stonith.txt로 지정한 후 이 파일을 구성에 추가합니다. 루트로 다음 명령을 실행해야 합니다. 여기서 파일 이름 aws-stonith.txt가 사용됩니다.

# crm configure load update aws-stonith.txt

6.2.4 ASCS용 리소스 구성 #

 

우선 파일 시스템, IP 주소 및 SAP 인스턴스를 위한 리소스를 구성합니다. 물론, 환경에 따라 파라미터를 조정해야 합니다.

원하는 편집기를 사용하여 이름이 aws-ascs.txt인 파일을 만듭니다. ASCS 기본 및 ASCS 그룹을 이 파일에 추가합니다. 변경 사항을 저장합니다.

예제 3: ASCS 기본 #

 

primitive rsc_fs_HA1_ASCS00 Filesystem \
    params  device="efs-name:/ASCS00" directory="/usr/sap/HA1/ASCS00" \
            fstype="nfs4" \
            options="rsize=1048576,wsize=1048576,hard,timeo=600,retrans=2" \
    op start timeout=60s interval=0 \
    op stop timeout=60s interval=0 \
    op monitor interval=200s timeout=40s
primitive rsc_ip_HA1_ASCS00 ocf:suse:aws-vpc-move-ip \
    params  address=192.168.201.116 routing_table=rtb-table \
            interface=eth0 profile=cluster \
    op start interval=0 timeout=180 \
    op stop interval=0 timeout=180 \
    op monitor interval=60 timeout=60
primitive rsc_sap_HA1_ASCS00 SAPInstance \
    operations $id=rsc_sap_HA1_ASCS00-operations \
    op monitor interval=120 timeout=60 on-fail=restart \
    params InstanceName=HA1_ASCS00_sapha1as \
        START_PROFILE="/sapmnt/HA1/profile/HA1_ASCS00_sapha1as" \
        AUTOMATIC_RECOVER=false \
    meta resource-stickiness=5000 failure-timeout=60 \
        migration-threshold=1 priority=10

efs-name 변수를 EFS 서버의 이름으로 바꿉니다.

rtb-table 변수를 서브넷의 해당 AWS 라우팅 테이블 식별자로 바꿉니다. AWS CLI 프로파일 이름(이 예에서 cluster)은 이전에 구성한 AWS 프로파일과 일치해야 합니다.

예제 4: ASCS 그룹 #

 

group grp_HA1_ASCS00 \
  rsc_ip_HA1_ASCS00 rsc_fs_HA1_ASCS00 rsc_sap_HA1_ASCS00 \
        meta resource-stickiness=3000

원하는 텍스트 편집기를 사용하여 txt 파일 aws_ascs.txt를 만들고 이 파일에 두 예시(기본 및 그룹)를 입력한 후 구성을 클러스터 관리자 구성에 로드합니다.

# crm configure load update aws_ascs.txt

6.2.5 선택 사항: Route 53 포함 #

 

이 파일의 이름을 예를 들어 aws-route53.txt로 지정한 후 이 파일을 구성에 추가합니다. 루트로 다음 명령을 실행해야 합니다. 여기서 파일 이름 aws-route53.txt가 사용됩니다.

편집기에서 기존에 있는 기본 앞 또는 뒤에 다음 기본을 입력합니다.

예제 5: ROUTE53 기본 #

 

primitive rsc_r53_HA1_ASCS00 ocf:heartbeat:aws-vpc-route53 \
   params hostedzoneid=route-53-name ttl=10 fullname=name-full. profile=cluster \
   op start interval=0 timeout=180 \
   op stop interval=0 timeout=180 \
   op monitor interval=300 timeout=180

route-53-name 변수를 연결된 프라이빗 호스팅 Route 53 영역의 이름으로 바꿉니다.

name-full 변수를 프라이빗 호스팅 Route 53 영역과 일치하는 전체 호스트 이름으로 바꿉니다.

이 예시에서 에이전트는 10초의 TTL(time-to-live)을 사용합니다. 필요한 경우 이 파라미터를 변경하십시오.

rsc_ip_HA1_ASCS00 다음에 rsc_r53_HA1_ASCS00을 삽입합니다. 그러면 그룹이 Route 53을 오버레이 IP 주소 다음의 두 번째 항목으로 업데이트하게 됩니다.

예제 6: ROUTE53 그룹 #

 

group grp_HA1_ASCS00 \
  rsc_ip_HA1_ASCS00 rsc_r53_HA1_ASCS00 \
  rsc_fs_HA1_ASCS00 rsc_sap_HA1_ASCS00 \
        meta resource-stickiness=3000

원하는 텍스트 편집기를 사용하여 txt 파일 aws-route53.txt를 만들고 이 파일에 두 예시(기본 및 그룹)를 입력한 후 구성을 클러스터 관리자 구성에 로드합니다. 루트로 다음 명령을 사용하고 편집기에서 ASCS 그룹을 수정합니다.

# crm configure load update aws-route53.txt

참고

EC2 메타 데이터의 사용자 데이터 섹션에 “local-ipv4”와 같은 문자열이 포함되면 Route 53 에이전트의 1.0.2 버전이 작동하지 않습니다!

6.2.6 ERS용 리소스 구성 #

 

두 번째로 파일 시스템, IP 주소 및 SAP 인스턴스를 위한 리소스를 구성합니다. 물론, 환경에 따라 파라미터를 조정해야 합니다.

efs-name을 EFS 서버의 이름으로 바꿉니다.

특정 파라미터 IS_ERS=true는 ERS 인스턴스에 대해서만 설정해야 합니다.

예제 7: ERS 기본 #

 

primitive rsc_fs_HA1_ERS10 Filesystem \
  params device="efs-name:/ERS10" directory="/usr/sap/HA1/ERS10" fstype=nfs4 \
  options="rsize=1048576,wsize=1048576,hard,timeo=600,retrans=2" \
  op start timeout=60s interval=0 \
  op stop timeout=60s interval=0 \
  op monitor interval=200s timeout=40s
primitive rsc_ip_HA1_ERS10 ocf:suse:aws-vpc-move-ip \
  params address=192.168.201.117 routing_table=rtb-table \
  interface=eth0 profile=cluster \
  op start interval=0 timeout=180 \
  op stop interval=0 timeout=180 \
  op monitor interval=60 timeout=60
primitive rsc_sap_HA1_ERS10 SAPInstance \
  operations $id=rsc_sap_HA1_ERS10-operations \
  op monitor interval=120 timeout=60 on-fail=restart \
  params InstanceName=HA1_ERS10_sapha1er \
         START_PROFILE="/sapmnt/HA1/profile/HA1_ERS10_sapha1er" \
         AUTOMATIC_RECOVER=false IS_ERS=true \
  meta priority=1000

rtb-table 변수를 서브넷의 해당 AWS 라우팅 테이블 식별자로 바꿉니다. AWS CLI 프로파일 이름(이 예에서 cluster)은 이전에 구성한 AWS 프로파일과 일치해야 합니다.

예제 8: ERS 그룹 #

 

group grp_HA1_ERS10 \
  rsc_ip_HA1_ERS10 rsc_fs_HA1_ERS10 rsc_sap_HA1_ERS10

원하는 텍스트 편집기를 사용하여 txt 파일(예: aws_crm_ers.txt)을 만들고 이 파일에 두 예시(기본 및 그룹)를 입력한 후 구성을 클러스터 관리자 구성에 로드합니다.

root 사용자로

# crm configure load update aws_crm_ers.txt

6.2.7 ASCS와 ERS 간 코로케이션 제약 조건 구성 #

 

오류(loc_sap_HA1_failover_to_ers) 발생 후 ASCS 인스턴스가 정확히 ERS 인스턴스가 실행되는 클러스터 노드에서 시작하도록 ASCS와 ERS 인스턴스 사이의 제약 조건을 정의해야 합니다. 이러한 제약 조건에서는 ASCS 인스턴스(또는 노드)에서 오류가 발생한 후 잠금이 손실되지 않는지 확인해야 합니다.

클러스터에 의해 ASCS 인스턴스가 시작된 경우에는 ERS 인스턴스가 “다른” 클러스터 노드(col_sap_HA1_no_both)로 이동해야 합니다. 이 제약 조건은 ERS가 잠금을 재동기화하여 다른 인수에서 클러스터를 사용할 수 있도록 하기 위해 필요합니다.

예제 9: 위치 제약 조건 #

 

colocation col_sap_HA1_no_both -5000: grp_HA1_ERS10 grp_HA1_ASCS00
location loc_sap_HA1_failover_to_ers rsc_sap_HA1_ASCS00 \
         rule 2000: runs_ers_HA1 eq 1
order ord_sap_HA1_first_start_ascs Optional: rsc_sap_HA1_ASCS00:start \
      rsc_sap_HA1_ERS10:stop symmetrical=false

원하는 텍스트 편집기를 사용하여 텍스트 파일(예: crm_col.txt)을 만들고 이 파일에 세 가지 제약 조건을 모두 입력한 후 구성을 클러스터 관리자 구성에 로드합니다.

루트로 다음 명령을 실행합니다.

# crm configure load update crm_col.txt

6.2.8 클러스터 활성화 #

 

마지막 단계는 클러스터 유지보수 모드를 종료하고 클러스터가 이미 실행 중인 리소스를 감지하도록 허용하는 것입니다.

루트로 다음 명령을 실행합니다.

# crm configure property maintenance-mode="false"

클러스터가 이제 ASCS 및 ERS 시스템을 시작합니다. 이 절차는 몇 분 걸립니다. 다음 명령으로 진행 상황을 확인합니다.

# crm status

선택 사항으로 Route 53 에이전트를 설치하면 필요한 경우 중앙 인스턴스의 DNS 이름을 업데이트합니다. Route 53 명명 테이블은 SAP GUI 사용자와 같은 온프레미스 사용자에게 표시되어야 할 수 있습니다. 이는 Route 53에 이름 확인을 위임하도록 온프레미스 네임 서버를 업데이트할 때 발생합니다. 이러한 이름 확인 요청을 전달하려면 AWS VPC에 추가 구성이 필요합니다.

Active directory 사용자는 [https://aws.amazon.com/de/blogs/security/how-to-set-up-dns-resolution-between-on-premises-networks-and-aws-using-aws-directory-service-and-amazon-route-53/]의 설명과 같이 Active Directory Connector를 구성해야 합니다.

DNS 서버 사용자는 [http://www.scalingbits.com/aws/dnsfailover/backpropagation]의 설명과 같이 바인드 포워딩 EC2 인스턴스를 구현해야 합니다.

저작권 © 2006–2020 SUSE LLC 및 제공자. All rights reserved.

GNU 무료 설명서 라이선스, 버전 1.2 또는 (사용자 선택에 따라) 버전 1.3의 조항에 따라 본 문서를 복사, 배포 및/또는 수정하는 권한이 허가됩니다. 그리고 각 항목에는 본 저작권 표시 및 라이선스가 설명된 고정(Invariant) 섹션이 있습니다. 라이선스 버전 1.2의 복사본은 “GNU 무료 설명서 라이선스” 섹션에 포함되어 있습니다.

SUSE, SUSE 로고 및 YaST는 미국과 기타 국가에서 SUSE LLC의 등록 상표입니다. SUSE 상표는 https://www.suse.com/company/legal/을 참조하십시오.

Linux는 Linus Torvalds의 등록 상표입니다. 본 문서에 언급된 기타 모든 이름 또는 상표는 해당 소유주의 상표 또는 등록 상표일 수 있습니다.

본 문서는 “SUSE 모범 사례”라는 문서 시리즈 중 일부입니다. 시리즈의 각 문서는 SUSE 직원 및 제3자가 자발적으로 기여하여 작성되었습니다. 문서의 목적은 특정 작업을 수행하는 방법의 한 가지 예만을 제공하는 것입니다.

또한, SUSE는 문서에서 설명되는 작업이 해당 기능을 수행하는지 또는 의도하지 않은 결과가 제공되지 않는지를 확인할 수 없습니다.

본 문서의 모든 정보는 최대한 주의를 기울여 작성되었습니다. 그러나 이것이 문서의 정확성을 보장하지는 않습니다. 따라서 SUSE LLC, 그 계열사, 저자, 번역자 중 어느 누구도 있을 수 있는 오류나 그에 따른 결과에 책임을 지지 않는다고 명확히 진술할 필요가 있습니다. 아래에 명시된 내용은 문서를 게시할 때 준수해야 할 라이선스에 대한 주의를 환기하기 위한 것입니다.

Copyright (C) 2000, 2001, 2002 Free Software Foundation, Inc. 51 Franklin St, Fifth Floor, Boston, MA 02110-1301 USA. Everyone is permitted to copy and distribute verbatim copies of this license document, but changing it is not allowed.

The purpose of this License is to make a manual, textbook, or other functional and useful document "free" in the sense of freedom: to assure everyone the effective freedom to copy and redistribute it, with or without modifying it, either commercially or non-commercially. Secondarily, this License preserves for the author and publisher a way to get credit for their work, while not being considered responsible for modifications made by others.

This License is a kind of "copyleft", which means that derivative works of the document must themselves be free in the same sense. It complements the GNU General Public License, which is a copyleft license designed for free software.

We have designed this License to use it for manuals for free software, because free software needs free documentation: a free program should come with manuals providing the same freedoms that the software does. But this License is not limited to software manuals; it can be used for any textual work, regardless of subject matter or whether it is published as a printed book. We recommend this License principally for works whose purpose is instruction or reference.

This License applies to any manual or other work, in any medium, that contains a notice placed by the copyright holder saying it can be distributed under the terms of this License. Such a notice grants a world-wide, royalty-free license, unlimited in duration, to use that work under the conditions stated herein. The "Document", below, refers to any such manual or work. Any member of the public is a licensee, and is addressed as "you". You accept the license if you copy, modify or distribute the work in a way requiring permission under copyright law.

A "Modified Version" of the Document means any work containing the Document or a portion of it, either copied verbatim, or with modifications and/or translated into another language.

A "Secondary Section" is a named appendix or a front-matter section of the Document that deals exclusively with the relationship of the publishers or authors of the Document to the Document's overall subject (or to related matters) and contains nothing that could fall directly within that overall subject. (Thus, if the Document is in part a textbook of mathematics, a Secondary Section may not explain any mathematics.) The relationship could be a matter of historical connection with the subject or with related matters, or of legal, commercial, philosophical, ethical or political position regarding them.

The "Invariant Sections" are certain Secondary Sections whose titles are designated, as being those of Invariant Sections, in the notice that says that the Document is released under this License. If a section does not fit the above definition of Secondary then it is not allowed to be designated as Invariant. The Document may contain zero Invariant Sections. If the Document does not identify any Invariant Sections then there are none.

The "Cover Texts" are certain short passages of text that are listed, as Front-Cover Texts or Back-Cover Texts, in the notice that says that the Document is released under this License. A Front-Cover Text may be at most 5 words, and a Back-Cover Text may be at most 25 words.

A "Transparent" copy of the Document means a machine-readable copy, represented in a format whose specification is available to the general public, that is suitable for revising the document straightforwardly with generic text editors or (for images composed of pixels) generic paint programs or (for drawings) some widely available drawing editor, and that is suitable for input to text formatters or for automatic translation to a variety of formats suitable for input to text formatters. A copy made in an otherwise Transparent file format whose markup, or absence of markup, has been arranged to thwart or discourage subsequent modification by readers is not Transparent. An image format is not Transparent if used for any substantial amount of text. A copy that is not "Transparent" is called "Opaque".

Examples of suitable formats for Transparent copies include plain ASCII without markup, Texinfo input format, LaTeX input format, SGML or XML using a publicly available DTD, and standard-conforming simple HTML, PostScript or PDF designed for human modification. Examples of transparent image formats include PNG, XCF and JPG. Opaque formats include proprietary formats that can be read and edited only by proprietary word processors, SGML or XML for which the DTD and/or processing tools are not generally available, and the machine-generated HTML, PostScript or PDF produced by some word processors for output purposes only.

The "Title Page" means, for a printed book, the title page itself, plus such following pages as are needed to hold, legibly, the material this License requires to appear in the title page. For works in formats which do not have any title page as such, "Title Page" means the text near the most prominent appearance of the work's title, preceding the beginning of the body of the text.

A section "Entitled XYZ" means a named subunit of the Document whose title either is precisely XYZ or contains XYZ in parentheses following text that translates XYZ in another language. (Here XYZ stands for a specific section name mentioned below, such as "Acknowledgements", "Dedications", "Endorsements", or "History".) To "Preserve the Title" of such a section when you modify the Document means that it remains a section "Entitled XYZ" according to this definition.

The Document may include Warranty Disclaimers next to the notice which states that this License applies to the Document. These Warranty Disclaimers are considered to be included by reference in this License, but only as regards disclaiming warranties: any other implication that these Warranty Disclaimers may have is void and has no effect on the meaning of this License.

You may copy and distribute the Document in any medium, either commercially or noncommercially, provided that this License, the copyright notices, and the license notice saying this License applies to the Document are reproduced in all copies, and that you add no other conditions whatsoever to those of this License. You may not use technical measures to obstruct or control the reading or further copying of the copies you make or distribute. However, you may accept compensation in exchange for copies. If you distribute a large enough number of copies you must also follow the conditions in section 3.

You may also lend copies, under the same conditions stated above, and you may publicly display copies.

If you publish printed copies (or copies in media that commonly have printed covers) of the Document, numbering more than 100, and the Document's license notice requires Cover Texts, you must enclose the copies in covers that carry, clearly and legibly, all these Cover Texts: Front-Cover Texts on the front cover, and Back-Cover Texts on the back cover. Both covers must also clearly and legibly identify you as the publisher of these copies. The front cover must present the full title with all words of the title equally prominent and visible. You may add other material on the covers in addition. Copying with changes limited to the covers, as long as they preserve the title of the Document and satisfy these conditions, can be treated as verbatim copying in other respects.

If the required texts for either cover are too voluminous to fit legibly, you should put the first ones listed (as many as fit reasonably) on the actual cover, and continue the rest onto adjacent pages.

If you publish or distribute Opaque copies of the Document numbering more than 100, you must either include a machine-readable Transparent copy along with each Opaque copy, or state in or with each Opaque copy a computer-network location from which the general network-using public has access to download using public-standard network protocols a complete Transparent copy of the Document, free of added material. If you use the latter option, you must take reasonably prudent steps, when you begin distribution of Opaque copies in quantity, to ensure that this Transparent copy will remain thus accessible at the stated location until at least one year after the last time you distribute an Opaque copy (directly or through your agents or retailers) of that edition to the public.

It is requested, but not required, that you contact the authors of the Document well before redistributing any large number of copies, to give them a chance to provide you with an updated version of the Document.

You may copy and distribute a Modified Version of the Document under the conditions of sections 2 and 3 above, provided that you release the Modified Version under precisely this License, with the Modified Version filling the role of the Document, thus licensing distribution and modification of the Modified Version to whoever possesses a copy of it. In addition, you must do these things in the Modified Version:

If the Modified Version includes new front-matter sections or appendices that qualify as Secondary Sections and contain no material copied from the Document, you may at your option designate some or all of these sections as invariant. To do this, add their titles to the list of Invariant Sections in the Modified Version's license notice. These titles must be distinct from any other section titles.

You may add a section Entitled "Endorsements", provided it contains nothing but endorsements of your Modified Version by various parties--for example, statements of peer review or that the text has been approved by an organization as the authoritative definition of a standard.

You may add a passage of up to five words as a Front-Cover Text, and a passage of up to 25 words as a Back-Cover Text, to the end of the list of Cover Texts in the Modified Version. Only one passage of Front-Cover Text and one of Back-Cover Text may be added by (or through arrangements made by) any one entity. If the Document already includes a cover text for the same cover, previously added by you or by arrangement made by the same entity you are acting on behalf of, you may not add another; but you may replace the old one, on explicit permission from the previous publisher that added the old one.

The author(s) and publisher(s) of the Document do not by this License give permission to use their names for publicity for or to assert or imply endorsement of any Modified Version.

You may combine the Document with other documents released under this License, under the terms defined in section 4 above for modified versions, provided that you include in the combination all of the Invariant Sections of all of the original documents, unmodified, and list them all as Invariant Sections of your combined work in its license notice, and that you preserve all their Warranty Disclaimers.

The combined work need only contain one copy of this License, and multiple identical Invariant Sections may be replaced with a single copy. If there are multiple Invariant Sections with the same name but different contents, make the title of each such section unique by adding at the end of it, in parentheses, the name of the original author or publisher of that section if known, or else a unique number. Make the same adjustment to the section titles in the list of Invariant Sections in the license notice of the combined work.

In the combination, you must combine any sections Entitled "History" in the various original documents, forming one section Entitled "History"; likewise combine any sections Entitled "Acknowledgements", and any sections Entitled "Dedications". You must delete all sections Entitled "Endorsements".

You may make a collection consisting of the Document and other documents released under this License, and replace the individual copies of this License in the various documents with a single copy that is included in the collection, provided that you follow the rules of this License for verbatim copying of each of the documents in all other respects.

You may extract a single document from such a collection, and distribute it individually under this License, provided you insert a copy of this License into the extracted document, and follow this License in all other respects regarding verbatim copying of that document.

A compilation of the Document or its derivatives with other separate and independent documents or works, in or on a volume of a storage or distribution medium, is called an "aggregate" if the copyright resulting from the compilation is not used to limit the legal rights of the compilation's users beyond what the individual works permit. When the Document is included in an aggregate, this License does not apply to the other works in the aggregate which are not themselves derivative works of the Document.

If the Cover Text requirement of section 3 is applicable to these copies of the Document, then if the Document is less than one half of the entire aggregate, the Document's Cover Texts may be placed on covers that bracket the Document within the aggregate, or the electronic equivalent of covers if the Document is in electronic form. Otherwise they must appear on printed covers that bracket the whole aggregate.

Translation is considered a kind of modification, so you may distribute translations of the Document under the terms of section 4. Replacing Invariant Sections with translations requires special permission from their copyright holders, but you may include translations of some or all Invariant Sections in addition to the original versions of these Invariant Sections. You may include a translation of this License, and all the license notices in the Document, and any Warranty Disclaimers, provided that you also include the original English version of this License and the original versions of those notices and disclaimers. In case of a disagreement between the translation and the original version of this License or a notice or disclaimer, the original version will prevail.

If a section in the Document is Entitled "Acknowledgements", "Dedications", or "History", the requirement (section 4) to Preserve its Title (section 1) will typically require changing the actual title.

You may not copy, modify, sublicense, or distribute the Document except as expressly provided for under this License. Any other attempt to copy, modify, sublicense or distribute the Document is void, and will automatically terminate your rights under this License. However, parties who have received copies, or rights, from you under this License will not have their licenses terminated so long as such parties remain in full compliance.

The Free Software Foundation may publish new, revised versions of the GNU Free Documentation License from time to time. Such new versions will be similar in spirit to the present version, but may differ in detail to address new problems or concerns. See http://www.gnu.org/copyleft/.

Each version of the License is given a distinguishing version number. If the Document specifies that a particular numbered version of this License "or any later version" applies to it, you have the option of following the terms and conditions either of that specified version or of any later version that has been published (not as a draft) by the Free Software Foundation. If the Document does not specify a version number of this License, you may choose any version ever published (not as a draft) by the Free Software Foundation.

Copyright (c) YEAR YOUR NAME.
Permission is granted to copy, distribute and/or modify this document
under the terms of the GNU Free Documentation License, Version 1.2
or any later version published by the Free Software Foundation;
with no Invariant Sections, no Front-Cover Texts, and no Back-Cover Texts.
A copy of the license is included in the section entitled "GNU
 Free Documentation License".

If you have Invariant Sections, Front-Cover Texts and Back-Cover Texts, replace the "with...Texts". line with this:

with the Invariant Sections being LIST THEIR TITLES, with the
Front-Cover Texts being LIST, and with the Back-Cover Texts being LIST.

If you have Invariant Sections without Cover Texts, or some other combination of the three, merge those two alternatives to suit the situation.

If your document contains nontrivial examples of program code, we recommend releasing these examples in parallel under your choice of free software license, such as the GNU General Public License, to permit their use in free software.