Tuning Large Scale Deployments

説明

Apache httpdで同時に提供するHTTP要求の最大数。 プロキシ、Web UI、およびXMLRPC APIクライアントそれぞれが1つの要求を消費します。 このパラメータを超える要求はキューに入れられ、タイムアウトが発生する場合があります。

調整すべき状況

User count (ユーザ数)とプロキシ数が大幅に増加し、この行が/var/log/apache2/error_log: […​] [mpm_prefork:error] [pid …​] AH00161: server reached MaxRequestWorkers setting, consider raising the MaxRequestWorkers settingに表示される場合。

デフォルト値

150

推奨値

150～500

場所

/etc/apache2/server-tuning.confの`prefork.c`セクション

例

MaxClients = 200

変更後

ServerLimitを直ちに変更し、maxThreadsで調整が可能かどうかを確認します。

注

このパラメータの名前は`MaxRequestWorkers`に変更されています。どちらのパラメータも有効です。

詳細情報

https://httpd.apache.org/docs/2.4/en/mod/mpm_common.html#maxrequestworkers

説明

HTTP要求を同時に処理するApache httpdプロセスの数。 この数はMaxClientsと同じである必要があります。

調整すべき状況

MaxClientsが変更された場合。

デフォルト値

150

推奨値

MaxClientsと同じ値。

場所

/etc/apache2/server-tuning.confの`prefork.c`セクション

例

ServerLimit = 200

詳細情報

https://httpd.apache.org/docs/2.4/en/mod/mpm_common.html#serverlimit

説明

HTTP要求の処理専用のTomcatスレッドの数。

調整すべき状況

MaxClientsが変更された場合。 maxThreads`は常に`MaxClients以上である必要があります。

デフォルト値

150

推奨値

MaxClientsと同じ値。

場所

/etc/tomcat/server.xml

例

<Connector port="8009" protocol="AJP/1.3" redirectPort="8443" URIEncoding="UTF-8" address="127.0.0.1" maxThreads="200" connectionTimeout="20000"/>

詳細情報

https://tomcat.apache.org/tomcat-9.0-doc/config/http.html

説明

応答のないAJP接続を強制的に切断するまでのミリ秒数。

調整すべき状況

Client count (クライアント数)が大幅に増加し、負荷のピーク時にApacheのエラーログにAH00992、AH00877、およびAH01030のエラーが表示される場合。

デフォルト値

900000

推奨値

20000 ～3600000

場所

/etc/tomcat/server.xml

例

<Connector port="8009" protocol="AJP/1.3" redirectPort="8443" URIEncoding="UTF-8" address="127.0.0.1" maxThreads="200" connectionTimeout="1000000" keepAliveTimeout="300000"/>

詳細情報

https://tomcat.apache.org/tomcat-9.0-doc/config/http.html

説明

応答のないAJP接続を強制的に切断するまでの、JVM からのデータ交換がない時間(ミリ秒数)。

調整すべき状況

Client count (クライアント数)が大幅に増加し、負荷のピーク時にApacheのエラーログにAH00992、AH00877、およびAH01030のエラーが表示される場合。

デフォルト値

300000

推奨値

20000～600000

場所

/etc/tomcat/server.xml

例

<Connector port="8009" protocol="AJP/1.3" redirectPort="8443" URIEncoding="UTF-8" address="127.0.0.1" maxThreads="200" connectionTimeout="1000000" keepAliveTimeout="400000"/>

詳細情報

https://tomcat.apache.org/tomcat-9.0-doc/config/http.html

説明

Tomcatが使用できるメモリの最大量。

調整すべき状況

java.message_queue_thread_pool_sizeが増加した場合、または`/var/log/rhn/rhn_web_ui.log`に `OutOfMemoryException`エラーが表示される場合。

デフォルト値

1 GiB

推奨値

4-8 GiB

場所

/etc/tomcat/conf.d/tomcat_java_opts.conf

例

JAVA_OPTS="…​ -Xmx8G …​"

変更後

メモリ使用状況を確認します。

詳細情報

https://docs.oracle.com/javase/8/docs/technotes/tools/windows/java.html

説明

システムグループに属するクライアントの更新ステータスの表示を無効にします。

調整すべき状況

更新ステータスを表示するとタイムアウトが発生する場合。

デフォルト値

false

推奨値

場所

/etc/rhn/rhn.conf

例

java.disable_list_update_status = true

変更後

?

注

詳細情報

man rhn.conf

説明

Tomcatの非同期操作専用スレッドの最大数。

調整すべき状況

Client countが大幅に増加した場合。

デフォルト値

5

推奨値

50～150

場所

/etc/rhn/rhn.conf

例

java.message_queue_thread_pool_size = 50

変更後

hibernate.c3p0.max_sizeを確認します。各スレッドがPostgreSQL接続を消費するため、割り当てられている接続プールが不十分な場合、枯渇が発生することがあります。 thread_poolを確認します。各スレッドがSalt API呼び出しを実行する可能性があるため、Saltのスレッドプールが不十分な場合、枯渇が発生することがあります。 Tomcat’s -Xmxを確認します。各スレッドがメモリを消費するため、不十分な場合、`OutOfMemoryException`が発生することがあります。

注

受信Saltイベントは別個のスレッドプールで処理されます。java.salt_event_thread_pool_sizeを参照してください。

詳細情報

man rhn.conf

説明

スケジュールされたアクションを同時に実行するMinionの最大数。

調整すべき状況

Client count (クライアント数)が数千に達し、アクションが十分高速に実行されない場合。

デフォルト値

200

推奨値

200～500

場所

/etc/rhn/rhn.conf

例

java.salt_batch_size = 300

変更後

memory usageを確認します。 変更の前後に、メモリ使用状況を入念に監視します。

詳細情報

Saltの速度制限

説明

Tomcatの、受信Saltイベント専用のスレッドの最大数。

調整すべき状況

キューに入れられたSaltイベントの数が増加する場合。これは通常、大量のMinionを java.salt_presence_ping_timeoutよりも高い値でオンボーディングする際に発生する可能性があります。 イベントの数はecho "select count(*) from susesaltevent;" | spacewalk-sql --select-mode-direct - を使用して問い合わせることができます。

デフォルト値

8

推奨値

20～100

場所

/etc/rhn/rhn.conf

例

java.salt_event_thread_pool_size = 50

変更後

Saltイベントキューの長さを確認します。 hibernate.c3p0.max_sizeを確認します。各スレッドがPostgreSQL接続を消費するため、割り当てられている接続プールが不十分な場合、枯渇が発生することがあります。 thread_poolを確認します。各スレッドがSalt API呼び出しを実行する可能性があるため、Saltのスレッドプールが不十分な場合、枯渇が発生することがあります。 Tomcat’s -Xmxを確認します。各スレッドがメモリを消費するため、不十分な場合、`OutOfMemoryException`が発生することがあります。

詳細情報

man rhn.conf

説明

クライアントでアクションを実行する前に、presence pingを実行してクライアントが接続可能であることを確認します。 このパラメータは、2番目のコマンド(find_job)をクライアントに送信してその存在を確認するまでの時間の量を設定します。 多数のクライアントがある場合、一部が他より高速に応答するのが一般的です。そのため、このタイムアウトを増やして低速のクライアントに対応します。

Tune when

Client count (クライアント数)が大幅に増加した場合、または一部のクライアントが正しく応答しているものの遅すぎるため、SUSE Managerによって呼び出しから除外される場合。 この行は/var/log/rhn/rhn_web_ui.log: "Got no result for <COMMAND> on minion <MINION_ID> (minion did not respond in time)"に表示されます。

デフォルト値

4秒

推奨値

4～400秒

場所

/etc/rhn/rhn.conf

例

java.salt_presence_ping_timeout = 40

変更後

java.salt_presence_ping_timeout`値を増やすと、全体的なスループットが低下する可能性があります。 これを補うには、`java.salt_event_thread_pool_sizeを増やします。

詳細情報

Salt Timeouts

説明

クライアントでアクションを実行する前に、presence pingを実行して、クライアントが接続可能かどうかを確認します。 応答がないままjava.salt_presence_ping_timeoutの秒数が経過すると、最終チェックのために2つ目のコマンド(find_job)がクライアントに送信されます。 このパラメータは、2つ目のコマンドの後に、クライアントを明確にオフラインであると見なすまでの秒数を設定します。 多数のクライアントがある場合、一部が他より高速に応答するのが一般的です。そのため、このタイムアウトを増やして低速のクライアントに対応します。

Tune when

Client count (クライアント数)が大幅に増加した場合、または一部のクライアントが正しく応答しているものの遅すぎて、SUSE Managerによって呼び出しから除外される場合。 この行は、/var/log/rhn/rhn_web_ui.log: "Got no result for <COMMAND> on minion <MINION_ID> (minion did not respond in time)"に表示されます。

デフォルト値

1秒

推奨値

1～100秒

場所

/etc/rhn/rhn.conf

例

java.salt_presence_ping_gather_job_timeout = 10

詳細情報

Salt Timeouts

説明

ソフトウェアチャンネルのコンテンツが変更された場合、クライアントがコンテンツを使用する前に、そのメタデータを再計算する必要があります。 チャンネル変更操作には、パッチの追加、パッケージの削除、またはリポジトリの同期の実行が含まれます。 このパラメータは、SUSE Managerがチャンネルのメタデータを再計算するために使用するTaskomaticスレッドの最大数を指定します。 チャンネルのメタデータの計算は、CPU制約でもあり、メモリも大量に使用します。そのため、このパラメータを増やして多数のチャンネルを同時に処理すると、Taskomaticは大量のリソースを消費しますが、クライアントはより短時間でチャンネルを利用できるようになります。

調整すべき状況

Channel count (チャンネル数)が大幅に増加した場合(50超)、または同時操作やチャンネルの増加が予期されている場合。

デフォルト値

2

推奨値

2～10

場所

/etc/rhn/rhn.conf

例

java.taskomatic_channel_repodata_workers = 4

変更後

すべての新規スレッドがメモリを消費するため、taskomatic.java.maxmemoryを確認して調整します。

詳細情報

man rhn.conf

説明

Taskomaticが使用できるメモリの最大量。 メタデータの生成は、特に一部のOSでは、メモリを大量に消費する可能性があります。そのため、管理されているOS mix (OSミックス)によっては、このパラメータ増やさなければならない場合があります。

調整すべき状況

java.taskomatic_channel_repodata_workersが増加した場合、SUSE ManagerにOSが追加された場合(特にRed Hat Enterprise LinuxまたはUbuntu)、または`/var/log/rhn/rhn_taskomatic_daemon.log`に`OutOfMemoryException`が表示される場合。

デフォルト値

4096 MiB

推奨値

4096～16384 MiB

場所

/etc/rhn/rhn.conf

例

taskomatic.java.maxmemory = 8192

変更後

メモリ使用状況を確認します。

詳細情報

man rhn.conf

説明

Taskomaticワーカスレの数。 この値を増やすと、Taskomaticはより多くのクライアントを並行して処理できます。

調整すべき状況

Client count (クライアント数)が大幅に増加した場合。

デフォルト値

20

推奨値

20～200

場所

/etc/rhn/rhn.conf

例

org.quartz.threadPool.threadCount = 100

変更後

hibernate.c3p0.max_sizeおよびthread_poolを確認して調整します。

詳細情報

http://www.quartz-scheduler.org/documentation/2.4.0-SNAPSHOT/configuration.html

説明

Taskomaticのサイクル時間。 この値を減らすと、Taskomaticのレイテンシが低下します。

調整すべき状況

Client count (クライアント数)が数千の場合。

デフォルト値

5000ミリ秒

推奨値

1000～5000ミリ秒

場所

/etc/rhn/rhn.conf

例

org.quartz.scheduler.idleWaitTime = 1000

詳細情報

http://www.quartz-scheduler.org/documentation/2.4.0-SNAPSHOT/configuration.html

説明

実行されているアクションの結果としてコマンドをSaltクライアントに送信するための専用のTaskomaticスレッドの数。

調整すべき状況

Client count (クライアント数)が数千の場合。

デフォルト値

1

推奨値

1～10

場所

/etc/rhn/rhn.conf

例

taskomatic.com.redhat.rhn.taskomatic.task.MinionActionExecutor.parallel_threads = 10

説明

実行されているアクションの結果としてSalt SSHクライアントにコマンドを送信するための専用のTaskomaticスレッドの数。

調整すべき状況

Client count (クライアント数)が数千の場合。

デフォルト値

20

推奨値

20～100

場所

/etc/rhn/rhn.conf

例

taskomatic.com.redhat.rhn.taskomatic.task.SSHMinionActionExecutor.parallel_threads = 40

説明

TomcatとTaskomaticの両方で同時に利用可能なPostgreSQL接続の最大数。 これらのコンポーネントのいずれかでさらに多くの同時接続が必要になった場合、その要求はキューに入れられます。

調整すべき状況

java.message_queue_thread_pool_sizeまたはmaxThreadsが大幅に増加した場合、またはorg.quartz.threadPool.threadCountが大幅に変更された場合。 TaskomaticおよびTomcatで各スレッドが1つの接続を消費します。接続よりもスレッドが多くなると、接続が枯渇する可能性があります。

デフォルト値

20

推奨値

100～200。java.message_queue_thread_pool_size + maxThreadsおよびorg.quartz.threadPool.threadCountの最大数よりも多くします。

場所

/etc/rhn/rhn.conf

例

hibernate.c3p0.max_size = 100

変更後

max_connectionsを確認して調整します。

詳細情報

https://www.mchange.com/projects/c3p0/#maxPoolSize

Description

The maximum amount of memory that the rhn-search service can use.

Tune when

Client count increases significantly, and OutOfMemoryException errors appear in journalctl -u rhn-search.

Value default

512 MiB

Value recommendation

512-4096 MiB

Location

/etc/rhn/rhn.conf

Example

rhn-search.java.maxmemory = 4096

After changing

Check memory usage.

Description

The amount of memory reserved for PostgreSQL shared buffers, which contain caches of database tables and index data.

Tune when

RAM changes

Value default

25% of total RAM

Value recommendation

25-40% of total RAM

Location

/var/lib/pgsql/data/postgresql.conf

Example

shared_buffers = 8192MB

After changing

Check memory usage.

More information

https://www.postgresql.org/docs/15/runtime-config-resource.html#GUC-SHARED-BUFFERS

Description

Maximum number of PostgreSQL connections available to applications. More connections allow for more concurrent threads/workers in various components (in particular Tomcat and Taskomatic), which generally improves performance. However, each connection consumes resources, in particular work_mem megabytes per sort operation per connection.

Tune when

hibernate.c3p0.max_size changes significantly, as that parameter determines the maximum number of connections available to Tomcat and Taskomatic

Value default

400

Value recommendation

Depends on other settings, use /usr/lib/susemanager/bin/susemanager-connection-check to obtain a recommendation.

Location

/var/lib/pgsql/data/postgresql.conf

Example

max_connections = 250

After changing

Check memory usage. Monitor memory usage closely before and after the change.

More information

https://www.postgresql.org/docs/15/runtime-config-connection.html#GUC-MAX-CONNECTIONS

Description

The amount of memory allocated by PostgreSQL every time a connection needs to do a sort or hash operation. Every connection (as specified by max_connections) might make use of an amount of memory equal to a multiple of work_mem.

Tune when

Database operations are slow because of excessive temporary file disk I/O. To test if that is happening, add log_temp_files = 5120 to /var/lib/pgsql/data/postgresql.conf, restart PostgreSQL, and monitor the PostgreSQL log files. If you see lines containing LOG: temporary file: try raising this parameter’s value to help reduce disk I/O and speed up database operations.

Value recommendation

2-20 MB

Location

/var/lib/pgsql/data/postgresql.conf

Example

work_mem = 10MB

After changing

check if the SUSE Manager Server might need additional RAM.

More information

https://www.postgresql.org/docs/15/runtime-config-resource.html#GUC-WORK-MEM

Description

Estimation of the total memory available to PostgreSQL for caching. It is the explicitly reserved memory (shared_buffers) plus any memory used by the kernel as cache/buffer.

Tune when

Hardware RAM or memory usage increase significantly

Value recommendation

Start with 75% of total RAM. For finer settings, use shared_buffers + free memory + buffer/cache memory. Free and buffer/cache can be determined via the free -m command (free and buff/cache in the output respectively)

Location

/var/lib/pgsql/data/postgresql.conf

Example

effective_cache_size = 24GB

After changing

Check memory usage

Notes

This is an estimation for the query planner, not an allocation.

More information

https://www.postgresql.org/docs/15/runtime-config-query.html#GUC-EFFECTIVE-CACHE-SIZE

Description

The number of worker threads serving Salt API HTTP requests. A higher number can improve parallelism of SUSE Manager Server-initiated Salt operations, but will consume more memory.

Tune when

java.message_queue_thread_pool_size or org.quartz.threadPool.threadCount are changed. Starvation can occur when there are more Tomcat or Taskomatic threads making simultaneous Salt API calls than there are Salt API worker threads.

Value default

100

Value recommendation

100-500, but should be higher than the sum of java.message_queue_thread_pool_size and org.quartz.threadPool.threadCount

Location

/etc/salt/master.d/susemanager.conf, in the rest_cherrypy section.

Example

thread_pool: 100

After changing

Check worker_threads for adjustment.

More information

https://docs.saltstack.com/en/latest/ref/netapi/all/salt.netapi.rest_cherrypy.html#performance-tuning

Description

The number of salt-master worker threads that process commands and replies from minions and the Salt API. Increasing this value, assuming sufficient resources are available, allows Salt to process more data in parallel from minions without timing out, but will consume significantly more RAM (typically about 70 MiB per thread).

Tune when

Client count increases significantly, thread_pool increases significantly, or SaltReqTimeoutError or Message timed out errors appear in /var/log/salt/master.

Value default

8

Value recommendation

8-200

Location

/etc/salt/master.d/tuning.conf

Example

worker_threads: 50

After changing

Check memory usage. Monitor memory usage closely before and after the change.

More information

https://docs.saltstack.com/en/latest/ref/configuration/master.html#worker-threads

Description

The maximum number of outstanding messages sent by salt-master. If more than this number of messages need to be sent concurrently, communication with clients slows down, potentially resulting in timeout errors during load peaks.

Tune when

Client count increases significantly and Salt request timed out. The master is not responding. errors appear when pinging minions during a load peak.

Value default

1000

Value recommendation

10000-100000

Location

/etc/salt/master.d/tuning.conf

Example

pub_hwm: 10000

More information

https://docs.saltstack.com/en/latest/ref/configuration/master.html#pub-hwm, https://zeromq.org/socket-api/#high-water-mark

Description

The maximum number of allowed client connections that have started but not concluded the opening process. If more than this number of clients connects in a very short time frame, connections are dropped and clients experience a delay re-connecting.

Tune when

Client count increases significantly and very many clients reconnect in a short time frame, TCP connections to the salt-master process get dropped by the kernel.

Value default

1000

Value recommendation

1000-5000

Location

/etc/salt/master.d/tuning.conf

Example

zmq_backlog: 2000

More information

https://docs.saltstack.com/en/latest/ref/configuration/master.html#zmq-backlog, http://api.zeromq.org/3-0:zmq-getsockopt (ZMQ_BACKLOG)

Description

How aggressively the kernel moves unused data from memory to the swap partition. Setting a lower parameter typically reduces swap usage and results in better performance, especially when RAM memory is abundant.

Tune when

RAM increases, or swap is used when RAM memory is sufficient.

Value default

60

Value recommendation

1-60. For 128 GB of RAM, 10 is expected to give good results.

Location

/etc/sysctl.conf

Example

vm.swappiness = 20

More information

https://documentation.suse.com/sles/15-SP4/html/SLES-all/cha-tuning-memory.html#cha-tuning-memory-vm