[14] 샤드 인덱싱 backpressure (인덱싱 작업 부하에 대한 조정)

 

클러스터에 부담이 있을 때 인덱싱 요청을 동적으로 거부하는 샤드 당 스마트 거부 메커니즘입니다.

부하가 높은 노드나 샤드에서 요청을 다른 노드나 아직 정상 상태인 샤드로 전송하는 작업을 합니다.

느린 노드, 중단된 작업, 리소스 집약적인 요청, 트래픽 급증, 왜곡된 샤드 할당 등으로 인한 성능 저하로 인해 클러스터의 노드가 계단식 오류로 실행되는 것을 방지할 수 있습니다.

이 방법은 하나의 기본 매개변수와 하나의 보조 매개변수가 위반된 경우에만 적용됩니다.

 

:: 기본 매개변수

기본 매개변수는 클러스터가 긴장 상태에 있다는 초기 지표입니다.

• 샤드 메모리 제한 위반 : 샤드의 메모리 사용량이 할당된 메모리의 95%를 초과하면 위반.
• 노드 메모리 제한 위반 : 노드의 메모리 사용량이 할당된 메모리의 70%를 초과하면 위반.

기본 매개변수 위반은 실제 Request 거부를 일으키지 않으며, 단지 보조 매개변수의 실행을 트리거 합니다.

:: 보조 매개변수

 

보조 매개변수는 샤드 수준에서 성능을 확인하여 클러스터에 부담이 있는지 확인합니다.

• 처리량 : 샤드 수준의 처리량이 기록 보기에서 크게 감소하면 위반.
• 성공적인 요청 : 보류 중인 요청 수가 기록 보기에서 크게 증가하면 위반.

 

 

 

샤드 인덱싱 backpressure 설정과 stats API

설정 : https://opensearch.org/docs/latest/opensearch/shard-indexing-settings/

stats API(모니터링) : https://opensearch.org/docs/latest/opensearch/stats-api/