반응형 ApproximateBacklogSizePerInstance1 [AWS] SageMaker Async Endpoint AutoScaling Aws SageMaker 비동기(async) 엔드포인트 autoscaling에 대한 방법에 대해 간단하게 정리해보자. 일단 비동기 엔드포인트는 실시간 엔드포인트와 달리 인스턴스 수를 0개까지 줄일 수 있다. 비동기 엔드포인트 내부적으로 Queue가 있어 요청이 오면 Queue에 쌓이고 인스턴스 수를 scale-out 시킨다. 때문에 일반적인 scale-out, scale-in 정책 말고도 인스턴스 수가 0개 일 때 요청이 온 경우 scale-out시켜주는 정책이 따로 필요하다. SageMaker 콘솔에서 만들 수 있는 부분에는 한계가 있다. CLI를 사용하여 만들면 더욱 세세하게 설정할 수 있어서 처음에는 CLI로 작업을 하였는데, 엔드포인트가 여러 개 늘어나면 일일이 하기 귀찮을 것 같아서 AWS SD.. 2023. 7. 17. 이전 1 다음 반응형