반응형 CloudWatch2 [AWS] SageMaker AutoScaling 자동화 안녕하세요. 지난 포스팅에서 SageMaker Autoscaling하는 법을 올렸었습니다. https://developer-jp.tistory.com/63 [AWS] SageMaker Async Endpoint AutoScaling Aws SageMaker 비동기(async) 엔드포인트 autoscaling에 대한 방법에 대해 간단하게 정리해보자. 일단 비동기 엔드포인트는 실시간 엔드포인트와 달리 인스턴스 수를 0개까지 줄일 수 있다. 비동기 엔드 developer-jp.tistory.com 그런데 문제가 SageMaker Endpoint를 생성한 후에 생성이 완료될 때까지 기다렸다가 AutoScaling을 적용해야 되더라구요. 불편한 점이 생겨서 엔드포인트가 생성완료가 된 후에 자동으로 AutoScal.. 2023. 8. 7. [AWS] SageMaker Async Endpoint AutoScaling Aws SageMaker 비동기(async) 엔드포인트 autoscaling에 대한 방법에 대해 간단하게 정리해보자. 일단 비동기 엔드포인트는 실시간 엔드포인트와 달리 인스턴스 수를 0개까지 줄일 수 있다. 비동기 엔드포인트 내부적으로 Queue가 있어 요청이 오면 Queue에 쌓이고 인스턴스 수를 scale-out 시킨다. 때문에 일반적인 scale-out, scale-in 정책 말고도 인스턴스 수가 0개 일 때 요청이 온 경우 scale-out시켜주는 정책이 따로 필요하다. SageMaker 콘솔에서 만들 수 있는 부분에는 한계가 있다. CLI를 사용하여 만들면 더욱 세세하게 설정할 수 있어서 처음에는 CLI로 작업을 하였는데, 엔드포인트가 여러 개 늘어나면 일일이 하기 귀찮을 것 같아서 AWS SD.. 2023. 7. 17. 이전 1 다음 반응형
