SageMaker Quota

Inference相关

Rate of InvokeEndpoint requests

每个regional调用endpoint最大并发不能超过10000，如果超过会触发throttle：

image-20231212095447156

方法是提support case，让AWS来调大这个值，在service quota里不能调

Studio相关

Studio KernelGateway Apps running on ml.xxx instance

在Studio Notebook上启动新的Kernel时，很容易遇到这个问题，每个帐户下特定机型的KernelGateway数量都有限制。例如ml.m5.24xlarge默认只能启动两台，当启动更多时，就会报404：

image-20231212094209885

在service quota里申请调大这个值：

image-20231212093748231