Guia do Alibaba Cloud PAI-EAS: reservar capacidade para picos de inferência ou complementar com um pool elástico?
Para escolher entre recursos públicos, capacidade de base dedicada e reforço elástico no PAI-EAS, confira os limites de implantação, diferencie as réplicas previstas das realmente prontas e considere a latência no início do pico e o custo de todo o período de ocupação.
O Alibaba Cloud PAI-EAS faz sentido como opção se a equipe já tem um modelo operacional e só precisa de um lugar para executá-lo e oferecer inferência online. O que se compra são recursos computacionais para executar o modelo e recursos de gestão do serviço, não uma cota de chamadas a um modelo de conversa pronto. A escolha depende da capacidade que precisa permanecer disponível nos períodos de baixa demanda, de as réplicas adicionais conseguirem atender às solicitações a tempo no pico e dos ambientes onde elas podem ser executadas.
O PAI-EAS é o componente de implantação de inferência do Alibaba Cloud PAI. O fornecedor oferece, entre outras opções, recursos públicos e grupos de recursos dedicados. Os recursos públicos são usados sob demanda e cobrados conforme o uso, sem compra prévia de recursos dedicados, mas não há garantia de capacidade suficiente nos picos. Os grupos dedicados precisam ser comprados antes, oferecem capacidade computacional exclusiva e admitem cobrança por assinatura ou por uso. Aqui, “público” é a categoria de recursos computacionais compartilhados. Isso não significa que o serviço esteja necessariamente exposto à internet nem autoriza a carga de trabalho a ultrapassar os limites de implantação existentes.
Decida primeiro quais solicitações precisam ser concluídas de imediato
Se a ideia é só validar um modelo em pequena escala e esperar pela capacidade não causa prejuízo à operação, vale comparar primeiro os recursos públicos. Se o tráfego é estável todos os dias ou a organização exige implantação dedicada, estime primeiro a capacidade de base dedicada. Em picos ocasionais, o pool de recursos elástico do EAS pode usar recursos públicos cobrados por uso quando os próprios não bastam. Ao reduzir a capacidade, o sistema libera primeiro as instâncias em recursos públicos. Esse mecanismo não torna garantida uma oferta limitada. Se as tarefas puderem esperar até o dia seguinte, coloque o processamento em lote ou agendado na comparação. Não há motivo para manter um endpoint online para tarefas que não precisam de resposta imediata.
Imagine um serviço que use o mesmo modelo e a mesma configuração de réplicas. A meta é ter 2 réplicas em condições normais, 6 no pico e voltar a 2. O plano é manter 2 réplicas dedicadas e solicitar 4 réplicas adicionais em recursos públicos no pico. O 6 na figura é uma meta de capacidade. As 4 réplicas hachuradas representam o reforço desejado, sem indicar que já foi alocado e muito menos que o modelo terminou de carregar e responde corretamente. Essa diferença determina se o pool elástico pode substituir a capacidade de pico preparada com antecedência.

Ilustração original de uma meta de capacidade, não uma interface do Alibaba Cloud nem um resultado de teste de carga. T1, T2 e T3 representam baixa demanda, pico e redução, e não períodos de mesma duração. A representa duas réplicas dedicadas de base. B representa quatro réplicas públicas que se espera acrescentar no pico. As hachuras e os pontos de interrogação indicam que o desenho não permite concluir que já foram alocadas ou estão prontas. Quando a demanda diminui, as instâncias públicas são liberadas primeiro. Cada célula representa uma réplica hipotética do serviço com a mesma especificação, não uma máquina comprada, uma garantia de vazão ou um preço unitário de cobrança.
Nesse cenário, se as 4 réplicas adicionais da mesma especificação ficarem ocupadas meia hora cada, são 2 horas de réplica para comparar o uso. Isso não equivale a duas máquinas, a uma cotação do Alibaba Cloud nem a uma unidade de cobrança comum. A base dedicada continua a ter custo, e a fatura real depende da região escolhida, da especificação dos recursos, da modalidade de cobrança e dos itens adicionais aplicáveis. Se carregar o modelo e aguardar a liberação aumentarem o tempo real de ocupação, não estime o custo só pela meia hora de pico operacional. Para o mesmo objetivo de serviço, compare o custo total da base dedicada somado ao reforço efetivo com o custo de reservar capacidade para o pico, sem olhar apenas o preço unitário das réplicas adicionais.
Valide os primeiros minutos do pico, não só a média diária
Antes de comprar, liste os arquivos do modelo, o ambiente de execução e as dependências aprovadas. O fato de um modelo funcionar num ambiente não significa que funcione com a especificação de CPU ou GPU, os drivers e a memória escolhidos. Confira a disponibilidade de recursos na região de destino e se as réplicas elásticas conseguem obter os arquivos de que precisam dentro dos limites de acesso permitidos. Se a organização não permite executar essa carga em recursos compartilhados, tire o pool elástico da comparação de custos. Não altere restrições de rede ou segurança só para que a demonstração funcione.
Em um ambiente de teste aprovado separadamente, planeje a reprodução de um tráfego com baixa demanda, pico súbito e retorno à normalidade, usando entradas fictícias. Mantenha fixos a versão do modelo, o conjunto de entradas e os critérios de validação das saídas. O EAS oferece teste de carga e monitoramento, mas a área de negócio deve definir os critérios de aceitação. Registre o número de réplicas solicitadas e das realmente prontas para atender, além da latência percebida pelos usuários, das falhas e da correção das saídas. Meça separadamente os primeiros minutos do pico e inclua o tempo em fila e novas tentativas. Uma média diária baixa pode esconder justamente a lacuna de capacidade que mais importa para a operação. Aqui se descreve o desenho de um teste para orientar a compra. Nenhum serviço foi implantado nem houve teste de carga na nuvem.
Confira também o que acontece depois que a demanda diminui. No mesmo registro, anote se as instâncias públicas foram liberadas primeiro, se as réplicas dedicadas que ficaram ainda conseguem atender às solicitações normais e se as que já estavam em andamento chegaram ao fim. Caso a capacidade pública não chegue a tempo, a área de negócio precisa decidir de antemão se aceita a espera, reduz as tarefas não urgentes ou mantém a reserva de capacidade. Presumir que a escala aumentará automaticamente não é um plano de recuperação. Quem responde pelo modelo e pelos custos e quem aprova os limites de implantação deve conseguir consultar a mesma decisão nesse registro.
Decida se vale comprar pela capacidade que pode ser entregue
Recursos públicos são adequados para validações em pequena escala que toleram oscilações no fornecimento. Recursos dedicados atendem a uma demanda de base estável ou a requisitos claros de isolamento. O pool elástico faz sentido se a implantação em recursos compartilhados é autorizada, os picos são de fato raros e tanto o processo medido até a prontidão quanto a latência das solicitações mais lentas passam nos critérios. Essa latência mede a espera das solicitações mais lentas, o que não pode ser substituído por uma média. Guarde uma cotação em condições comparáveis, um registro de aceitação que cubra o aumento e a redução da capacidade e uma decisão sobre o que fazer se a capacidade adicional não for obtida. Enquanto esses três pontos estiverem em aberto, é mais prudente manter a capacidade aprovada e previsível do que reduzir a base pela simples promessa de ajuste automático de escala.
Nota sobre o conteúdo:Este artigo foi elaborado com base em informações públicas e serve como referência para a escolha de ferramentas. Os recursos, os preços e as políticas relacionadas podem mudar a qualquer momento; consulte as informações oficiais mais recentes.
Fonte original:www.alibabacloud.com