Regressão Baseada em Risco para um Ciclo de Release Que Não Cabia

Transformando uma regressão manual de 1.000 casos em evidência, uma estratégia de release em camadas e um modelo de capacidade, para um app de fidelidade de hotelaria em iOS e Android.

  • Mobile
  • Estratégia de Testes
  • QA Lead
Tempo de regressão completa, antes 7 dias com 4 QAs
4 dias · 2 QAs
Casos manuais por ciclo de regressão completa
~1.000
Camadas da estratégia de release, apoiadas por um modelo de capacidade
4 camadas

Contexto

Como QA Lead de um app de fidelidade de hotelaria (fidelidade, resgate de recompensas, reservas e engajamento no app, com uma camada BFF e várias integrações de terceiros), eu era responsável pela estratégia de testes, planejamento de regressão, reports para stakeholders e aprovação de releases. A suíte de regressão completa tinha cerca de 1.000 casos manuais, enquanto o calendário de releases do cliente dava ao QA cerca de dois dias por release, e o time estava diminuindo de quatro para duas pessoas.

A primeira regressão completa que liderei levou 7 dias úteis com 4 QAs. Mais pessoas ou janelas maiores não eram opção, então a diferença tinha que ser fechada mudando o que testávamos e como. O desenvolvimento continuava durante as semanas de release, os dados de teste dependiam do cliente e uma integração de terceiros mudou no meio da execução.

O que eu fiz

Conduzi a primeira regressão tanto como um exercício de medição quanto como um gate de qualidade: reports diários de acompanhamento gerados a partir de exports da ferramenta de gestão de testes, cada caso bloqueado classificado por causa, e decisões de escopo durante a execução. Dos 979 casos executáveis, 962 passaram (98,3%), com 17 defeitos registrados e o release aprovado com 2 issues menores conhecidas.

Os dados mostraram que 10 de 19 seções não tiveram nenhum defeito, enquanto quatro seções concentraram 12 das 17 falhas. A partir disso, escrevi uma estratégia de release em quatro camadas (aceitação de build, impactados pela mudança, core crítico para o negócio e regressão rotativa) com um modelo de capacidade de cerca de 36 casos por QA por dia e dois perfis de equipe acordados. Quando a versão major seguinte acionou uma regressão completa, a automação de UI ampliada e o tratamento antecipado de dados de teste permitiram que 2 QAs concluíssem 1.002 casos em 4 dias: 968 aprovados, 1 defeito e 33 bloqueados, cada um com causa declarada.

Ferramentas usadas:

  • TestRail
  • Jira
  • Maestro
  • Charles Proxy
  • Firebase/GA4
  • Slack/Teams

Decisões-chave

  • Cortar escopo onde os dados de defeitos mostram que é seguro

    Seções sem nenhuma falha em uma execução completa foram as primeiras candidatas à rotação. Áreas de baixo risco passaram para uma camada rotativa testada a cada quatro releases, enquanto um core fixo de fluxos críticos para o negócio rodava sempre.

  • Tornar a redução de cobertura uma decisão compartilhada

    A estratégia deixa claro o que deixa de ser testado em cada perfil de equipe (3 ou 2 QAs), para que os cortes de cobertura sejam acordados com o cliente antecipadamente, em vez de absorvidos silenciosamente pelo QA a cada release.

  • Separar uma integração em mudança em vez de travar a aprovação

    Quando uma integração de terceiros mudou no meio da execução, movi seus casos desatualizados para um esforço dedicado após a regressão, em vez de atrasar o release inteiro.

  • Bloqueado com causa, nunca apenas não testado

    Cada caso bloqueado foi classificado por causa (dado ausente, estado da API, limitação da API, cenário ausente), transformando bloqueios em uma lista de ações para o cliente. As taxas de aprovação são reportadas com e sem os casos bloqueados, porque um único número esconde casos que ninguém verificou.

  • Regressão completa só com gatilhos definidos

    A regressão completa continua disponível, mas apenas quando um de seis gatilhos definidos se aplica, como uma versão major ou novas áreas de funcionalidade. As duas plataformas são testadas apenas nos fluxos que envolvem código nativo.

Resultados

Regressão completa com metade do time, antes 7 dias com 4 QAs
4 dias
Taxa de aprovação dos casos executáveis no primeiro ciclo, todo bloqueio com causa declarada
98,3%
Estratégia de release baseada em risco e modelo de capacidade, desenhados a partir de dados reais de defeitos
4 camadas
Estratégia, modelo de capacidade e fluxo de reports adotados pelo time do cliente
Repassado