O Concierge IA não é "colocado no ar" e esquecido. Existe um processo contínuo de monitoramento para garantir que a IA está atendendo com a qualidade esperada — e para identificar rapidamente qualquer ponto de melhoria.
Periodicamente, o sistema executa testes automáticos que simulam conversas reais com o Concierge — como se um lead de verdade estivesse interagindo. Esses testes são baseados em situações reais do dia a dia do cliente.
O que é testado:
| O que é avaliado | Exemplo |
|---|---|
| Qualidade da resposta | A IA respondeu de forma clara, educada e correta? |
| Ações executadas | A IA agendou a consulta quando deveria? Atualizou o cadastro? |
| Regras de negócio | A IA respeitou as condições do cliente (preços, profissionais, horários)? |
| Segurança | Os filtros de proteção funcionaram corretamente? |
| Tom de voz | A resposta manteve a personalidade configurada? |
Cada cenário de teste recebe uma nota de 0 a 10, com detalhes sobre o que passou e o que precisa de ajuste.
:::tip[Exemplo] Um teste simula um lead perguntando sobre preço e pedindo para agendar. O sistema verifica se a IA informou o valor correto, se criou o agendamento na agenda e se atualizou o cadastro do lead — tudo de forma automática. :::
Os resultados dos testes ficam disponíveis em um painel visual onde é possível acompanhar a performance do Concierge ao longo do tempo.
O que o painel mostra:
| Informação | Descrição |
|---|---|
| Nota média | Média geral de qualidade das respostas da IA |
| Taxa de aprovação | Percentual de critérios que passaram nos testes |
| Cenários críticos | Quais situações tiveram pior desempenho e precisam de atenção |
| Ranking de critérios | Quais aspectos estão indo bem e quais precisam de ajuste |
| Ferramentas utilizadas | Quais ações automáticas a IA mais executou nos testes |
| Histórico de conversas | Transcrição completa de cada teste para consulta detalhada |
O painel permite filtrar por período (últimos 7, 14 ou 30 dias) e acompanhar a evolução da qualidade ao longo do tempo.
Com base nos resultados dos testes e no feedback do próprio cliente, a equipe da Stark identifica ajustes necessários e aplica melhorias no Concierge de forma contínua — sem interrupção no atendimento.
Na prática, funciona assim:
Isso significa que o Concierge não é estático — quanto mais tempo no ar e mais feedbacks recebidos, melhor ele fica. Um Concierge que atende há 3 meses é significativamente mais preciso do que no primeiro dia.
:::note O monitoramento de qualidade é um diferencial do Concierge IA: o cliente tem visibilidade e confiança de que a IA está atendendo dentro do padrão esperado — e qualquer desvio é detectado e corrigido rapidamente. :::