Da promessa ao resultado: cinco perguntas para avaliar uma solução de IA

A demonstração termina antes da pergunta mais importante

Um assistente recebe três solicitações de compra, organiza os dados e prepara uma comparação em segundos. O resultado impressiona. Mas o comprador ainda precisa saber se ele lida com documentos incompletos, se respeita as permissões de cada equipe e se a informação chega corretamente ao sistema utilizado pela empresa. A demonstração respondeu a uma pergunta limitada: esse caminho pode funcionar nas condições apresentadas?

Para organizar a conversa, propomos cinco perguntas. Trata-se de uma estrutura editorial da THEION, não de uma certificação ou escala oficial. Ela ajuda a evitar que uma evidência de uma etapa seja usada para afirmar a conclusão de outra. O mesmo produto pode estar avançado em uma função e apenas no início em outra.

1. O problema e a promessa estão definidos?

Antes de pedir provas técnicas, determine o que será entregue. No exemplo hipotético das compras, o assistente deverá extrair campos, comparar propostas ou emitir pedidos? Cada verbo descreve uma responsabilidade diferente. Uma proposta que usa apenas expressões como transformar a operação deixa espaço demais para interpretações incompatíveis.

Uma definição útil inclui entradas, saída esperada, usuários, limites e situação em que o trabalho deve ser encaminhado a uma pessoa. Ela também identifica o que fica fora do escopo. Isso permite comparar fornecedores sem tratar uma ferramenta de apoio como equivalente a uma operação integralmente automatizada.

2. O que existe pode ser reproduzido?

Peça para observar uma capacidade específica com entradas representativas. Um vídeo editado é uma apresentação; uma execução acompanhada permite examinar erros, espera e intervenção humana. Nenhuma das duas, sozinha, prova comportamento em todos os casos. O objetivo é entender exatamente qual parte já foi implementada.

No assistente de compras, forneça uma proposta legível e outra com informações ausentes. Veja se o sistema identifica a falta ou preenche por suposição. Registre a versão e as condições do teste. Essa pequena variação costuma revelar mais sobre os limites da solução que repetir o exemplo preparado.

3. O uso pretendido foi avaliado e autorizado?

Funcionar não define quem pode usar nem o que pode alterar. A extração de valores pode ser autorizada enquanto a emissão de pedidos continua dependendo de aprovação. A avaliação deve considerar essa fronteira: quem decide, qual ação é permitida e quais situações precisam bloquear o fluxo.

Peça critérios de aceite definidos antes da demonstração final. Se os critérios forem ajustados apenas para acomodar o resultado obtido, a avaliação perde força. Uma aprovação interna, quando existir, precisa indicar o uso coberto; não deve virar uma autorização genérica para qualquer ação futura.

4. Há evidência de operação e recuperação?

Um piloto acompanhado pode revelar quem atende falhas, quanto tempo uma exceção permanece aberta e como a equipe retorna ao processo anterior. Observe o caminho completo: entrada recebida, saída aceita e registro no destino. Um sistema que anuncia conclusão sem confirmação do destino exige investigação.

Também vale perguntar pelo último problema encontrado e pela mudança feita depois dele. A resposta pode demonstrar capacidade de manutenção, desde que venha com evidência. Ausência declarada de falhas não é, por si, sinal de maturidade; pode refletir pouco uso ou pouca observação.

5. O resultado medido responde à promessa?

Se a promessa era reduzir atraso, mostre o prazo da entrega completa. Se era reduzir retrabalho, observe devoluções e correções. Quantidade de interações com o assistente não substitui essas medidas. Compare condições e explicite fatores externos que possam ter alterado o resultado.

O NIST organiza a gestão de riscos de IA em governar, mapear, medir e gerenciar, como funções contínuas, não como uma sequência de certificação. As cinco perguntas deste artigo aplicam uma preocupação semelhante à conversa de compra: manter afirmações, responsabilidades e evidências conectadas.

A decisão final pode ser contratar um piloto limitado, ampliar uma capacidade já comprovada ou aguardar uma dependência. São decisões melhores quando se sabe qual pergunta continua sem resposta. A autoridade de um fornecedor aparece também na precisão com que ele explica o que ainda não demonstrou.