Arthur Guttilla Head of Product Marketing, Strattum Com passagens na Amazon Web Services e no Google, Guttilla trabalhou diretamente com fundadores de startups e empresas de capital de risco, compreendendo as necessidades de empresas tecnológicas em estágio inicial na interseção entre tecnologia e negócios.
Em resumo
Um auditor externo pede à área de controles internos a evidência de uma conciliação bancária do último fechamento. Um agente de IA preparou a conciliação cruzando o razão do ERP com os extratos. O auditor quer saber quais registros o agente leu, com qual regra, em nome de quem e quem aprovou o resultado. Sem esse registro, o trabalho é refeito à mão. A auditoria de IA trata dessa pergunta, e a resposta depende de como o contexto chega ao modelo, papel do Company Brain, a camada que conhece a empresa: quais dados existem, onde vivem, como se relacionam e quem pode ver o quê.
Auditoria de IA é a verificação independente de que um sistema de inteligência artificial opera conforme as regras internas, as políticas da empresa e as leis aplicáveis. Quem audita está fora da equipe que construiu o sistema, e a conclusão se apoia em registros que outro avaliador consegue consultar de novo.
O GAO, órgão de controle do Congresso dos Estados Unidos, publicou em 2021 um marco de responsabilização para IA organizado em governança, dados, desempenho e monitoramento, com perguntas para gestores e auditores em cada princípio. O documento registra que as entradas e o funcionamento desses sistemas nem sempre são visíveis.
A primeira camada examina o sistema: quais modelos estão em uso, com quais dados foram configurados, quais controles de acesso existem, quais testes foram feitos antes da produção e se a documentação descreve o que o sistema faz.
A segunda camada examina cada resposta ou ação. Um sistema bem desenhado ainda pode errar em um caso específico, e a auditoria de IA precisa reconstruir esse caso. Para isso, cada execução deixa registrado:
O conjunto desses registros forma a trilha de auditoria, e ela só tem valor quando é gerada no momento da execução. O auditor não tem como verificar uma reconstrução feita semanas depois, com capturas de tela e memória.
Três situações mostram o que está em jogo:
Sem trilha, as três situações travam, e a área refaz à mão um resultado que talvez estivesse correto.
Com modelos de linguagem, a mesma pergunta pode gerar textos diferentes em execuções diferentes, e a reprodução literal nem sempre é possível. O que a auditoria de IA consegue verificar é se a resposta é coerente com o contexto que o modelo recebeu.
Isso exige versionar três elementos: o modelo, que o fornecedor pode atualizar; o prompt e as instruções do agente, que mudam o resultado a cada ajuste de redação; e o dado, porque o contrato consultado em março pode ter recebido um aditivo em abril. Com os três registrados, o avaliador remonta o contexto daquela execução e o compara com a resposta entregue.
A trilha guarda perguntas, contexto e respostas, muitas vezes com dado pessoal ou confidencial. Guardar tudo por tempo indeterminado cria um risco novo, porque o registro de auditoria vira a maior cópia de dados sensíveis da empresa.
Uma prática comum define prazo de retenção por processo, alinhado ao prazo legal ou contratual de prova, e guarda referências aos registros de origem em lugar de cópias integrais sempre que possível. O acesso à própria trilha também precisa de controle.
No Company Brain, o contexto chega ao modelo por uma única camada, e cada consulta servida via MCP registra o que foi entregue. O grafo de conhecimento indica quais registros compõem cada entidade consultada. A ontologia do negócio aponta qual definição foi aplicada a cada termo. A camada semântica registra como a pergunta virou consulta.
A consulta roda com a permissão herdada do sistema de origem e com a identidade de quem perguntou. Cada informação segue com a referência do sistema e do registro de onde saiu. Como os dados permanecem no ambiente do cliente, a trilha também fica sob controle da empresa.
Uma trilha completa mostra quais fontes e definições sustentaram a resposta. Se a fonte estava desatualizada ou a definição estava errada, a trilha registra o erro com precisão e deixa a correção para as pessoas responsáveis.
Por isso a auditoria de IA segue dependendo de revisão humana nos processos de maior consequência, de testes com perguntas de resposta conhecida antes de cada troca de modelo e de um dono para cada definição de negócio.
O ponto de partida prático é um processo que já passa por auditoria e vai usar IA, como a conciliação bancária mensal.
Antes da produção, a área define com a auditoria interna quais evidências aquele processo exige: quais fontes, quais definições, quais aprovações e por quanto tempo guardar cada registro. Essa lista vira requisito do sistema, e cada processo seguinte reaproveita as fontes, as definições e o padrão de registro já validados.