Anunciamos US$ 3,2M em rodada pré-seed · OneVC · Maya · Norte Ventures Leia →
Voltar ao blog

Seis perguntas de auditoria para fazer a uma plataforma de contexto de IA

Em resumo: Antes de contratar uma plataforma de contexto de IA, empresas de setores regulados deveriam levar seis perguntas para a reunião com o fornecedor: onde ficam o dado e as credenciais, em que momento a permissão é aplicada, se a resposta cita documento e versão, quem acessa o log de consultas, se o dado pode virar treino e como a plataforma detecta contexto desatualizado. As respostas mostram mais sobre governança, conformidade e risco do que qualquer demonstração.

Nas conversas com times de segurança, jurídico e compliance, a avaliação de IA costuma começar pela qualidade da resposta. Na auditoria, as perguntas são por que o agente respondeu aquilo, com base em qual documento, e quem mais poderia ter visto a mesma informação. Uma plataforma de contexto é a camada que conecta os sistemas da empresa e entrega esse conteúdo aos agentes, e é nela que a governança de IA se resolve ou se perde.

Company Brain (cérebro operacional do negócio): camada que conecta os sistemas da empresa uma única vez, organiza dados, memória e conhecimento e entrega esse contexto a qualquer agente de IA, com as permissões de cada pessoa.

Na Strattum, construímos o Company Brain a partir destas seis perguntas.

1. Onde ficam o dado, as credenciais e as chaves?

"No Brasil" é uma resposta incompleta. O comprador precisa saber onde ficam os registros, os índices vetoriais, as credenciais das fontes, as chaves de criptografia e os logs. Muitas plataformas rodam só o conector na nuvem do cliente e processam o restante no ambiente do fornecedor, o que cria um novo operador de dados pessoais para a LGPD. No Company Brain, a plataforma inteira roda na nuvem do cliente.

Log de consultas como dado sensível que também precisa de controle de acesso
O log de consultas também precisa de controle de acesso

2. A permissão é aplicada antes ou depois da recuperação?

Quando o filtro entra depois do ranking, o trecho proibido já foi recuperado e pode influenciar a resposta ou aparecer em um log intermediário. Quando entra antes, o trecho nunca chega ao modelo. Vale perguntar também se a permissão é lida da fonte ou copiada para uma base própria, porque a cópia fica desatualizada quando alguém muda de área.

3. A resposta cita documento, versão e trecho?

Sem versão, o auditor não consegue confirmar se a política citada era a vigente na data da decisão. A citação precisa apontar o parágrafo de origem, e o lineage precisa levar cada atributo de volta à fonte.

4. Quem acessa o log de consultas, e por quanto tempo ele fica guardado?

Toda consulta deveria gerar um registro com quem perguntou, qual contexto recebeu e qual resposta saiu. O log em si contém dado sensível, então a pergunta seguinte é quem tem acesso a ele e onde ele fica armazenado.

5. O dado pode ser usado para treinar modelos?

O contrato precisa responder pelo fornecedor da plataforma e pelo provedor do modelo. A arquitetura ajuda: quando o contexto é montado dentro do tenant, só o trecho necessário segue para o modelo. Na Strattum, dados de clientes nunca são usados para treinar modelos.

Política revogada e política vigente, com versionamento do conhecimento
Versionar o conhecimento evita citar a política revogada

6. Como a plataforma detecta contexto desatualizado ou contraditório?

Um agente que cita uma política revogada gera um problema de conformidade com aparência de resposta correta. A plataforma precisa detectar contradição entre documentos, apontar perguntas recorrentes sem resposta e versionar o conhecimento que entrega.

Escrevi um guia mais longo com estes critérios, aplicados a setores regulados, no site da Strattum: Como avaliar uma plataforma de contexto privado para IA em setores regulados. Para conversar com o time da Strattum sobre uma avaliação, o caminho é strattum.ai/contato.

Receba os próximos artigos sobre governança e segurança de IA