Anunciamos US$ 3,2M em rodada pré-seed · OneVC · Maya · Norte Ventures Leia →
Voltar ao blog

Catálogo de dados:
o que é e o que falta para servir a IA

Em resumo

Uma engenheira de dados precisa montar um relatório de devoluções e encontra no data warehouse quatro tabelas com nomes parecidos: pedidos, pedidos_final, pedidos_novo e pedidos_bkp. Ela não sabe qual é atualizada, quem mantém cada uma nem se alguma contém dado pessoal. O catálogo de dados existe para responder essas perguntas. Ele também é uma fonte valiosa para projetos de IA e um dos pontos de partida do Company Brain, a camada que conhece a empresa: quais dados existem, onde vivem, como se relacionam e quem pode ver o quê.

O catálogo de dados é o inventário dos ativos com seus metadados

Um catálogo de dados lista tabelas, visões, relatórios, arquivos e pipelines da empresa e registra, para cada ativo, as informações que permitem usá-lo com segurança:

  • Descrição: o que o ativo contém e para que serve;
  • Dono: a pessoa ou o time que responde por ele;
  • Esquema: colunas, tipos e chaves;
  • Classificação de sensibilidade: se há dado pessoal, financeiro ou confidencial;
  • Linhagem: de onde o dado vem e para onde vai;
  • Qualidade: testes, frequência de atualização e incidentes;
  • Uso: quem consulta e com que frequência.

A estrutura tem padrão aberto. O W3C mantém o DCAT, vocabulário para descrever conjuntos de dados e serviços em catálogos publicados na web, cuja versão 3 virou recomendação em 2024. Catálogos corporativos aplicam a mesma lógica dentro da empresa.

Analistas e engenheiros de dados são o público original

O catálogo foi desenhado para pessoas que procuram a tabela confiável. Uma analista pesquisa por um termo, lê a descrição, confere a data da última atualização e, na dúvida, escreve para o dono. O julgamento sobre usar ou não aquele ativo continua com ela.

Essa origem explica o formato. O catálogo descreve conjuntos de dados em texto e em campos estruturados, para leitura humana e para busca. Parte do conteúdo é coletada automaticamente por conectores que leem esquemas, consultas e logs de execução. A outra parte, como descrições e definições de negócio, é escrita por pessoas, e é ela que mais envelhece.

As funções típicas vão da descoberta à classificação para LGPD

  • Descoberta: busca por nome, termo ou dono, com indicação da tabela certificada.
  • Glossário de negócio: definições de termos como devolução ou ticket médio, ligadas às colunas que os calculam.
  • Linhagem: o caminho do dado da origem ao relatório, usado para análise de impacto.
  • Classificação para LGPD: marcação das colunas com dado pessoal, base do mapeamento exigido pela lei.
  • Governança: políticas, fluxos de pedido de acesso e certificação de ativos.
Metadados registrados em um catálogo de dados para cada tabela
Cada ativo do catálogo de dados carrega descrição, dono, esquema, sensibilidade, linhagem, qualidade e uso

Dono, classificação e definição do catálogo de dados já ajudam a IA

Parte do que o catálogo registra é útil para agentes de IA sem nenhuma adaptação. O dono indica a quem recorrer quando uma resposta parece errada. A classificação de sensibilidade sinaliza quais colunas exigem cuidado antes de chegar a um modelo. As definições do glossário orientam a interpretação de termos de negócio, e a certificação indica qual das quatro tabelas de pedidos usar.

O agente precisa de registros, relações e permissão no momento da pergunta

O catálogo descreve tabelas. Um agente que responde se o pedido de um cliente foi entregue precisa trabalhar no nível do registro. Para servir agentes, o catálogo de dados precisa ser complementado com quatro elementos:

  • o registro específico, com o valor atual de cada campo;
  • a relação entre registros de sistemas diferentes, como o pedido no ERP ligado à nota fiscal e ao chamado no helpdesk;
  • a permissão aplicada por pessoa no momento da pergunta, linha a linha;
  • a entrega por um protocolo que o agente consome, como o MCP.

As políticas de acesso do catálogo costumam operar no nível da tabela, e definem quem pode solicitar acesso a um conjunto de dados. O agente precisa de um filtro aplicado a cada consulta, em nome de quem perguntou, com o mesmo recorte que essa pessoa tem no sistema de origem.

Diferença entre o que o catálogo de dados descreve e o que um agente de IA precisa
O catálogo de dados descreve a tabela, e o agente precisa do registro com relação e permissão

O Company Brain reaproveita o catálogo de dados existente

Uma empresa que já mantém um catálogo de dados tem parte do trabalho feita. O Company Brain importa descrições, donos, classificações e termos do glossário e os usa como ponto de partida. O glossário alimenta a ontologia do negócio. A linhagem reforça a rastreabilidade de cada resposta. A classificação complementa as regras de acesso, com a permissão herdada do sistema de origem.

A partir daí, o grafo de conhecimento liga os registros entre sistemas, a camada semântica traduz a pergunta para a consulta certa e o recorte é servido ao modelo via MCP. O projeto de IA começa pelo que o time de dados já documentou, e o primeiro caso de uso chega antes à produção.

Company Brain reaproveitando o catálogo de dados como fonte de metadados
O Company Brain parte dos metadados que o catálogo de dados já organizou

Um catálogo desatualizado vira fonte oficial de erro

Quando a descrição diz que a tabela é atualizada todo dia e o processo de carga parou há meses, uma analista atenta percebe pela data do último registro. Um agente que consome esse metadado repete a informação com a autoridade de fonte oficial, e o erro passa a circular em respostas que citam o catálogo de dados como origem.

Por isso, reaproveitar o catálogo exige metadados com dono e data de revisão, coleta automática do que pode ser coletado, como esquema, linhagem e uso, e revisão humana das definições de negócio.

O ponto de partida é cruzar o catálogo com as perguntas reais

O primeiro passo é reunir as perguntas do primeiro caso de uso de IA e listar as tabelas e os termos que elas tocam. Em seguida, conferir no catálogo de dados se cada ativo tem dono, definição atual e classificação. As lacunas mostram o trabalho que vem antes, e o que está completo entra no Company Brain como base.

Receba os próximos artigos sobre Company Brain