Embeddings: o que são e como funciona a busca vetorial

Em resumo

Embeddings são vetores numéricos gerados por um modelo para que conteúdos de sentido parecido fiquem próximos no espaço vetorial.
A busca vetorial converte a pergunta com o mesmo modelo, mede a similaridade de cosseno e usa índices de vizinhos mais próximos aproximados para responder rápido.
Negação, números, datas, identificadores, permissões e relações entre registros pedem estruturas próprias, como filtros, controle de acesso e grafo.
No Company Brain, os vetores são uma ferramenta da camada semântica e da resolução de entidades, ao lado do grafo de conhecimento e da ontologia.

Um atendente procura na base de conhecimento por cobrança em duplicidade e não encontra nada. O artigo que resolve o caso existe e se chama pagamento lançado duas vezes. A busca por palavra-chave falha porque as duas expressões quase não têm palavras em comum. Os embeddings resolvem esse tipo de desencontro ao representar o sentido do texto em forma numérica, e são a base da busca vetorial. Eles têm lugar no Company Brain, a camada que conhece a empresa: quais dados existem, onde vivem, como se relacionam e quem pode ver o quê.

Embeddings representam o sentido de um conteúdo como uma lista de números

Um embedding é um vetor, uma lista longa de números, gerado por um modelo treinado para que conteúdos de sentido parecido recebam vetores parecidos. O conteúdo pode ser uma frase, um documento inteiro, uma imagem ou um registro descrito por seus atributos, como um produto com nome, categoria e descrição.

A técnica moderna ganhou impulso em 2013, com o artigo de pesquisa que propôs arquiteturas para aprender representações vetoriais de palavras a partir de grandes volumes de texto e deu origem ao word2vec. Os modelos atuais aplicam a mesma lógica a trechos inteiros.

Proximidade no espaço vetorial indica semelhança de sentido

Cada vetor pode ser lido como um ponto em um espaço com centenas ou milhares de dimensões. Textos sobre frete ficam em uma região, textos sobre férias em outra, e cobrança em duplicidade fica perto de pagamento lançado duas vezes.

A medida mais usada para comparar dois vetores é a similaridade de cosseno. Ela observa o ângulo entre eles: quanto menor o ângulo, mais próximos os sentidos.

A busca vetorial compara a pergunta com uma base de vetores já indexada

O processo tem quatro etapas:

indexação: cada documento, trecho ou registro passa pelo modelo, e o vetor resultante é gravado com metadados como origem e data;
consulta: a pergunta é convertida pelo mesmo modelo, porque vetores de modelos diferentes não são comparáveis;
comparação: o sistema calcula a similaridade entre o vetor da pergunta e os vetores indexados;
recuperação: os itens mais próximos voltam ordenados por semelhança.

Comparar a pergunta com cada vetor fica lento quando a base é grande. Por isso, os sistemas usam índices de vizinhos mais próximos aproximados, que examinam apenas as regiões mais promissoras do espaço. A busca aceita uma pequena perda de precisão em troca de respostas rápidas.

O banco de vetores é o sistema que guarda essas representações, mantém os índices aproximados e permite filtrar o resultado por metadados.

Como funciona a busca vetorial com embeddings: indexação, consulta, similaridade de cosseno e vizinhos mais próximos — A busca vetorial compara o vetor da pergunta com os embeddings indexados

Embeddings funcionam bem quando a pergunta é sobre sentido

As aplicações mais sólidas exploram a proximidade de significado:

Busca semântica: encontra o conteúdo certo mesmo quando a pergunta usa outras palavras, como no caso da cobrança em duplicidade.
Agrupamento: reúne chamados pelo assunto real, independentemente da categoria escolhida por quem abriu o chamado.
Deduplicação: aponta cadastros de produto ou de fornecedor com descrições quase iguais, candidatos a revisão.
Recomendação: sugere artigos, produtos ou casos parecidos com o que está em análise.

Negação, números, identificadores e permissões ficam fora dos embeddings

Um vetor captura o assunto e o tom de um conteúdo. Detalhes que mudam o fato e preservam o assunto pesam pouco nele:

Negação: uma cláusula que prevê multa por rescisão e outra que isenta a multa geram vetores muito próximos.
Números e datas: um pedido com um zero a mais no valor, ou com vencimento em outro trimestre, ocupa praticamente o mesmo lugar no espaço.
Identificadores: códigos de pedido que diferem em um dígito geram vetores quase idênticos, e a correspondência exata depende de busca por chave.
Permissões: o vetor registra o sentido do conteúdo e nada sobre quem pode vê-lo.
Relações entre registros: o vetor de um chamado registra o assunto dele, e o vínculo com o cliente, o contrato e o pedido fica em outra estrutura.

O que os embeddings representam bem e o que pede outra estrutura: negação, números, identificadores, permissões e relações — Os embeddings capturam o assunto, e detalhes exatos pedem filtros, controle de acesso e grafo

Cada troca de modelo de embeddings exige reprocessar a base inteira

O custo de uma base vetorial aparece em três momentos. O primeiro é a indexação inicial, em que cada item passa pelo modelo. O segundo é a atualização, porque cada versão nova de um documento ou registro precisa de um vetor novo.

O terceiro é a troca de modelo. Vetores de modelos diferentes ocupam espaços diferentes e não podem ser comparados. Adotar um modelo de embeddings mais preciso significa reprocessar todo o acervo, recalcular índices e revalidar a busca. Bases espalhadas por vários projetos multiplicam esse custo.

No Company Brain, os embeddings trabalham ao lado do grafo e da ontologia

No Company Brain, as representações vetoriais são uma das ferramentas da camada semântica. Quando a pergunta chega em linguagem natural, os vetores ajudam a ligar as palavras de quem perguntou aos termos da ontologia do negócio. Cobrança em duplicidade chega à categoria de chamado certa sem coincidência de palavras.

Os vetores também apoiam a resolução de entidades. Eles sugerem cadastros candidatos a representar o mesmo fornecedor ou o mesmo produto, e a decisão final fica com regras determinísticas e com revisão humana nos casos ambíguos.

O restante fica com estruturas exatas. O grafo de conhecimento guarda as relações entre registros, a ontologia define o que cada termo significa e a permissão é herdada do sistema de origem. O modelo recebe via MCP apenas o recorte que a pergunta exige, com a fonte de cada item, e o prompt menor reduz o custo por resposta. Como a base vetorial é mantida em um lugar só, a troca do modelo de embeddings acontece uma vez para todos os casos de uso.

Embeddings na camada semântica do Company Brain, ao lado do grafo de conhecimento e da ontologia — No Company Brain, os embeddings ligam a linguagem da pergunta ao grafo e à ontologia

Um bom primeiro uso de embeddings está na base com vocabulário mais variado

O ponto de partida prático é uma base de texto em que as pessoas procuram a mesma coisa com palavras diferentes, como a base de conhecimento do suporte. O registro das buscas sem resultado mostra onde a busca semântica tem mais a acrescentar.

Desde o primeiro índice, cada vetor deve ser gravado com a fonte, a versão do conteúdo, a regra de acesso de origem e o nome do modelo que o gerou. Esses metadados permitem filtrar por permissão, atualizar apenas o que mudou e planejar a próxima troca de modelo com o custo conhecido.