Uma prova de conceito de RAG pode parecer pronta depois de responder corretamente a uma pergunta sobre alguns PDFs. Em uma empresa, o problema começa justamente depois da demonstração: quem pode consultar cada documento, qual versão vale, onde a resposta foi encontrada e o que acontece quando a fonte é insuficiente?
RAG, ou geração aumentada por recuperação, combina busca em conhecimento com geração de linguagem. Ele pode aproximar procedimentos e pessoas, mas não transforma automaticamente arquivos desorganizados em uma fonte confiável.
A qualidade começa antes do vetor
PDF escaneado, planilha, apresentação e documento de texto exigem extrações diferentes. OCR pode trocar caracteres; tabelas perdem relação; cabeçalhos repetidos poluem trechos; um manual antigo pode contradizer a versão atual. Antes de gerar embeddings, o pipeline precisa identificar o tipo real, rejeitar conteúdo perigoso, extrair com limites e preservar localizadores honestos.
Na Uiless, documentos são versionados e associados a hashes do original e da extração. PDF recebe página, planilha recebe aba e apresentação recebe slide. Quando uma página física não existe, o sistema não inventa uma.
Chunking é uma decisão de recuperação
Trechos pequenos aumentam precisão local, mas podem perder condições e exceções. Trechos grandes carregam contexto, porém trazem ruído e custo. Sobreposição, títulos, estrutura e metadados precisam ser avaliados com perguntas reais. Não existe um tamanho universal que resolva todo acervo.
A API de vector stores da OpenAI, por exemplo, permite estratégia automática ou estática de chunking, filtros por atributos, limite de resultados e opções de ranking. A existência desses controles é um lembrete: recuperação precisa ser projetada e medida.
ACL deve filtrar antes da busca
Buscar em todo o acervo e esconder resultados depois é tarde demais. Pontuações, trechos e até a escolha da resposta já podem revelar conhecimento restrito. Empresa, vínculo e ACL precisam limitar o universo antes do cálculo de similaridade.
O isolamento também vale para cache, logs, avaliações e evidências. Um identificador de arquivo sem fronteira de tenant não é suficiente em um produto multiempresa.
Citação precisa levar à fonte usada
Uma resposta empresarial deve indicar documento, versão, localizador e trecho. A citação não é ornamento de confiança: ela permite verificar se a conclusão respeita a regra completa. Quando as fontes autorizadas não sustentam a resposta, o comportamento correto é dizer que falta base ou pedir contexto.
Regra de segurança
RAG pode informar uma decisão. Ele não deve conceder permissão para executar uma ação.
Avalie o sistema, não apenas a resposta bonita
- Conjunto de perguntas reais, casos sem resposta e documentos conflitantes.
- Precisão dos trechos recuperados e fidelidade das citações.
- Testes de isolamento entre empresas, papéis e documentos.
- Resistência a instruções maliciosas contidas nos arquivos.
- Tempo, custo, taxa de recusa correta e comportamento após nova versão.
- Reindexação, revogação e descarte verificável.
Documentos mudam depois da implantação. A operação precisa saber quando uma nova versão foi processada, quais trechos deixaram de valer e se respostas anteriores continuam reproduzíveis. Sem esse ciclo, o índice pode permanecer tecnicamente disponível e operacionalmente desatualizado.
O perfil de IA generativa do NIST recomenda tratar risco ao longo do ciclo de vida, e não como revisão final. Para conectar conhecimento e ação com responsabilidade, veja como limitar agentes na operação e por que toda execução precisa deixar evidência.
O que a pesquisa acrescenta
O NIST IR 8579 documenta um chatbot interno com RAG e aborda prompt injection, alucinação, exposição de dados e acesso não autorizado. Na avaliação, o Microsoft Architecture Center recomenda combinar groundedness, completude, utilização, relevância e correção.
Exemplo operacional
Em um cenário composto, duas versões de uma política contêm prazos diferentes. O sistema filtra empresa e acesso, recupera somente a vigente, cita página e data e sinaliza conflito quando o escopo local não está claro. Sem fonte suficiente, recusa. Fluência nunca substitui validade.
Como medir se houve valor
Separe qualidade de ingestão, recuperação, resposta e citação. Teste perguntas sem resposta, conflito, documento antigo, tabela e usuário sem acesso. Acompanhe regressões quando mudar OCR, chunking, embedding, ranking, prompt ou modelo.
Como a Uiless ajuda
A Uiless preserva versão, hash e localizador de documentos, aplica tenant e ACL antes da busca e pode recusar quando o acervo não sustenta a resposta. Conhecimento e ferramentas permanecem separados, evitando que um PDF se transforme em autorização operacional.
Escolha a arquitetura em RAG, busca ou fine-tuning.
