Sistemas de Recomendação em Produção com LSH Forest, MinHash e Cache LRU Serverless (latência de 200ms)
Quando falamos de Inteligência Artificial hoje, quase toda a atenção vai para LLMs. Mas em produtos de alto volume — como e-commerce, delivery e plataformas de saúde — Sistemas de Recomendação Clássicos continuam sendo a espinha dorsal da personalização em larga escala.
Durante 12 meses de pesquisa e extensão na Universidade Estadual de Feira de Santana (UEFS), sob orientação do Prof. Dr. João Batista da Rocha Junior, projetei e coloquei em produção o módulo de recomendação do LogicFarma (plataforma SaaS da Farmácia Universitária com mais de 4.700 operações registradas, 666 históricos clínicos avaliados e 1.060 medicamentos).
O desafio de engenharia era claro: como recomendar procedimentos e consultas personalizadas para centenas de pacientes em tempo real e em disparos em lote (e-mail/WhatsApp), rodando sobre funções Serverless com limites rígidos de memória e tempo de execução?
1. O Problema de Escala da Filtragem Colaborativa Tradicional
Na Filtragem Colaborativa Baseada no Usuário (User-Based Collaborative Filtering), para recomendar itens ao usuário u_i, precisamos encontrar os k usuários mais similares a ele usando a Similaridade de Jaccard:
J(A, B) = |A ∩ B| / |A ∪ B|
Calcular J(A, B) exatamente contra todos os usuários tem custo O(N * M) por consulta. Em disparos em lote de campanhas de saúde para centenas de pacientes simultaneamente, a busca exata estoura facilmente o timeout da função Serverless.
2. MinHash (l = 200) + LSH Forest (k = 20)
Para transformar uma busca linear em sublinear sem perder precisão relevante, implementamos a arquitetura proposta por Rocha-Junior et al. (2025) apoiada em dois pilares probabilísticos:
- Assinaturas MinHash (
l = 200permutações): cada conjunto de procedimentos e consultas já realizados pelo paciente é comprimido em um vetor de tamanho fixol = 200usando hashes universais sobre o primo de Mersenne2^61 - 1e semente determinística. A probabilidade de colisão em cada posição estima diretamente a similaridade de Jaccard com erro padrão aproximado de1 / sqrt(200) ≈ 0,07. - LSH Forest (Bawa et al., WWW 2005): em vez do LSH tradicional (que exige calibrar manualmente o número de buckets e o limiar de similaridade), utilizamos uma floresta de árvores de prefixos auto-ajustável (
MinHashLSHForest), consultandok_build = 80vizinhos na indexação ek_query = 20vizinhos em tempo real.
3. Adaptação do E-commerce para o Domínio Clínico
No modelo original de e-commerce, as interações possuem pesos graduados (visited = 1, cart_added = 4, bought = 8). No domínio farmacêutico, a interação é estritamente binária (o paciente realizou ou não o procedimento/consulta). Fizemos três adaptações de domínio:
- Unificação de pesos por co-ocorrência: cada item é codificado como
"Nome|Categoria"(ex.:"Glicemia|Procedimento","Cefaleia|Consulta"), e o score dos itens candidatos nosk = 20vizinhos mais próximos é dado pela frequência de co-ocorrência nos vizinhos para itens ainda inéditos no histórico do paciente:
score(p) = soma sobre u_j em NN(u_i) de I(p in D[u_j] e p not in D[u_i])
- Filtro de elegibilidade e outliers: apenas perfis com
min_items = 2atémax_items = 100entram no índice LSH Forest. - Filtro determinístico por restrição clínica de gênero: consultas exclusivas ao público feminino (como
"Cólica Menstrual") são filtradas tanto na saída do LSH quanto na pré-computação do ranking de fallback masculino (GLOBAL_MASCULINO).
4. Arquitetura Memory-First com Cache LRU e Batch Inference
Como a aplicação principal rodava em Next.js / TypeScript e a biblioteca de referência acadêmica para LSH (datasketch) estava em Python, separamos o motor de recomendação em funções Serverless Python integradas ao MongoDB.
Para evitar ler e desserializar o índice do banco a cada chamada, desenhamos uma arquitetura Memory-First:
[Cron Mensal Python] ---> Constrói LSH Forest (l=200) ---> Serializa blobs no MongoDB
|
[Next.js Top Tags] ---> POST /api/lsh/batch (até 300 pac.) ---> Cache LRU em RAM (50 farmácias)
- Cold Start (~2 a 3s): carrega os pickle blobs (
forestBlob,minhashesBlob,fallbacksBlob,itemsByPatientBlob) do MongoDB e hidrata o container. - Warm Start (~0,2 a 0,3s): o Cache LRU em RAM responde diretamente da memória da função Serverless, sem tocar no banco.
- Endpoint em Lote (
/api/lsh/batch): quando o farmacêutico dispara comunicados com Top Tags (#Top3ProcedimentosRec,#Top3ConsultasRec), o módulorecommendationTagResolver.tsagrupa até 300 pacientes em uma única chamada HTTP POST, carregando o cache da farmácia uma só vez.
5. Degradação Graciosa em 4 Níveis (Zero Falha no Disparo)
Em um sistema real, o algoritmo de recomendação nunca pode derrubar o fluxo principal de comunicação (seja por cold start de um paciente novo sem histórico, seja por timeout de rede). Implementamos 4 níveis de degradação:
- LSH Completo (
lsh): os 20 vizinhos do LSH Forest preenchem todas asksugestões pedidas. - LSH Parcial + Suplementação (
lsh_partial): quando os vizinhos têm pouca variedade, o sistema completa as vagas faltantes com o Fallback Global segmentado por gênero (GLOBAL_FEMININOouGLOBAL_MASCULINO). - Fallback de Cold Start (
fallback): paciente recém-cadastrado (sem histórico) recebe imediatamente o ranking global segmentado pré-computado em memória, ou via leitura direta da coleçãorecomendacoesMensais. - Fail-safe de Timeout (30s): se a API Python falhar, as Top Tags degradam para string vazia e a mensagem transacional segue normalmente.
Em produção na Farmácia Universitária da UEFS, o indexador processou 666 históricos de pacientes em 4 unidades, indexando 353 perfis elegíveis e 1.978 registros clínicos em menos de 1,7 segundo.
Links relacionados
- Código de referência e Model Card no Hugging Face: huggingface.co/TheAndr3/lsh-forest-clinical-recommender
- Artigo no Dev.to: dev.to/theandr3
- GitHub: github.com/TheAndr3