Ajuste, métricas e governança de modelos

Um sistema de monitoramento que foi bem projetado no lançamento perde a adequação em poucos meses: os produtos mudam, os clientes mudam, os criminosos se adaptam, e os limites definidos com base em suposições podem inundar a fila ou deixar atividades passarem despercebidas. Ajuste, métricas e governança de modelos são a forma de uma empresa demonstrar que seu monitoramento continua adequado aos riscos. Também é nesses aspectos que os supervisores procuram evidências de que as decisões de elevar um limite ou desativar uma regra foram tomadas com base em dados, e não para economizar tempo da equipe.

Medição de um programa de monitoramento

As métricas descrevem tanto a eficiência quanto a eficácia. Os termos são usados de forma imprecisa no setor, por isso uma empresa deve definir cada um deles em seus procedimentos.

Observe que, na prática de AML, "taxa de falsos positivos" geralmente significa a parcela de alertas encerrados como não suspeitos, o que difere da definição estatística. A revocação é a métrica mais difícil porque exige saber o que não foi detectado. Conjuntos de referência úteis incluem atividades suspeitas identificadas fora do monitoramento (encaminhamentos internos, solicitações de órgãos de aplicação da lei, reclamações de fraude, constatações de QA) e os resultados dos testes abaixo do limite.

A Declaração sobre Monitoramento Eficaz de Atividades Suspeitas do Wolfsberg Group (Parte I, julho de 2024) argumenta que os programas devem ser avaliados pela utilidade de seus resultados para as autoridades, e não pelo volume de alertas e comunicações, e recomenda analisar falsos negativos, usar o feedback das unidades de inteligência financeira sobre a qualidade das comunicações e, quando houver pouco feedback, usar indicadores indiretos, como comunicações em áreas prioritárias.

Uma consulta que produz a tabela básica de produtividade por cenário:

-- Produtividade de cada cenário durante um trimestre
SELECT scenario_id,
       COUNT(*) AS alerts,
       SUM(CASE WHEN outcome IN ('ESCALATED', 'REPORTED') THEN 1 ELSE 0 END) AS escalated,
       SUM(CASE WHEN outcome = 'REPORTED' THEN 1 ELSE 0 END) AS reported,
       ROUND(SUM(CASE WHEN outcome = 'REPORTED' THEN 1 ELSE 0 END) * 1.0
             / COUNT(*), 3) AS conversion_rate,
       ROUND(AVG(minutes_spent) / 60.0, 1) AS avg_hours_per_alert
FROM alerts
WHERE created_at >= DATE '2026-07-01' AND created_at < DATE '2026-10-01'
GROUP BY scenario_id
ORDER BY conversion_rate ASC;

A consulta contabiliza os alertas por cenário no trimestre, conta aqueles que foram escalonados (um alerta que depois foi comunicado também foi escalonado, portanto os dois resultados são incluídos) e aqueles que foram comunicados, e divide para obter uma taxa de conversão; multiplicar por 1.0 evita a divisão inteira em mecanismos que descartam a parte decimal. A ordenação pela conversão coloca primeiro os cenários menos produtivos. Em um conjunto de teste, um cenário de estruturação gerou 900 alertas e 2 comunicações (0,002), enquanto um cenário de exposição a mixer gerou 120 alertas e 15 comunicações (0,125). O cenário de estruturação é candidato a revisão, mas uma conversão baixa, por si só, não justifica desativá-lo: ele pode cobrir um risco prioritário, e seus alertas podem apoiar outros casos. Esse julgamento e as evidências que o sustentam devem ser registrados.

Testes acima e abaixo do limite

O teste acima do limite (ATL) amostra alertas logo acima de um limite e avalia se são produtivos. Se os alertas na faixa mais baixa acima do limite quase nunca levam a escalonamento, o limite pode ser elevado.

O teste abaixo do limite (BTL) reduz temporariamente o limite em um ambiente de teste, amostra os eventos que teriam gerado alertas logo abaixo dele e solicita que investigadores os analisem como se fossem alertas reais. Se a amostra contiver atividades que teriam sido escalonadas, o limite está alto demais.

Um exemplo prático. Uma regra de entrada e saída rápidas é acionada por depósitos de USD 5.000 ou mais. Para o teste BTL, a equipe executa a regra com USD 4.000 usando três meses de histórico, o que gera 300 eventos extras. Os investigadores analisam uma amostra aleatória de 60. Se nenhum deles tivesse sido escalonado, a equipe mantém o limite e registra o resultado. Se cinco tivessem sido escalonados, cerca de 8% da amostra, o limite é reduzido ou o cenário é reformulado, por exemplo, com a adição de uma condição de perfil, e a carga de trabalho extra é planejada.

Boas práticas para ambos os testes: definir as faixas e os tamanhos das amostras antes de analisar os resultados, usar, sempre que possível, investigadores que não saibam quais eventos são eventos de teste, guardar as amostras e as decisões, e fazer com que a alteração seja aprovada por alguém diferente de quem a propôs. O Wolfsberg observa que pequenas reduções de limite provavelmente não melhoram a eficácia por si só; reformular o cenário ou acrescentar contexto costuma ter um impacto maior.

Avaliação de cobertura

Ajustar uma regra não diz nada sobre os riscos que nenhuma regra aborda. Uma avaliação de cobertura mapeia cada tipologia da avaliação de risco de toda a empresa e de fontes como os Indicadores de Alerta Vermelho do FATF aos controles que a detectam.

As lacunas são registradas com um responsável, um prazo e medidas provisórias, como uma revisão manual mensal. Novos produtos, novas blockchains e novas tipologias devem desencadear uma nova avaliação antes do lançamento.

Validação e governança de modelos

Regras, modelos de pontuação e feeds de análise de dados são todos modelos no sentido de governança: eles transformam dados em decisões com base em suposições. Uma estrutura de governança normalmente inclui:

• um inventário de modelos que liste todos os cenários e modelos, sua finalidade, seu responsável, seus parâmetros e suas fontes de dados;
• documentação do projeto, da segmentação, da justificativa dos limites e das limitações conhecidas;
• controle de alterações, para que nenhum parâmetro seja alterado sem testes, aprovação e registro;
• validação independente que abranja a solidez conceitual (a lógica é adequada à tipologia?), a integridade dos dados (os dados de entrada são completos e corretos?) e os resultados (o modelo detecta o que deveria?);
• revisão periódica, pelo menos anual e após alterações relevantes.

A declaração da Parte II do Wolfsberg, Transição para a inovação (agosto de 2025), argumenta que os modelos de crimes financeiros devem ter uma governança proporcional aos seus riscos, ponderando o risco de um novo modelo imperfeito em relação ao risco de manter um modelo antigo ineficaz, e favorece testes com dados históricos em vez de longos períodos de execução paralela.

Aprendizado de máquina e explicabilidade

Os modelos de aprendizado de máquina aparecem em três funções: modelos supervisionados, que pontuam os alertas de acordo com a probabilidade de serem produtivos; modelos não supervisionados, que encontram anomalias ou comportamentos incomuns em relação a pares; e modelos de grafos, que identificam redes. O relatório do FATF Oportunidades e desafios das novas tecnologias para AML/CFT (julho de 2021) observa que essas ferramentas podem melhorar a velocidade e a qualidade do monitoramento, mas as empresas continuam responsáveis por compreendê-las, e os supervisores precisam conseguir entender como elas funcionam.

Riscos específicos exigem controles:

• Viés de rotulagem. Os modelos supervisionados aprendem com decisões anteriores, portanto reproduzem os pontos cegos do passado. É essencial testar a revocação com conjuntos de referência independentes.
• Desvio. Comportamentos e tipologias mudam; o desempenho deve ser monitorado e os modelos devem ser retreinados de acordo com um cronograma.
• Explicabilidade. Cada alerta precisa apresentar motivos que um investigador possa usar ("depósito 18 vezes maior que o volume mensal esperado; dispositivo compartilhado com duas contas sinalizadas"), e o modelo como um todo precisa ter uma descrição que um validador e um supervisor consigam acompanhar.
• Supressão. Um modelo usado para encerrar automaticamente alertas com pontuação baixa é um tomador de decisões; seus limites precisam dos mesmos testes ATL e BTL que as regras.

Projetos híbridos, com regras para tipologias conhecidas e modelos para priorização e descoberta, são comuns e mais fáceis de defender.

Qualidade dos dados e gestão do acúmulo

Todas as métricas acima estão erradas se os dados estiverem errados. Verificações regulares devem confirmar que todas as transferências estão associadas a clientes, que há preços para todos os ativos, que as chamadas de análise de dados foram concluídas com sucesso e que o volume de alertas não caiu repentinamente devido à falha de um feed. Conciliar a contagem de transações do sistema de monitoramento com o livro-razão é um controle simples e eficaz.

Um acúmulo se forma quando os alertas chegam mais rápido do que são encerrados. As respostas devem ser baseadas no risco: priorizar alertas de alta gravidade e aqueles cujos fundos ainda estejam na plataforma, acrescentar capacidade com profissionais treinados, encontrar a causa raiz (uma regra nova, um erro nos dados, um pico de crescimento) e comunicar a situação à alta administração. Encerrar em massa alertas antigos sem revisão ou elevar limites simplesmente para reduzir o volume são falhas repetidamente apontadas por supervisores e em medidas de execução. Qualquer decisão em massa sobre alertas exige análise, aprovação e registro.

Foco no exame: definições das taxas de falsos positivos, escalonamento, conversão e revocação, e por que a revocação exige um conjunto de referência; a ênfase do Wolfsberg, em julho de 2024, em resultados úteis em vez de volumes; interpretação de uma tabela de produtividade de cenários e por que uma conversão baixa, por si só, não justifica desativar uma regra; testes acima e abaixo do limite, com um exemplo prático; avaliação de cobertura e registro de lacunas; inventário de modelos, controle de alterações e validação independente; riscos do aprendizado de máquina (viés de rotulagem, desvio, explicabilidade, supressão); verificações de qualidade dos dados e gestão do acúmulo baseada em riscos.