Quanto o nosso detector acerta ao achar dados brasileiros em textos enviados à IA.
Medimos o detector de dados sensíveis do gateway de IA da CyberArmor e ferramentas abertas no mesmo conjunto de teste. Abaixo estão o método, os números e os limites da medição.
O resultado em uma frase
O detector da CyberArmor quase não dá alarme falso: nos 398 casos de teste, nenhum alerta de dado pessoal brasileiro, como CPF ou CNPJ, foi errado (precisão de 1,000 neste conjunto). Em compensação, ele acha cerca de metade dos casos reais (revocação de 0,519). Por isso ele trabalha como uma camada de controle, junto com a política de uso e o acompanhamento do analista.
O que foi medido
Todas as ferramentas foram medidas nos mesmos casos, com a mesma regra de contagem.
- Versão do motor: commit 5a1e62d4 do repositório da plataforma, L1 + L2 (regras e heurísticas), sem modelo de linguagem como juiz. Medição de 15 de outubro de 2026.
- É o mesmo motor que roda hoje no ambiente Sandbox da CyberArmor. O ambiente de produção na nuvem ainda vai entrar no ar e será medido de novo quando entrar.
- Conjunto de teste sintético, versão 1.0.0, gerado com semente fixa: 398 casos de dados pessoais em 16 categorias e 289 casos de injeção de prompt, todos em português do Brasil.
- Só a divisão de teste entra na conta. As divisões de treino e de ajuste existem à parte, e ninguém ajusta regra olhando o teste.
- Comparação: Microsoft Presidio 2.2.364 em três configurações, os modelos abertos ProtectAI deberta-v3 v2 e deepset deberta-v3 injection, e uma expressão regular simples como linha de base.
- Intervalo de confiança de 95% por reamostragem (bootstrap com 1.000 rodadas). Os intervalos ficam no relatório completo.
- Quase-erro é um número que parece documento e não é: boleto, chave de nota fiscal, protocolo, CPF com dígito verificador errado.
Dados pessoais brasileiros
Visão binária: o texto tem ou não tem algum dado pessoal.
| Ferramenta | Precisão | Revocação | F1 | Alarme em quase-erros |
|---|---|---|---|---|
| CyberArmor | 1,000 | 0,519 | 0,683 | 0 de 155 (0%) |
| Presidio, padrão em inglês | 0,610 | 0,819 | 0,699 | 127 de 155 (82%) |
| Presidio com modelo em português | 0,718 | 0,609 | 0,659 | 58 de 155 (37%) |
| Presidio em português + CPF e CNPJ escritos por nós | 0,738 | 0,671 | 0,703 | 58 de 155 (37%) |
| Dado | CyberArmor | Presidio em português + CPF e CNPJ |
|---|---|---|
| CPF | 0,800 | 0,786 |
| CNPJ | 0,963 | 0,783 |
| Cartão de crédito | 1,000 | 0,800 |
| 0,818 | 0,700 | |
| Telefone | 0,600 | 0,394 |
| Nome de pessoa | não detecta | 0,711 |
| Endereço | não detecta | 0,571 |
Injeção de prompt em português
Injeção de prompt é o texto que tenta mudar as instruções da IA, como “ignore as regras anteriores”.
| Ferramenta | Precisão | Revocação | F1 | Falso positivo em textos benignos |
|---|---|---|---|---|
| CyberArmor | 0,909 | 0,316 | 0,469 | 3,8% |
| ProtectAI deberta-v3 v2 | 0,629 | 0,987 | 0,768 | 70,2% |
| deepset deberta-v3 injection | 0,564 | 1,000 | 0,721 | 93,1% |
| Expressão regular simples (linha de base) | 0,760 | 0,481 | 0,589 | 18,3% |
Conteúdo real, sem nada a acusar
O conjunto sintético não mostra como o detector se comporta no dia a dia. Para isso, medimos o falso positivo em conteúdo de verdade.
- 4.331 trechos: código, logs de servidor, textos em português e inglês e frases com números longos que não são documento, como pedido, protocolo e chave de nota fiscal.
- Nos 2.791 trechos de código, logs e textos, o detector alertou em 28 (1,0%). Somando as frases com números longos, foram 35 alertas em 4.331 trechos (0,8%).
- Dos 35 alertas, 19 são endereços de e-mail com formato verdadeiro, como o de mantenedores em notas de versão. Os demais são números que fecham o dígito verificador de CPF ou CNPJ por acaso e trechos de texto que falam de senha ou token.
- Nenhum número longo foi tomado por cartão de crédito: o cartão exige bandeira válida e a conta de verificação.
O que os números não dizem
- A revocação de dados pessoais é de 0,519: cerca de metade dos casos passa sem alerta.
- Precisão de 1,000 vale para este conjunto de teste. Em conteúdo real houve alertas errados, descritos na seção anterior.
- Na injeção de prompt, a revocação é de 0,316. O detector acusa pouco, e acerta quando acusa.
- Nomes de pessoas e endereços não são detectados. O Presidio detecta, com mais alarmes falsos.
- O Presidio em português com CPF e CNPJ teve F1 maior (0,703 contra 0,683).
- O conjunto é sintético. O comportamento em textos da sua empresa pode ser diferente, e o diagnóstico de 30 dias serve para medir isso.
Perguntas frequentes
O que é precisão e o que é revocação?
Precisão é a parte dos alertas que estava certa. Com 1,000 neste conjunto, nenhum alerta de dado pessoal foi errado nos casos de teste. Revocação é a parte dos casos reais que o detector achou: com 0,519, ele achou cerca de metade. O F1 combina as duas numa nota só.
Por que publicar uma revocação de metade?
Porque quem avalia uma ferramenta de segurança precisa do número fraco tanto quanto do forte. O detector foi ajustado para quase não dar alarme falso, e o preço disso é deixar casos passarem. Escondido, esse limite apareceria no primeiro teste do cliente. Publicado, ele orienta como usar o detector.
O Presidio teve F1 maior. Por que não usar o Presidio?
O Presidio, ferramenta aberta da Microsoft, achou mais casos e também deu muito mais alarmes falsos: acusou 58 de 155 números que só parecem documento, como boleto e protocolo, contra nenhum do detector da CyberArmor. Num gateway que observa o trabalho da equipe, alarme falso demais faz o relatório perder valor.
O conjunto de teste é de dados reais?
Não. O conjunto é sintético, gerado com semente fixa, para não usar dado pessoal de ninguém. Por isso medimos também o falso positivo em 4.331 trechos de conteúdo real e benigno, como código, logs e textos em português e inglês. Todas as ferramentas foram medidas no mesmo split de teste.
O detector bloqueia o envio para a IA?
No diagnóstico de uso de IA, não. O gateway fica no modo monitorar por 30 dias: registra o uso e aponta os dados sensíveis, sem interromper o trabalho. O relatório e a política de uso saem desse retrato. O detector é uma camada de controle, que trabalha junto com a política e com o analista.
Converse 30 minutos com um especialista.
Conte o que sua empresa precisa. Você sai da conversa com três prioridades para o seu ambiente.
Prefere escrever? Use o e-mail contato@cyberarmor.com.br.