Melhor IA para Direito Brasileiro: teste prático

O problema

Sou advogado e uso Inteligência Artificial no meu escritório todos os dias. O meu maior desafio para escolher qual IA usar não é a falta de benchmarks (que são aqueles testes e provas padrão que o mercado usa para dar notas às IAs). O problema é que esses testes tradicionais não servem para o meu trabalho. Eles medem como a IA programa códigos de computador, resolve matemática ou faz raciocínio abstrato. Mas nenhum deles mede o que realmente importa em um escritório de advocacia no Brasil: essa IA sabe a diferença entre uma benfeitoria e um fruto civil? Ela vai inventar uma decisão do STJ que não existe e me fazer passar vergonha numa petição?

Quando uma IA inventa uma jurisprudência (uma decisão judicial anterior) em uma peça jurídica, isso não é apenas um “pequeno desvio de precisão”. Isso se chama alucinação — que é quando a IA inventa dados falsos com toda a certeza do mundo. No Direito, isso traz um risco real de punição ética e processual. Um teste genérico de tecnologia não diz nada sobre esse risco. Por isso, eu precisava criar o meu próprio teste.

Montei uma bateria de testes com casos reais (envolvendo Direito de Família, Consumidor e Administrativo) recheados de pegadinhas processuais. Depois, coloquei os quatro modelos de IA que estavam no meu radar — GLM 5.2, GLM 5.1, DeepSeek V4 Pro e Gemini — para resolver as tarefas. Fiz algumas dezenas de rodadas e conferi manualmente cada citação diretamente nos sites do STJ e do STF. Aqui está o resultado.

A metodologia: tolerância zero pra alucinação

Criei o critério de avaliação focado em segurança jurídica, e não apenas em um texto bonito ou bem escrito:

Correção técnica — uso correto da lei aplicável ao caso.
Cadeia argumentativa — qualidade da redação e como as ideias se conectam logicamente.
Identificação dos responsáveis — capacidade de perceber pegadinhas como quem deve ou não estar no processo (litisconsórcio e ilegitimidade passiva).
Ausência de alucinação — se a IA inventasse um número de Recurso Especial (REsp) ou uma Súmula (entendimento consolidado do tribunal), ela tomava nota zero automática no quesito de jurisprudência.

Testei cada modelo em duas configurações:

“Pura”: a IA em seu estado original, sem instruções prévias.
Equipada com “skills”: a IA recebendo um prompt de sistema (um conjunto de regras e instruções iniciais) com a persona Juris-Mestre, focada em exigir fidelidade absoluta às fontes.

O objetivo era entender se colocar essas regras prévias (as skills) realmente muda o jogo ou se é apenas um efeito placebo.

O ranking

Depois de rodar os testes e checar tudo manualmente, o resultado foi este:

Posição	Modelo / config	Pontuação média	Alucinou jurisprudência?
1º	🏆 GLM 5.2 (com skills)	46,7 / 50	Não
2º	GLM 5.1 (com skills)	46,7 / 50	Não (perde no desempate do modelo base)
3º	DeepSeek V4 Pro (com skills)	46,3 / 50	Não
4º	Gemini (com skills)	46,0 / 50	Não
5º	GLM 5.2 (sem skills)	45,7 / 50	Não
8º	DeepSeek V4 Pro (sem skills)	43,2 / 50	Sim (em 1 de 6 rodadas)

Houve um empate técnico no topo entre o GLM 5.2 e o GLM 5.1 (ambos usando skills). O GLM 5.2 venceu no desempate por ser um modelo base mais sólido quando testado sem as instruções extras — ou seja, a skill ajudou, mas ele já era muito bom sozinho.

Onde as IAs tropeçaram — a malícia processual

A parte mais interessante do teste não foi ver o que os modelos sabiam, mas sim onde eles falhavam. Todas as IAs acertaram as leis aplicáveis e entregaram textos muito bem redigidos. Porém, perderam pontos na chamada malícia processual — que é o “saber de prática jurídica”, como identificar exatamente contra quem entrar na Justiça e como se antecipar aos argumentos de defesa do outro lado.

A pegadinha do litisconsórcio (Consumidor). No caso testado, o cliente comprou um notebook com defeito, mas quem colocou o nome dele no SPC foi o banco emissor do cartão, por um erro ao processar o cancelamento. Tanto o GLM quanto o DeepSeek criaram peças muito bem escritas, mas processando apenas a loja pelo nome sujo. Elas esqueceram de incluir o banco no processo (o chamado litisconsórcio passivo, que é juntar todos os causadores do dano no mesmo polo da ação) ou de direcionar o pedido de dano moral para quem realmente negativou o cliente. Ficou uma peça tecnicamente bonita, mas estrategicamente incompleta.

A pegadinha da ilegitimidade passiva (Administrativo). Um servidor público bateu a viatura da polícia, e o Estado negou a indenização ao cidadão alegando que ele deveria processar diretamente o motorista (o servidor). O DeepSeek (mesmo com skills) explicou muito bem que o Estado responde pelos danos (responsabilidade objetiva), mas esqueceu de citar o Tema 940 do STF, que é a regra do Supremo que proíbe processar o motorista diretamente (ilegitimidade passiva do servidor). Faltou à IA se antecipar e derrubar esse argumento da defesa antes mesmo que o Estado o apresentasse.

Essas falhas não significam que a IA seja “burra”. Significam que ela nunca vivenciou a rotina de um tribunal e não aprendeu que o juiz pode extinguir o processo se você não neutralizar as defesas preliminares logo de início. É o tipo de sacada que se aprende na prática, não apenas lendo manuais de treinamento.

O perigo oculto: a alucinação do DeepSeek

O alerta mais sério deste teste vai para o uso do DeepSeek V4 Pro sem skills.

Na primeira rodada do caso de Consumidor, quando a IA foi pressionada a fundamentar o dano moral por nome negativado sem ter essa informação exata na sua base no momento, ela inventou números falsos. Criou citações com cara de verdadeiras, como “AgInt no AREsp 1.xxx/SP” e “AgInt no AREsp n. 1.xxx/UF” — formatos que parecem reais para quem lê, mas cujos processos simplesmente não existem.

Porém, ao ativar as skills de rigor jurídico (o modo Juris-Mestre/Modo Fable), esse comportamento parou. As instruções prévias funcionaram como um freio de mão: forçaram a IA a não chutar quando não sabia a resposta e a declarar “não localizei precedente específico”, em vez de inventar um dado falso.

Para um advogado, a diferença entre apresentar uma petição sem o número do processo e apresentar uma petição com um número inventado pela IA é a diferença entre trabalhar normalmente e sofrer uma punição ética séria.

Veredito

Use skills, sempre. Nunca confie em um modelo “puro” (sem instruções de sistema) para escrever peças jurídicas complexas. Você precisa de um prompt de sistema rigoroso que exija fidelidade total às fontes. O teste provou que isso não é detalhe estético: é o que impede a IA de inventar dados mentirosos.
O campeão. O GLM 5.2 com skills foi o sistema mais seguro, coerente e preciso para o Direito Brasileiro durante os testes, seguido bem de perto pelo GLM 5.1 e pelo DeepSeek.

O que aprendi

A grande lição desse experimento é: uma IA excelente em conhecimentos gerais não é, automaticamente, uma IA excelente em conhecimento prático aplicado. Todos os quatro modelos conheciam as leis. Mas nenhum deles, sozinho, tinha a “malícia” da profissão — saber exatamente quando citar o Tema 940 para travar a defesa do adversário ou quando colocar mais de um réu no processo para o cliente não ficar sem ressarcimento. A skill jurídica ajuda a diminuir essa lacuna, mas não resolve tudo. O papel do advogado humano continua sendo indispensável justamente no que é mais difícil de ensinar a um algoritmo: antecipar o próximo passo do adversário.

Além disso, o teste me ensinou uma regra sobre como avaliar tecnologia: antes de confiar numa IA para uma tarefa séria, eu preciso fazer o meu próprio teste, com os meus casos e as minhas pegadinhas. Os benchmarks públicos da internet diziam qual IA era a “mais inteligente em raciocínio geral”, mas não me diziam nada sobre qual delas poderia me colocar em risco profissional. Só um teste prático, simulando os problemas reais do dia a dia, consegue responder isso.