Melhor IA para Direito Brasileiro: teste prático

O problema

Sou advogado. E uso IA no escritório todo dia. O problema de escolher qual modelo usar não é falta de benchmarks — é que os benchmarks existentes são inúteis pra mim. Eles medem código, matemática, raciocínio abstrato. Nenhum mede a coisa que realmente importa num escritório de advocacia brasileiro: essa IA sabe diferenciar uma benfeitoria de um fruto civil? Vai inventar uma súmula do STJ e me fazer passar vergonha numa petição?

Inventar jurisprudência num petição não é um “erro de precisão”. É risco de sanção ética e processual. Um benchmark genérico não te diz nada sobre esse risco. Precisava de um teste meu.

Por isso montei uma bateria de casos reais (Família, Consumidor, Administrativo) recheados de pegadinhas processuais, e coloquei os quatro modelos que estavam no meu radar — GLM 5.2, GLM 5.1, DeepSeek V4 Pro e Gemini — pra resolver. Algumas dezenas de rodadas, checagem manual de cada citação no site do STJ e STF. Aqui está o que descobri.

A metodologia: tolerância zero pra alucinação

O critério de avaliação foi construído em torno de segurança jurídica, não de fluência:

1. Correção técnica — uso certo da lei aplicável.
2. Cadeia argumentativa — qualidade da redação e do encadeamento.
3. Identificação dos responsáveis — as pegadinhas de litisconsórcio e ilegitimidade passiva.
4. Ausência de alucinação — se o modelo inventasse número de Recurso Especial (REsp) ou Súmula, tomava zero automático no critério de jurisprudência.

Testei cada modelo em duas versões: “pura” (sem instruções de sistema) e equipada com skills (persona Juris-Mestre focada em fidelidade absoluta às fontes). O objetivo era isolar o efeito do prompt de sistema — saber se skill faz diferença ou se é placebo.

O ranking

Depois de rodar e checar manualmente:

Posição	Modelo / config	Pontuação média	Alucinou jurisprudência?
1º	🏆 GLM 5.2 (com skills)	46,7 / 50	Não
2º	GLM 5.1 (com skills)	46,7 / 50	Não (perde no desempate do modelo base)
3º	DeepSeek V4 Pro (com skills)	46,3 / 50	Não
4º	Gemini (com skills)	46,0 / 50	Não
5º	GLM 5.2 (sem skills)	45,7 / 50	Não
8º	DeepSeek V4 Pro (sem skills)	43,2 / 50	Sim (em 1 de 6 rodadas)

Houve empate técnico no topo entre GLM 5.2 e 5.1 com skills. O GLM 5.2 levou por ter se mostrado um modelo base mais sólido quando testado sem amarras — ou seja, a skill ajudou, mas ele já era bom sozinho.

Onde as IAs tropeçaram — a malícia processual

A parte mais reveladora do teste não foi o que os modelos sabiam. Foi o que faltava. Todas acertaram a lei aplicável. Todas entregaram redação fluente. Onde perderam pontos foi em malícia processual — saber em quem bater e como antecipar a defesa.

A pegadinha do litisconsórcio (Consumidor). Cliente comprou notebook com defeito, mas quem o negativou no SPC foi o banco emissor do cartão, por erro de cancelamento. Tanto GLM quanto DeepSeek redigiram peças brilhantes — atacando só a loja pela negativação. Esqueceram de formar litisconsórcio passivo com o banco, ou de direcionar o dano moral pro verdadeiro causador do apontamento. Peça tecnicamente perfeita, estrategicamente manca.

A pegadinha da ilegitimidade passiva (Administrativo). Servidor público bateu a viatura; o Estado negou indenização dizendo que o particular deveria processar o motorista. O DeepSeek (mesmo com skills) defendeu perfeitamente a responsabilidade objetiva do Estado — mas esqueceu de citar o Tema 940 do STF, que decreta a ilegitimidade passiva do servidor (você não pode processar o motorista diretamente). Faltou antecipar e derrubar a tese de defesa antes que o Estado levantasse ela.

Esses erros não são “a IA é burra”. São “a IA nunca pegou uma petição real e não aprendeu que o juiz vai aceitar a preliminar se você não a derrubar primeiro”. É o tipo de coisa que se aprende em cartório, não em treinamento.

O perigo oculto: a alucinação do DeepSeek

O alerta mais forte do benchmark vai pro uso do DeepSeek V4 Pro sem skills.

Na primeira rodada de Consumidor, forçado a embasar dano moral por negativação indevida sem ter a informação exata na base, ele inventou números falsos. Gerou coisas como “AgInt no AREsp 1.xxx/SP” e “AgInt no AREsp n. 1.xxx/UF” — citações plausíveis em formato, inexistentes em conteúdo.

Ao ativar as skills de rigor jurídico (Juris-Mestre/Modo Fable), esse comportamento desapareceu. As instruções de sistema funcionaram como freio: forçaram a IA a não chutar o que não sabia, e a declarar “não localizei precedente específico” em vez de fabricar um.

A diferença entre “peça com número inventado” e “peça sem o número” é a diferença entre sanção e ausência de sanção.

Veredito

1. Use skills, sempre. Nunca confie num modelo “puro” pra redigir peças jurídicas complexas sem um prompt de sistema rigoroso exigindo fidelidade às fontes. O benchmark mostra que a diferença não é cosmética — é a diferença entre alucinar e admitir limite.
2. O campeão. O GLM 5.2 com skills se mostrou o agente mais seguro, coerente e preciso pra Direito Brasileiro no momento do teste, seguido de perto pelo GLM 5.1 e pelo DeepSeek.

O que aprendi

A lição que sobrevive fora deste caso: IA de elite em conhecimento geral não é IA de elite em conhecimento aplicado. Os quatro modelos sabiam a lei. Nenhum dos quatro, sozinho, sabia a malícia — quando citar o Tema 940 pra derrubar preliminar, quando formar litisconsórcio pra não ficar sem remédio. A skill jurídica encurta essa distância, mas não fecha. O que ainda fica do lado do advogado humano é justamente o que é mais difícil de treinar: antecipar o movimento do outro lado antes que ele faça.

O benchmark também me ensinou uma coisa sobre método: antes de confiar numa IA pra algo sério, eu preciso de um teste meu, com caso meu, com pegadinha minha. Os rankings públicos me disseram qual modelo era “melhor em raciocínio”. Disseram zero sobre qual ia me colocar em risco ético. Só um teste meu, com o que eu sei que pode dar errado, responde isso.