Atividade 01

• OAB Bench: Questões dissertativas da 2ª fase da OAB, com enunciado, subitens e
  guidelines de correção (benchmark da Maritaca AI)
• OAB Exams: Questões objetivas da 1ª fase da OAB (provas de 2010 a 2018), com
  4 alternativas e gabarito oficial (dataset de Eduardo Garcia)

O trabalho foi dividido em 4 etapas executadas individualmente:

1. Curadoria e classificação criativa

   • Nível de dificuldade (3 níveis cognitivos)
   • Área de especialidade jurídica
   • Legislação base de referência

2. Inferência com LLMs

   • Cada membro selecionou 3 modelos de linguagem
   • Submissão das questões abertas e objetivas aos modelos

3. Avaliação automática

   • Métricas automáticas para comparar as respostas geradas

A classificação foi baseada no tipo de operação cognitiva exigida pela questão, não no tamanho do enunciado.

Legislação base

Identifica a principal referência normativa associada à questão:

• Ex: Constituição Federal, Art. 5º, Código Penal, Art. 121, Lei nº 14.133/2021

Área de expertise

Identifica a área do direito relacionada à questão:

• Ex: Direito Constitucional, Direito Administrativo, Direito Penal

Exemplo de saída da curadoria

{
  "difficulty_question": 2,
  "basic_legislation": "Constituição Federal, Art. 71, III",
  "area_expertise": "Direito Administrativo"
}

A curadoria foi realizada de forma automatizada e reprodutível:

• Prompts estruturados definem o formato de saída esperado (JSON)
• Mesma configuração aplicada a todos os integrantes

Cada integrante selecionou 3 modelos compactos.

OAB Bench: sem gabarito oficial → avaliação cruzada entre modelos

Duas estratégias complementares:

1. Modelo vs Modelo: compara respostas entre cada par de modelos
2. Modelo vs Guideline: compara respostas contra as guidelines do dataset

OAB Exams: com gabarito oficial → avaliação exata

• As letras (A, B, C, D) são convertidas para inteiros antes do cálculo
• Estratégia macro: calcula a métrica por classe e tira a média simples