Pular para o conteúdo principal

Modelos de Linguagem (LLMs)

Avaliando a fronteira da IA em hardware limitado para o domínio jurídico.

O Laboratório

Processamento Gráfico: NVIDIA GTX 1050
Memória RAM: 16GB DDR4
Sistema: Windows 10 / Driver NVIDIA 32.0.15.8228
VRAM Limit4GBLimite Crítico / Desafio

Por que estes modelos?

Eficiência

Foco em modelos de pequeno porte que rodam em hardware local sem necessidade de nuvem.

Soberania

Garantia de privacidade para dados jurídicos sensíveis ao evitar APIs de terceiros.

Diversidade

Exploração de diferentes arquiteturas (Meta, Google, Alibaba) para o português.

Catálogo Técnico

ModeloParâmetrosTamanho (Quant)
Llama 3.23 Billion~2.0 GB (Q4_K_M)
Gemma 22 Billion~1.6 GB (Q4_K_M)
Qwen 2.53 Billion~1.9 GB (Q4_K_M)

Perfis dos Modelos

Llama 3.2

"O Sucessor"

Baseado na renomada arquitetura da Meta, o Llama 3.2 herda o vasto conhecimento de seus predecessores, adaptado para dispositivos móveis e locais. No contexto jurídico, destaca-se pela robustez no raciocínio lógico e aderência a instruções complexas.

Gemma 2

"O Peso-Leve de Elite"

Nascido da tecnologia do Google Gemini, o Gemma 2 é otimizado para velocidade sem sacrificar a precisão. É a escolha ideal para extração rápida de entidades e classificação de documentos em ambientes onde cada segundo de latência conta.

Qwen 2.5

"Especialista Multilíngue"

Vindo do ecossistema Alibaba, o Qwen demonstra uma compreensão excepcional de nuances culturais e gramaticais. Em testes jurídicos em português, revela-se surpreendente na coesão textual e na tradução de conceitos técnicos.

Stack de Execução

terminal — bash
# Baixando os modelos via Ollama
ollama run llama3.2:3b
ollama run gemma2:2b
ollama run qwen2.5:3b
Explorar Resultados Completos