## Plan de Investigación: Análisis Comparativo de Modelos de Lenguaje Comerciales vs. Locales con Enfoque en Argentina --- ## Tipo de análisis **Análisis comparativo + clasificación de casos de uso**, complementado con elementos de **análisis de tendencias** (evolución de benchmarks) y **análisis FODA** (fortalezas/debilidades/oportunidades/amenazas por tipo de acceso). Este enfoque es el más adecuado porque: - Permite contrastar modelos comerciales (API) y locales (GGUF/QAT) bajo las mismas métricas. - La inclusión de criterios como costo, privacidad y requisitos de hardware posibilita una **clasificación práctica** para decidir cuándo usar cada modelo en el contexto argentino. - La solicitud pide explícitamente “crear un clasificador para decidir en qué ocasiones usar el modelo”, lo que exige una comparación multidimensional y no solo de rendimiento. --- ## Objeto de análisis **Modelos de lenguaje** (LLMs) listados en el estudio preliminar: - **Comerciales**: DeepSeek V4 Pro, DeepSeek V4 Flash, GPT‑5.4 Nano, GPT‑5 Mini, GPT‑5 Nano. - **Locales**: Gemma 4 E4B IT QAT, Gemma 4 E2B IT QAT, NVIDIA Nemotron 3 Nano 4B, Qwen2.5 0.5B Instruct, Gemma 3 270M IT. Se analizan en función de: - Métricas estandarizadas de la industria (MMLU/MMLU‑Pro, GPQA/Diamond, SWE‑Bench/LiveCodeBench, HumanEval, Coding Index). - Requisitos de ejecución local (RAM, VRAM, CPU/GPU, cuantización). - Costos de API (por token) y costos de infraestructura local. - Capacidades multimodales (visión, audio, texto). - Idoneidad para **escenarios típicos argentinos** (conectividad limitada, regulación de datos, aplicaciones en español, sectores público/privado). Se corregirán y complementarán los datos preliminares (ej. valores faltantes indicados con “—”) y se añadirán fuentes verificables. --- ## Dimensiones / criterios de evaluación | Dimensión | Indicadores / Métricas | Unidad / Formato | |-----------|------------------------|------------------| | **Rendimiento en razonamiento general** | MMLU / MMLU‑Pro (precisión) | Porcentaje (%) | | **Rendimiento en razonamiento experto** | GPQA / GPQA Diamond | Porcentaje (%) | | **Capacidad de codificación** | SWE‑Bench Verified / Pro, LiveCodeBench (LCB), HumanEval, Coding Index | Porcentaje (%) | | **Multimodalidad** | Soporte de imagen, video, audio (Sí/No/Con limitaciones) | Cualitativo (detalle) | | **Costo (operacional)** | Precio por 1M tokens (input/output) para API; o costo de hardware para local | USD, ARS estimado | | **Requerimientos de hardware (local)** | RAM mínima, VRAM, tipo de cuantización, CPU/GPU recomendada | GB, tipo de cómputo | | **Latencia** | Tiempo de primera respuesta (para API o local) | ms o segundos dependiendo del escenario | | **Privacidad y soberanía de datos** | ¿Los datos salen del dispositivo? ¿Cumple con regulaciones argentinas (Ley de Protección de Datos)? | Sí/No/Con condiciones | | **Idioma y contexto argentino** | Calidad en español rioplatense, capacidad de entender referencias locales (instituciones, jerga, moneda) | Evaluación cualitativa (pruebas de ejemplo) | | **Tamaño del contexto** | Ventana máxima de tokens | Tokens | | **Eficiencia energética (local)** | Consumo estimado por inferencia en dispositivos de baja capacidad | Relativo (bajo/medio/alto) | --- ## Preguntas analíticas (hipótesis a responder) 1. **Brecha real entre API y local**: ¿Qué diferencias porcentuales existen en los benchmarks clave (MMLU, SWE‑Bench) entre el mejor modelo comercial y el mejor modelo local de la muestra? ¿Se reducen estas brechas cuando se usa cuantización QAT vs GGUF tradicional? 2. **Rendimiento vs. costo**: Para una tarea típica en Argentina (ej. asistente de atención al cliente en una PyME), ¿qué modelo ofrece el mejor balance entre precisión y costo total (API recurrente vs. inversión única en hardware)? 3. **Multimodalidad en entornos locales**: ¿Los modelos locales de la muestra (Gemma 4, Gemma 3) realmente pueden ejecutar tareas de visión en hardware de gama media (ej. laptop con 8GB RAM)? ¿Cuál es la calidad comparada con las APIs multimodales de GPT‑5 Mini? 4. **Escalabilidad según el sector**: ¿Qué modelos son más adecuados para el sector público (alta privacidad, sin conexión a internet) y cuáles para startups tecnológicas (bajo costo por inferencia, alta demanda de código)? 5. **Idoneidad del español argentino**: ¿Existe degradación significativa en los modelos locales para consultas con vocabulario específico de Argentina (ej. “factura electrónica”, “DNU”, “cuota alimentaria”)? 6. **Clasificador práctico**: ¿Podemos construir una matriz de decisión que, dados los requisitos del usuario (presupuesto, privacidad, hardware, tarea), recomiende uno o más modelos? --- ## Datos y evidencias necesarias ### Fuentes primarias (oficiales y de investigadores) - **Papers oficiales de cada modelo**: MMLU, GPQA, SWE‑Bench reportados por los autores (DeepSeek, OpenAI, Google, NVIDIA, Alibaba). - **Repositorios de benchmarks**: - MMLU/MMLU‑Pro: [github.com/hendrycks/test](https://github.com/hendrycks/test) - GPQA: [github.com/idavidrein/gpqa](https://github.com/idavidrein/gpqa) - SWE‑Bench: [swebench.com](https://swebench.com) - LiveCodeBench: [livecodebench.github.io](https://livecodebench.github.io) - HumanEval: [github.com/openai/human-eval](https://github.com/openai/human-eval) - **Resultados de terceros** (LMSYS Chatbot Arena, EleutherAI Eval Harness, Open LLM Leaderboard de HuggingFace). - **Especificaciones técnicas de cuantización**: Unsloth (QAT), llama.cpp, K-quants. ### Datos complementarios - **Precios de APIs** (sitios oficiales de OpenAI, DeepSeek al momento del análisis). - **Requerimientos de hardware** (mediciones comunitarias en r/LocalLLaMA, HuggingFace Spaces, benchmarks de macOS/Windows/Linux). - **Pruebas en español**: Si es posible, ejecutar un *prompt* estandarizado en cada modelo local (vía Ollama o llama.cpp) y evaluar subjetivamente la comprensión de argentinismos. ### Correcciones al estudio preliminar - Los valores señalados con “—” (ej. GPQA en Gemma 4) deben investigarse: verificar si existen evaluaciones no reportadas o si el modelo es demasiado pequeño para ese benchmark. - Algunos porcentajes parecen inusualmente altos (MMLU 96.2% en DeepSeek V4 Pro); confirmar con fuente oficial (posible error de redondeo o mezcla de métricas). --- ## Marco de referencia - **Teoría de benchmarks**: Se utilizarán los papers fundacionales de MMLU, GPQA y SWE‑Bench para entender qué mide cada métrica y sus limitaciones (ej. GPQA privilegia razonamiento científico avanzado; SWE‑Bench mide parches funcionales en repos). - **Modelo de costos**: Se empleará un cálculo de TCO (Total Cost of Ownership) para modelos locales vs. API, considerando: - API: costo por token × tokens estimados por mes. - Local: costo de hardware (amortizado) + electricidad + mantenimiento. - **Clasificación de casos de uso**: Se adoptará una matriz de decisión basada en 3 ejes (privacidad, latencia, capacidad de cómputo) con umbrales definidos. - **Contexto argentino**: Se tomará como referencia la Ley 25.326 de Protección de Datos Personales, la Resolución 47/2018 de la Agencia de Acceso a la Información Pública, y las condiciones típicas de conectividad en provincias (ej. baja velocidad, cortes frecuentes). --- ## Limitaciones del análisis - **Sesgo de publicación**: Los benchmarks reportados por los proveedores pueden tener condiciones óptimas que no se replican en entornos locales reales. - **Variabilidad de hardware**: Los resultados locales dependen del hardware exacto (GPU vs. CPU, ancho de banda de memoria). Solo se usarán promedios de comunidades o datos oficiales. - **Idioma**: MMLU y GPQA están mayormente en inglés; el rendimiento en español se estimará con pruebas cualitativas limitadas. - **Actualización de datos**: Los modelos y precios cambian rápidamente; el análisis tendrá una fecha de corte explícita. - **Disponibilidad de modelos**: Algunos modelos locales pueden no tener versiones GGUF estables; se indicará con un asterisco. --- ## Entregable esperado 1. **Informe detallado** en formato markdown/PDF con: - Sección de correcciones y mejoras a la tabla preliminar (fuentes, valores faltantes resueltos). - Tablas comparativas ampliadas (con todas las dimensiones listadas anteriormente). - **Gráficos**: - Radar de rendimiento (MMLU, GPQA, SWE‑Bench) para cada modelo. - Barras apiladas de costo estimado (USD/mes) para casos típicos (chat básico, code assistant, análisis de documentos). - Diagrama de dispersión (Costo vs. Rendimiento en código). 2. **Matriz de decisión** (clasificador) con reglas del tipo: - “Si se requiere privacidad total y hardware limitado (< 4 GB RAM) → Gemma 4 E2B IT QAT o Qwen2.5 0.5B.” - “Si la tarea es multimodal a bajo costo y hay internet → GPT‑5 Mini.” - “Si se necesita máximo rendimiento en código → DeepSeek V4 Pro (API) o Gemma 4 E4B (local con GPU).” 3. **Lista detallada de modelos** con descripción funcional, incluyendo: - Nombre, proveedor, acceso. - Benchmark clave (mejor métrica reportada). - Funcionalidad clave y casos de uso recomendados (en español). - Observaciones específicas para Argentina (ej. “funciona offline”, “no requiere GPU”, “costo en pesos con impuestos”). El entregable final será un texto coherente, listo para presentar a un equipo técnico o directivo, con conclusiones accionables y recomendaciones claras.