# Análisis Comparativo de Modelos de Lenguaje: Comerciales frente a Locales con Enfoque en Argentina **Fecha:** Julio de 2025 **Documento:** Informe técnico analítico **Fuente:** Investigación de *benchmarks*, documentación oficial de proveedores y análisis de contexto regulatorio argentino --- ## Resumen analítico El ecosistema de modelos de lenguaje de gran escala (*large language models*, LLM) presenta una polarización creciente entre modelos comerciales cerrados de alto rendimiento (DeepSeek V4 Pro, familia GPT-5) y modelos locales o de código abierto optimizados para hardware restringido (Gemma 4 E2B/E4B, Qwen2.5 0.5B, Nemotron 3 Nano 4B). Los *benchmarks* especializados como GPQA Diamond, SWE-Bench Verified/Pro y LiveCodeBench revelan brechas de rendimiento de hasta 60 puntos porcentuales entre categorías. Para el contexto argentino, la Ley 25.326 de protección de datos, los impuestos a servicios digitales (aproximadamente 51 % de sobrecarga) y la brecha de conectividad urbano-rural (17.4 % de los hogares sin internet fijo) condicionan significativamente la viabilidad de cada opción. No existe un modelo óptimo universal: la decisión depende del equilibrio entre privacidad, presupuesto, hardware disponible y requerimientos de cada tarea. --- ## Contexto y antecedentes El mercado de LLM experimentó una aceleración sin precedentes entre 2024 y 2026. Por un lado, los modelos cerrados comerciales (OpenAI, DeepSeek, Anthropic, Google) compiten en *benchmarks* cada vez más exigentes. Por otro lado, los modelos abiertos (Gemma, Qwen, Nemotron, Llama) se optimizan para ejecución local, impulsados por técnicas de cuantización como QAT (*Quantization-Aware Training*), que permiten ejecutar modelos de 4 mil millones de parámetros en tan solo 3-5 GB de RAM. Argentina presenta condiciones particulares para la adopción de LLM: (a) un marco regulatorio estricto (Ley 25.326, Resolución 47/2018 AAIP) que restringe la transferencia internacional de datos personales; (b) una carga impositiva de aproximadamente el 51 % sobre servicios digitales del exterior; (c) una conectividad desigual en la que el 17.4 % de los hogares carece de internet fijo; y (d) un liderazgo regional en adopción de IA en sectores como *fintech*, salud y agro (Inteligencia Argentina, 2025). Este informe analiza comparativamente 10 modelos representativos del espectro comercial-local, con datos verificados de *benchmarks* oficiales, costos de API y requerimientos de hardware, y presenta recomendaciones específicas para el contexto argentino. --- ## Metodología del análisis **Tipo de análisis:** Revisión técnica comparativa con datos de fuentes primarias y secundarias. **Criterios de inclusión:** Se seleccionaron modelos representativos del espectro comercial-local con disponibilidad de datos públicos de *benchmarks* (MMLU, MMLU-Pro, GPQA Diamond, SWE-Bench Verified/Pro, LiveCodeBench, HumanEval). Se incluyeron modelos con precios de API publicados o requerimientos de hardware documentados. **Fuentes consultadas:** Artículos originales de *benchmarks* (Hendrycks et al., 2021; Wang et al., 2024; Rein et al., 2023; Jimenez et al., 2023; Jain et al., 2024; Chen et al., 2021); documentación oficial de proveedores (DeepSeek, OpenAI, Google, NVIDIA, Alibaba); *Intelligence Index* de Artificial Analysis; normativa argentina (Ley 25.326, Resolución 47/2018 AAIP, ARCA RG 5617/24); estudios de conectividad (CABASE, 2025; DataReportal, 2025). **Limitaciones:** (1) Algunos *benchmarks* reportados por proveedores no son verificables de forma independiente (marcados con †). (2) No existen *benchmarks* oficiales estandarizados para el español. (3) SWE-Bench Pro tiene documentación pública limitada. (4) Los precios de API y requerimientos de hardware pueden variar según configuración y región. --- ## Explicación de los *Benchmarks* Utilizados ### MMLU / MMLU-Pro **MMLU (*Massive Multitask Language Understanding*)** — Artículo: Hendrycks et al. (2021). Mide conocimiento factual y razonamiento en 57 materias mediante aproximadamente 14 000 preguntas de opción múltiple (4 opciones). Idioma: solo inglés. Limitaciones: saturado para modelos modernos (>85-90 %), solo mide conocimiento factual, posible contaminación por fuentes públicas. **MMLU-Pro** — Artículo: Wang et al. (2024). Versión mejorada con aproximadamente 12 000 preguntas de 10 opciones (el azar baja de 25 % a 10 %). Filtra preguntas triviales y exige mayor razonamiento. La caída en precisión respecto a MMLU es del 16-33 %. Fue eliminado del *Intelligence Index* v4.0 de Artificial Analysis por saturación (VentureBeat, 2026). ### GPQA / GPQA Diamond **GPQA (*Graduate-Level Google-Proof Q&A Benchmark*)** — Artículo: Rein et al. (2023). 448 preguntas de nivel de doctorado (4 opciones), con un subconjunto **Diamond** de 198 preguntas de máxima calidad. Diseñado como "a prueba de Google": expertos con doctorado aciertan el 65 %, pero personas no expertas con acceso a internet solo el 34 %. Los modelos pequeños (<7 mil millones de parámetros) rara vez superan el 30-35 % (cerca del azar, 25 %). Por esta razón, muchos modelos pequeños no reportan GPQA: hacerlo sería perjudicial para su *marketing*. Limitaciones: solo 198 preguntas (alta varianza estadística), solo 3 disciplinas científicas, y el propio Rein (2025) sugirió que hasta un 17 % podría contener errores (Epoch AI, 2025). ### SWE-Bench (Verified/Pro) **SWE-Bench** — Artículo: Jimenez et al. (2023). Evalúa la capacidad de resolver *issues* reales de GitHub editando código. El modelo recibe una base de código completa (*codebase*) más la descripción del *issue* y debe generar un *patch* que pase pruebas *Fail-to-Pass* en Docker. - **Verified (500 instancias):** Verificadas por ingenieros como resolubles (OpenAI, 2024). Puntuaciones típicas: 50-88 %. - **Pro:** Particiones *held-out* para evitar contaminación. Las puntuaciones son mucho más bajas (aproximadamente 23 %), lo que refleja una menor fuga de datos. El GPT-5.4 Nano alcanza el 52.4 % en Pro (confirmado). Limitaciones: solo 12 repositorios Python originalmente; posible contaminación por tratarse de *issues* públicos; SWE-Bench-Live de Microsoft lo está reemplazando. ### LiveCodeBench (LCB) **LiveCodeBench** — Artículo: Jain et al. (2024). Evalúa la generación de código, *self-repair*, ejecución y predicción de pruebas usando problemas de LeetCode, AtCoder y Codeforces. La contaminación se controla por fecha de publicación. Difiere de SWE-Bench en que mide escritura de funciones desde cero (no edición de repositorios complejos). Profundidad de contexto: mensaje corto (*prompt*) frente a base de código completa. DeepSeek V4 Pro alcanza el 93.5 % en LCB (confirmado). ### HumanEval **HumanEval** — Artículo: Chen et al. (2021). *Benchmark* fundacional de 164 problemas de Python escritos a mano. Mide *pass@k* (típicamente *pass@1*). Codex alcanzó el 29 % en 2021; los modelos actuales superan el 90 %. Está **saturado** como métrica diferenciadora. Limitaciones: solo 164 problemas, solo Python, nivel básico-medio, *pass@k* puede inflar artificialmente los resultados. ### *Coding Index* (Artificial Analysis) **No es un *benchmark* independiente.** Es el subpuntaje compuesto de codificación dentro del ***Intelligence Index*** de Artificial Analysis (fundado en 2023, respaldado por Nat Friedman, Daniel Gross y Andrew Ng). El índice agrega evaluaciones de LiveCodeBench, SWE-Bench y otros en una sola métrica. Su uso como *benchmark* aislado no está validado académicamente. --- ## Tabla Comparativa CORREGIDA con fuentes verificadas A continuación se presenta la tabla comparativa de modelos. Los datos marcados con **(†)** no están verificados por fuente oficial directa y deben considerarse estimaciones. Los datos sin marca provienen de documentación oficial o artículos revisados por pares. ### Tabla 1 *Comparación de modelos de lenguaje: benchmarks, costos y requerimientos* | Modelo | Proveedor | MMLU | MMLU-Pro | GPQA Diamond | SWE-Bench Verif. | SWE-Bench Pro | LCB | HumanEval | Precio Input/Output (USD/1M tok) | Contexto | Multimodal | RAM Local | Licencia | |--------|-----------|------|----------|-------------|-----------------|--------------|-----|-----------|-------------------------------|----------|------------|-----------|----------| | **DeepSeek V4 Pro** | DeepSeek | ~90.1 % ✓ | — | 90.1 % ✓ | 80.6 % ✓ | — | 93.5 % ✓ | — | $0.435 / $0.87 | 1M | ❌ Solo texto | N/D (API) | MIT | | **DeepSeek V4 Flash** | DeepSeek | ~82 % † | — | — | — | — | — | — | $0.14 / $0.28 | 1M | ❌ Solo texto | N/D (API) | — | | **GPT-5.4 Nano** | OpenAI | 80.5 % † | — | — | — | 52.4 % ✓ | — | — | $0.20 / $1.25 | 400K | ✅ Sí | N/D (API) | Propietaria | | **GPT-5 Mini** | OpenAI | 84.2 % † | — | — | — | 45.7 % ✓ | — | — | $0.25 / $2.00 | 400K | ✅ Sí | N/D (API) | Propietaria | | **GPT-5 Nano** | OpenAI | 78.3 % † | — | 35 % ✓ | — | — | — | — | $0.05 / $0.40 | 400K | ✅ Sí | N/D (API) | Propietaria | | **Gemma 4 E4B IT QAT** | Google | — | **69.4 %** ✓ | — | — | — | — | **62.1 %** ✓ | Gratuito (local) | 32K | ❌ Solo texto | ~5 GB | Google TOS | | **Gemma 4 E2B IT QAT** | Google | — | **60.0 %** ✓ | — | — | — | — | — | Gratuito (local) | 32K | ❌ Solo texto | ~3 GB | Google TOS | | **Gemma 3 270M IT** | Google | — | 5.5 % † | 22.4 % † | — | — | — | 41.5 % † | Gratuito (local) | 8K | ❌ Solo texto | ~0.5 GB | Google TOS | | **Nemotron 3 Nano 4B** | NVIDIA | ~68 % † | — | **53.2 %** ✓ | — | — | — | ~40 % † | Gratuito (local) | 1M (NoPE) | ❌ Solo texto | 3-5 GB | NVIDIA Open | | **Qwen2.5 0.5B Instruct** | Alibaba | 37.9 % (Qwen2) † | — | — | — | — | — | 17.1 % (Qwen2) † | Gratuito (local) | 32K (128K extrap.) | ❌ Solo texto | ~0.4 GB (Q4) | Apache 2.0 | *Nota.* ✓ = Confirmado por fuente oficial o artículo revisado. † = No verificado o estimado por fuente independiente, o extrapolado de modelos predecesores. Para Gemma 3 270M IT, ningún *benchmark* está confirmado por fuentes oficiales de Google. Para Qwen2.5 0.5B, se usan datos de Qwen2 por falta de *benchmarks* oficiales publicados para Qwen2.5 0.5B. N/D = No disponible. ### Detalle de correcciones aplicadas a la tabla 1. **DeepSeek V4 Pro**: MMLU ~90.1 % (no 96.2 %). GPQA Diamond 90.1 % (no 88.8 %). SWE-Bench Verified 80.6 % ✓. LCB 93.5 % ✓. Sin multimodalidad. Precios: $0.435/$0.87. Contexto: 1M. Licencia MIT. 2. **DeepSeek V4 Flash**: MMLU ~82 % no verificado oficialmente. Precios: $0.14/$0.28. Solo texto. 3. **GPT-5.4 Nano** (*gpt-5.4-nano*, marzo 2026): SWE-Bench Pro 52.4 % ✓ confirmado. MMLU 80.5 % no verificado. 4. **GPT-5 Mini** (*gpt-5-mini*, agosto 2025): SWE-Bench Pro 45.7 % ✓ confirmado. MMLU 84.2 % no verificado. 5. **GPT-5 Nano** (*gpt-5-nano*, agosto 2025): GPQA 35 % ✓ confirmado. MMLU 78.3 % no verificado. "Coding Index 20.3 %" no es un *benchmark* estándar. 6. **Gemma 4 E4B IT QAT**: MMLU-Pro oficial 69.4 % (no ~82 %). HumanEval: 62.1 % (no ~65 %). QAT reduce la memoria ~72 %. 7. **Gemma 4 E2B IT QAT**: MMLU-Pro oficial 60.0 % (no 80.4 %). No existe "Multi-turn 70.0 %" como *benchmark* estándar. Corre en Raspberry Pi 5. 8. **Gemma 3 270M IT**: *Benchmarks* (MMLU-Pro 5.5 %, GPQA 22.4 %, HumanEval 41.5 %) **NO VERIFICADOS** en fuentes oficiales de Google. 9. **Nemotron 3 Nano 4B**: *Benchmarks* oficiales: AIME25 78.5, MATH500 95.4, GPQA 53.2. MMLU ~68 % y HumanEval ~40 % no verificados. Contexto hasta 1M tokens (NoPE). GGUF disponible. 10. **Qwen2.5 0.5B Instruct**: MMLU ~45 % y HumanEval ~35 % no verificados. Predecesor Qwen2: MMLU 37.9, HumanEval 17.1. Contexto 32 768 nativo (128K extrapolable). ~0.4 GB en Q4_K_M. --- ## Dimensión 1: Rendimiento en *Benchmarks* ### Evidencias La tabla muestra una jerarquía clara de rendimiento. En el extremo superior, DeepSeek V4 Pro lidera con GPQA Diamond 90.1 %, SWE-Bench Verified 80.6 % y LCB 93.5 %, todos confirmados por documentación oficial. Le siguen los modelos de OpenAI con SWE-Bench Pro: GPT-5.4 Nano (52.4 %), GPT-5 Mini (45.7 %) —ambos confirmados— y GPT-5 Nano (GPQA Diamond 35 %, confirmado). En el segmento local, Gemma 4 E4B IT QAT alcanza MMLU-Pro 69.4 % y HumanEval 62.1 % (confirmados), lo que lo posiciona como el modelo local más potente de la muestra. Nemotron 3 Nano 4B destaca con GPQA Diamond 53.2 % (confirmado), superando incluso al GPT-5 Nano (35 %) en razonamiento científico pese a tener menos parámetros. Gemma 4 E2B IT QAT (MMLU-Pro 60.0 %) equilibra rendimiento con requerimientos mínimos de 3 GB de RAM. En el extremo inferior, Gemma 3 270M IT (cuyos *benchmarks* no están verificados) y Qwen2.5 0.5B Instruct (con datos extrapolados de Qwen2: MMLU 37.9 %, HumanEval 17.1 %) representan opciones para hardware extremadamente limitado, aunque con capacidades muy reducidas. ### Interpretación Existe una correlación directa entre capacidad de hardware (RAM/GPU) y rendimiento en *benchmarks*, pero no es lineal. Nemotron 3 Nano 4B demuestra que un modelo pequeño (4 mil millones de parámetros) bien entrenado puede superar a modelos más grandes en tareas específicas de razonamiento (GPQA 53.2 % frente a GPT-5 Nano 35 %). La técnica QAT de Google permite ejecutar modelos de 4 mil millones de parámetros en solo 5 GB de RAM, con lo que cierra la brecha con las soluciones en la nube. SWE-Bench Pro confirma la capacidad de edición de código en entornos reales, y aquí GPT-5.4 Nano (52.4 %) muestra una ventaja considerable sobre GPT-5 Mini (45.7 %), lo que sugiere que la optimización para código en la familia GPT-5.4 es significativa. ### Implicaciones Para tareas de razonamiento científico o codificación avanzada, no existe un sustituto viable para los modelos grandes (DeepSeek V4 Pro, GPT-5.4 Nano). Sin embargo, para tareas de propósito general en el contexto argentino con restricciones de hardware, Gemma 4 E4B IT QAT y Nemotron 3 Nano 4B ofrecen el mejor equilibrio entre rendimiento y viabilidad local. --- ## Dimensión 2: Costos y Acceso (API frente a Local) ### Evidencias Los costos de API presentan una dispersión significativa. GPT-5 Nano ($0.05/$0.40 por cada millón de tokens) es el más económico de los modelos comerciales, seguido de DeepSeek V4 Flash ($0.14/$0.28). DeepSeek V4 Pro ($0.435/$0.87) ofrece la mejor relación rendimiento/precio en el segmento alto. Los modelos locales tienen costo de API cero, pero requieren inversión en hardware. Gemma 4 E4B IT QAT (~5 GB de RAM) puede ejecutarse en una laptop moderna con 8 GB de RAM (USD 400-800). Gemma 4 E2B IT QAT (~3 GB de RAM) corre en Raspberry Pi 5 (~USD 80). Qwen2.5 0.5B (~0.4 GB en Q4_K_M) funciona en cualquier dispositivo con CPU. Para Argentina, los costos de API se incrementan por impuestos. Usando el ejemplo del Estudio Piacentini (2025): USD 100/mes de API → con IVA 21 % + Percepción Ganancias 30 % + eventuales Ingresos Brutos provinciales = **USD 157.30 efectivos** (~57 % de sobrecarga). Pagando con dólares propios, la percepción del 30 % es recuperable vía declaración anual. ### Interpretación La decisión entre API y local implica un *trade-off* entre costo operativo y costo de capital. Para uso esporádico (<10 millones de tokens/mes), la API puede ser más económica incluso con impuestos. Para uso intensivo (>100 millones de tokens/mes), un modelo local se amortiza en cuestión de meses. Una *startup* argentina que procese 50 millones de tokens/mes con GPT-5 Nano ($0.05 *input*) tendría un costo de API de aproximadamente USD 2500 más 57 % de impuestos, es decir, cerca de USD 3925/mes. Un Gemma 4 E4B en una laptop de USD 600 se amortiza en menos de 2 meses. ### Implicaciones Para el contexto argentino, los modelos locales son particularmente ventajosos cuando: (a) el volumen de uso es alto, (b) el presupuesto en dólares es limitado, (c) se desea evitar la carga impositiva del 51-57 % sobre servicios digitales, y (d) no se requiere multimodalidad. --- ## Dimensión 3: Multimodalidad ### Evidencias Solo los modelos de OpenAI en la muestra (GPT-5.4 Nano, GPT-5 Mini, GPT-5 Nano) ofrecen capacidades multimodales (procesamiento de imágenes, audio y texto). DeepSeek V4 Pro y Flash son exclusivamente texto. Todos los modelos locales en la muestra (Gemma 4, Nemotron, Qwen2.5) son solo texto. La multimodalidad es crítica para casos de uso como análisis de imágenes médicas, procesamiento de documentos escaneados, descripción de fotos y videos, e interacción por voz. ### Interpretación La ausencia de multimodalidad en modelos locales es una limitación significativa. Si bien existen modelos multimodales de código abierto (LLaVA, Qwen-VL), no están representados en esta muestra. La familia GPT-5 de OpenAI es la única opción multimodal en el conjunto analizado, lo que implica una dependencia de API en la nube con las consecuencias de costo y privacidad ya mencionadas. ### Implicaciones Para aplicaciones que requieran procesamiento de imágenes o audio en Argentina con requerimientos de privacidad, actualmente no existe una opción local multimodal dentro de la muestra. Las alternativas incluyen: (a) usar la API de GPT-5 con anonimización previa de datos, (b) explorar modelos multimodales de código abierto no incluidos en este análisis (Qwen-VL, LLaVA-NeXT), o (c) implementar soluciones híbridas (procesamiento local de imágenes con modelos especializados combinado con un LLM local para texto). --- ## Dimensión 4: Privacidad y Soberanía de Datos (Contexto Argentino) ### Ley 25.326 y Resolución 47/2018 AAIP La Ley 25.326 (2000) establece el marco de protección de datos personales en Argentina. Los artículos clave para LLM en la nube son: - **Art. 5 (Consentimiento):** Requiere consentimiento libre, expreso e informado para tratar datos personales. - **Art. 12 (Transferencia internacional):** Prohíbe transferir datos a países sin protección equiparable sin consentimiento explícito. EE. UU. no tiene un nivel equiparable según los criterios de la AAIP. - **Art. 7 (Datos sensibles):** El tratamiento está prohibido excepto con consentimiento expreso y escrito. La Resolución 47/2018 AAIP establece medidas de seguridad para datos personales en medios informatizados: controles de acceso, autenticación, auditoría, cifrado y segregación para datos sensibles, y notificación de violaciones. **Implicación directa:** Usar APIs de LLM en la nube (OpenAI, DeepSeek) desde Argentina para procesar datos personales o sensibles requiere consentimiento explícito de los titulares, o la anonimización previa. Esto es particularmente relevante para sectores como salud, *fintech* y el sector público. ### Conectividad en Argentina Según CABASE (2025): el 82.6 % de los hogares cuenta con conexión fija, pero el 17.4 % (aproximadamente 4.5 millones de personas) carece de internet fijo. La velocidad promedio es de 92.6 Mbps, aunque el 24 % de los hogares tiene menos de 20 Mbps. La principal barrera es la asequibilidad (el 39.3 % canceló el servicio por costo). Para los modelos en la nube, se requiere una conexión estable (>10 Mbps para un uso interactivo aceptable). Para los modelos locales, la conectividad solo es necesaria para la descarga inicial y las actualizaciones. ### Impuestos a servicios digitales Según el Estudio Piacentini (2025): IVA 21 % (no recuperable para monotributistas) + Percepción Ganancias/Bienes Personales 30 % (recuperable vía declaración anual) + eventuales Ingresos Brutos provinciales (3-5.5 %). El Impuesto PAIS fue eliminado el 22 de diciembre de 2024. **Efecto combinado:** USD 100 de API → USD 157.30 efectivos. Pagando con dólares propios, el 30 % de percepción es recuperable, lo que reduce la sobrecarga efectiva a aproximadamente el 21 % (IVA). ### Implicaciones La combinación de restricciones regulatorias (Ley 25.326), sobrecarga impositiva (~51-57 %) y brecha de conectividad (17.4 % sin internet fijo) hace que los modelos locales sean particularmente atractivos para Argentina. Sin embargo, la falta de opciones multimodales locales limita ciertos casos de uso. --- ## Dimensión 5: Idoneidad para el Español Rioplatense ### Evidencias No existen *benchmarks* oficiales estandarizados para el español (ni MMLU-ES, ni GPQA-ES). Plaza et al. (2024) demostraron que las traducciones automáticas al español introducen errores significativos, y que una fracción importante de los ítems fallados en español se debió a una mala traducción, no a una capacidad limitada del LLM. La brecha de rendimiento entre español e inglés se estima en 11-16 % para MMLU (GPT-4: ~86 % EN → ~70-75 % ES). GPQA no ha sido evaluado oficialmente en español. Las causas incluyen: más del 90 % del corpus de entrenamiento está en inglés, los *benchmarks* están diseñados en inglés, el vocabulario técnico-científico está sobrerrepresentado en inglés, y no se capturan las variantes regionales. **Desafíos específicos del español rioplatense:** 1. **Voseo:** Los modelos entrenados con "tú" pueden no responder adecuadamente al "vos" argentino. 2. **Lunfardo y modismos:** "che", "boludo", "quilombo", "guita", "bondi", "laburo" pueden no ser comprendidos. 3. **Contexto cultural:** Las preguntas sobre legislación argentina, historia o geografía pueden fallar si el modelo se entrenó con datos de España o México. 4. **Registro coloquial:** El humor, el sarcasmo y el registro coloquial rioplatense tienen patrones específicos que no se capturan en corpus genéricos. ### Implicaciones Los modelos grandes multilingües (DeepSeek V4 Pro, familia GPT-5) manejan mejor el español que los modelos pequeños. Para uso en español rioplatense, se recomienda: (a) priorizar modelos con entrenamiento multilingüe extenso, (b) implementar RAG (*Retrieval-Augmented Generation*) con fuentes argentinas para tareas de conocimiento local, y (c) considerar un ajuste fino (*fine-tuning*) con datos rioplatenses para aplicaciones de producción. --- ## Análisis Comparativo / Matriz de Decisión (Clasificador) La siguiente matriz proporciona reglas de decisión basadas en el escenario de uso: ### Tabla 2 *Matriz de decisión para selección de modelo según contexto argentino* | Escenario | Modelo Recomendado | Justificación | |-----------|-------------------|---------------| | **Privacidad total + Hardware limitado (<4 GB de RAM)** | Gemma 4 E2B IT QAT o Qwen2.5 0.5B | Ejecución local en hardware mínimo. Sin envío de datos a externos. | | **Privacidad total + GPU disponible (>8 GB de VRAM)** | Gemma 4 E4B IT QAT o Nemotron 3 Nano 4B | Mayor rendimiento local sin depender de API. | | **Tarea multimodal a bajo costo + internet** | GPT-5 Nano | Único modelo multimodal económico en la muestra ($0.05/$0.40). | | **Máximo rendimiento en código** | DeepSeek V4 Pro (API) o Gemma 4 E4B (local con GPU) | DeepSeek V4 Pro: SWE-Bench 80.6 % + LCB 93.5 %. Gemma 4 E4B: HumanEval 62.1 % local. | | **Uso esporádico (<5 millones de tokens/mes) + sin datos sensibles** | GPT-5 Nano o DeepSeek V4 Flash | API económica sin inversión en hardware. | | **Uso intensivo (>100 millones de tokens/mes) + sin multimodalidad** | Gemma 4 E4B IT QAT (local) | Amortización rápida frente a API con impuestos. | | **Razonamiento científico (nivel PhD)** | DeepSeek V4 Pro (API) o Nemotron 3 Nano 4B | GPQA Diamond: 90.1 % y 53.2 %, respectivamente. | | **Educación en zonas sin internet** | Qwen2.5 0.5B o Gemma 3 270M IT | Modelos ultralivianos que funcionan sin conexión en celular o Raspberry Pi. | | **Cumplimiento estricto de la Ley 25.326 (datos sensibles)** | Cualquier modelo local + anonimización | Evita la transferencia internacional de datos. | | **Startup tech con presupuesto mínimo** | Gemma 4 E2B IT QAT o Qwen2.5 0.5B | Modelos gratuitos, livianos, sin impuestos. | --- ## Hallazgos Principales 1. **DeepSeek V4 Pro es el líder indiscutido en rendimiento técnico de la muestra.** Con GPQA Diamond 90.1 %, SWE-Bench Verified 80.6 % y LCB 93.5 % (todos confirmados), supera al resto de los modelos analizados. Su licencia MIT y sus precios competitivos ($0.435/$0.87 por cada millón de tokens) lo posicionan como la opción más potente para tareas de alto nivel, aunque su limitación a solo texto y su dependencia de la API en la nube reducen su aplicabilidad en contextos con restricciones de privacidad. 2. **Nemotron 3 Nano 4B demuestra que el tamaño no lo es todo.** Con solo 4 mil millones de parámetros, alcanza GPQA Diamond 53.2 % (confirmado), superando ampliamente al GPT-5 Nano (35 %) en razonamiento científico. Esto sugiere que la calidad de los datos de entrenamiento y la arquitectura (contexto NoPE de 1M tokens) pueden compensar la diferencia en cantidad de parámetros. Es la mejor opción local para tareas de razonamiento avanzado en hardware modesto (3-5 GB de RAM). 3. **Gemma 4 E4B IT QAT es el modelo local más equilibrado.** Con MMLU-Pro 69.4 % y HumanEval 62.1 % (confirmados), ofrece el mejor rendimiento general entre los modelos locales de la muestra. La técnica QAT reduce los requisitos de memoria en aproximadamente un 72 %, lo que permite su ejecución en 5 GB de RAM. Es la opción recomendada para la mayoría de los casos de uso locales en Argentina. 4. **La multimodalidad sigue siendo un diferenciador exclusivo de los modelos en la nube en esta muestra.** Ninguno de los modelos locales analizados ofrece capacidades multimodales. Para aplicaciones que requieran procesamiento de imágenes o audio en Argentina con privacidad de datos, es necesario explorar modelos multimodales de código abierto fuera de esta muestra (Qwen-VL, LLaVA-NeXT) o aceptar la dependencia de una API en la nube. 5. **El costo efectivo de las API en Argentina es aproximadamente un 51-57 % superior al precio nominal.** La combinación de IVA 21 %, Percepción Ganancias 30 % e Ingresos Brutos provinciales transforma USD 100 de API en USD 157.30 efectivos. Para uso intensivo, los modelos locales no solo evitan este sobrecosto, sino que eliminan la dependencia de la conectividad y las restricciones de la Ley 25.326. 6. **No existe un *benchmark* estándar para el español, y la brecha EN→ES se estima en 11-16 %.** La falta de MMLU-ES o GPQA-ES oficiales dificulta la evaluación objetiva de los LLM para el contexto argentino. Los modelos grandes multilingües manejan mejor el español, pero el español rioplatense presenta desafíos específicos (voseo, lunfardo) que requieren un ajuste fino (*fine-tuning*) local o RAG con fuentes argentinas. 7. **La brecha de conectividad argentina (17.4 % sin internet fijo) hace que los modelos locales no sean solo una opción económica, sino la única viable para aproximadamente 4.5 millones de personas.** Para aplicaciones de educación, salud y gobierno en zonas rurales o de bajos recursos, modelos como Qwen2.5 0.5B (~0.4 GB en Q4_K_M, Apache 2.0) o Gemma 4 E2B IT QAT (~3 GB, ejecutable en Raspberry Pi 5) son las únicas alternativas. --- ## Puntos de Debate / Controversias 1. **Validez de GPQA Diamond:** Rein et al. (2023) defienden la calidad del *benchmark*, pero el propio Rein (2025) sugirió que hasta un 17 % de las preguntas podría contener errores (Epoch AI, 2025). Si esto se confirma, las puntuaciones de GPQA Diamond podrían estar sobreestimadas en aproximadamente 17 puntos porcentuales, lo que afectaría particularmente a modelos que dependen de este *benchmark* para su posicionamiento (Nemotron 3 Nano 4B con 53.2 % podría bajar a ~36-44 %). 2. **SWE-Bench Verified frente a Pro:** Existe una discrepancia sistemática entre Verified y Pro que sugiere una posible fuga de datos en Verified. Mientras que Claude Opus 4.8 alcanza aproximadamente un 88 % en Verified, en Pro obtiene alrededor del 23 %. Esta brecha de 65 puntos porcentuales indica que Verified podría estar contaminado con datos de entrenamiento. GPT-5.4 Nano (52.4 % en Pro) es el único modelo de la muestra con datos confirmados en Pro. 3. **Transparencia de *benchmarks*:** Los proveedores tienden a reportar solo los *benchmarks* en los que sus modelos rinden bien (*cherry-picking*). Por ejemplo, la familia GPT-5 no reporta MMLU-Pro ni GPQA Diamond de forma sistemática, y los valores de MMLU disponibles no están confirmados oficialmente. DeepSeek, en contraste, publica un conjunto más completo de métricas verificables. 4. **Modelos locales frente a API: ¿costo real o ilusorio?** Si bien los modelos locales eliminan los costos de API y los impuestos, requieren inversión en hardware, mantenimiento, electricidad y personal técnico. Para una PyME argentina sin equipo de TI, el costo total de propiedad (TCO) de un modelo local puede superar al de la API cuando se incluyen estos factores. 5. **¿Vale la pena el *fine-tuning* para el español rioplatense?** No existen estudios que cuantifiquen el beneficio del ajuste fino (*fine-tuning*) para el rioplatense frente al uso de mensajes (*prompting*) simples en modelos multilingües grandes. El costo computacional del *fine-tuning* puede no justificarse si un modelo como DeepSeek V4 Pro ya responde adecuadamente en español general. --- ## Conclusiones Este análisis comparativo de 10 modelos de lenguaje —representativos del espectro entre soluciones comerciales en la nube y modelos locales de código abierto— revela que **no existe una opción universalmente óptima para el contexto argentino**. La decisión depende de un equilibrio entre cinco dimensiones críticas: rendimiento en *benchmarks*, costos (incluyendo la sobrecarga impositiva de aproximadamente el 51-57 % sobre servicios digitales), requerimientos de privacidad y cumplimiento de la Ley 25.326, disponibilidad de hardware y conectividad, y necesidades de multimodalidad. **En el segmento de alto rendimiento**, DeepSeek V4 Pro se consolida como líder técnico (GPQA 90.1 %, SWE-Bench 80.6 %, LCB 93.5 %) con costos de API moderados y licencia MIT. Sin embargo, su naturaleza en la nube y su falta de multimodalidad limitan su aplicabilidad en contextos con restricciones de privacidad o necesidades multimodales. **En el segmento local**, la combinación de Gemma 4 E4B IT QAT (MMLU-Pro 69.4 %, HumanEval 62.1 %) y Nemotron 3 Nano 4B (GPQA 53.2 %) cubre la mayoría de los casos de uso con requerimientos de hardware accesibles (3-5 GB de RAM). La técnica QAT de Google representa un avance significativo al permitir la ejecución de modelos de 4 mil millones de parámetros en hardware de consumo. **Para el contexto regulatorio argentino**, los modelos locales ofrecen ventajas decisivas: evitan la transferencia internacional de datos (Ley 25.326), eliminan la sobrecarga impositiva del 51-57 %, y funcionan en zonas sin conectividad (17.4 % de hogares sin internet fijo). Sin embargo, la ausencia de multimodalidad local sigue siendo una limitación que debe abordarse mediante soluciones híbridas o modelos multimodales de código abierto complementarios. La brecha de rendimiento EN→ES del 11-16 % documentada por Plaza et al. (2024) y los desafíos específicos del español rioplatense (voseo, lunfardo, contexto cultural) refuerzan la necesidad de invertir en recursos lingüísticos locales y en la evaluación sistemática en español. --- ## Recomendaciones para Argentina ### Para el sector público 1. **Priorizar modelos locales para datos sensibles:** Adoptar Gemma 4 E4B IT QAT o Nemotron 3 Nano 4B para el procesamiento de datos personales, con el fin de evitar transferencias internacionales que requieran consentimiento bajo la Ley 25.326. 2. **Invertir en infraestructura de cómputo local:** Equipar a los organismos públicos con hardware capaz de ejecutar modelos locales (>8 GB de RAM, preferiblemente con GPU), reduciendo así la dependencia de APIs extranjeras y la exposición a fluctuaciones cambiarias. 3. **Desarrollar un *benchmark* de español rioplatense:** Financiar la creación de un conjunto de evaluación en español rioplatense (similar a MMLU-ES pero con enfoque local) para permitir evaluaciones objetivas. ### Para el sector privado y las *startups* 4. **Modelo híbrido para *startups* tecnológicas:** Usar la API de GPT-5 Nano o DeepSeek V4 Flash para prototipado rápido y validación; migrar a Gemma 4 E4B IT QAT local al escalar, amortizando la inversión en hardware en menos de 2 meses para volúmenes superiores a 50 millones de tokens/mes. 5. **Anonimización como práctica estándar:** Implementar procesos de anonimización de datos antes de cualquier llamada a una API en la nube, cumpliendo con el Art. 12 de la Ley 25.326. 6. **Evaluar el TCO real:** Para decisiones de adopción, calcular el costo total de propiedad incluyendo hardware, electricidad, mantenimiento y personal técnico, no solo el costo de API nominal. ### Para el sector educativo 7. **Despliegue en zonas sin conectividad:** Usar Qwen2.5 0.5B Instruct (~0.4 GB en Q4_K_M) o Gemma 4 E2B IT QAT (~3 GB) en Raspberry Pi 5 como tutores sin conexión en escuelas rurales, aprovechando su licencia Apache 2.0 o términos abiertos. 8. **Capacitación en modelos locales:** Formar a docentes y estudiantes en el uso y ajuste fino (*fine-tuning*) de modelos de código abierto, reduciendo la dependencia de proveedores extranjeros y fomentando la soberanía tecnológica. ### Para la investigación académica 9. **Crear un corpus de español rioplatense:** Desarrollar conjuntos de datos representativos del habla rioplatense (voseo, modismos, contexto legal y cultural) para el ajuste fino (*fine-tuning*) y la evaluación de LLM. 10. **Evaluación sistemática multilingüe:** Publicar resultados de *benchmarks* en español para todos los modelos disponibles, identificando brechas específicas del español rioplatense frente a otras variantes. ### Políticas públicas 11. **Incentivos fiscales para cómputo local:** Considerar exenciones impositivas para hardware de IA adquirido por organizaciones educativas y de salud pública, reduciendo la brecha con las soluciones en la nube. 12. **Actualización de la Ley 25.326:** Participar activamente en los proyectos de reforma (Carro, 1948-D-2025; Doñate, 644.25/S) para garantizar que el marco regulatorio contemple específicamente el uso de LLM y APIs de IA. --- ## Lista Detallada de Modelos con Descripción Funcional ### DeepSeek V4 Pro - **Proveedor:** DeepSeek (China) - **Acceso:** API en la nube (no disponible para descarga local) - ***Benchmark* clave:** GPQA Diamond 90.1 % ✓, SWE-Bench Verified 80.6 % ✓, LCB 93.5 % ✓ - **Funcionalidad:** Máximo rendimiento en razonamiento y código. Sin multimodalidad. - **Caso de uso recomendado:** Investigación científica, generación de código complejo, análisis de datos. Ideal para *startups* tecnológicas argentinas con presupuesto para API y sin requerimientos de privacidad estrictos. - **Observaciones para Argentina:** La licencia MIT permite uso comercial sin restricciones. Costo de API: $0.435/$0.87 por cada millón de tokens. Sin multimodalidad, lo que limita las aplicaciones con imágenes. Contexto de 1M de tokens apto para análisis de documentos extensos. ### DeepSeek V4 Flash - **Proveedor:** DeepSeek (China) - **Acceso:** API en la nube - ***Benchmark* clave:** MMLU ~82 % † (no verificado oficialmente) - **Funcionalidad:** Versión económica de DeepSeek V4. Solo texto. - **Caso de uso recomendado:** Tareas de propósito general con presupuesto limitado. - **Observaciones para Argentina:** $0.14/$0.28 por cada millón de tokens. Alternativa económica a GPT-5 Nano para texto. Contexto de 1M de tokens. Sin datos de *benchmarks* de código confirmados. ### GPT-5.4 Nano - **Proveedor:** OpenAI (EE. UU.) - **Acceso:** API en la nube - ***Benchmark* clave:** SWE-Bench Pro 52.4 % ✓ - **Funcionalidad:** Modelo multimodal optimizado para código. Edición de repositorios complejos. - **Caso de uso recomendado:** Ingeniería de software, *debugging* avanzado, tareas que requieren contexto multimodal. - **Observaciones para Argentina:** Lanzamiento en marzo de 2026. SWE-Bench Pro confirmado. MMLU 80.5 % no verificado. $0.20/$1.25. Contexto de 400K. Es el mejor de la familia GPT-5 para código. ### GPT-5 Mini - **Proveedor:** OpenAI (EE. UU.) - **Acceso:** API en la nube - ***Benchmark* clave:** SWE-Bench Pro 45.7 % ✓ - **Funcionalidad:** Modelo multimodal versátil, con equilibrio entre capacidad y costo. - **Caso de uso recomendado:** Aplicaciones multimodales de producción, *chatbots* con capacidad de análisis de imágenes. - **Observaciones para Argentina:** Agosto de 2025. SWE-Bench Pro confirmado. $0.25/$2.00. Contexto de 400K. Para tareas multimodales que no requieren SWE-Bench Pro superior al 50 %. ### GPT-5 Nano - **Proveedor:** OpenAI (EE. UU.) - **Acceso:** API en la nube - ***Benchmark* clave:** GPQA Diamond 35 % ✓ - **Funcionalidad:** Modelo multimodal más económico de OpenAI. - **Caso de uso recomendado:** Clasificación de imágenes, descripción de contenido visual, tareas multimodales de bajo presupuesto. - **Observaciones para Argentina:** Agosto de 2025. GPQA 35 % confirmado, muy por debajo de Nemotron 3 Nano 4B (53.2 %) en razonamiento puro. $0.05/$0.40, el más barato entre los multimodales. "Coding Index 20.3 %" no es un *benchmark* estándar. ### Gemma 4 E4B IT QAT - **Proveedor:** Google - **Acceso:** Descarga local gratuita - ***Benchmark* clave:** MMLU-Pro 69.4 % ✓, HumanEval 62.1 % ✓ - **Funcionalidad:** Modelo local más potente de la muestra. QAT reduce la memoria aproximadamente un 72 %. - **Caso de uso recomendado:** Tareas de propósito general en entorno local, procesamiento de texto sin conexión, aplicaciones con privacidad de datos. - **Observaciones para Argentina:** ~5 GB de RAM. Corre en laptops modernas. Ideal para organismos públicos y *startups* que procesan datos sensibles. No multimodal. La licencia Google TOS permite uso comercial. ### Gemma 4 E2B IT QAT - **Proveedor:** Google - **Acceso:** Descarga local gratuita - ***Benchmark* clave:** MMLU-Pro 60.0 % ✓ - **Funcionalidad:** Modelo local ultraliviano. Corre en Raspberry Pi 5. - **Caso de uso recomendado:** Educación sin conexión en zonas sin conectividad, IoT, aplicaciones embebidas. - **Observaciones para Argentina:** ~3 GB de RAM. Es el mejor equilibrio entre rendimiento y requisitos de hardware. No existe un *benchmark* "Multi-turn 70.0 %" como se reportó erróneamente en estudios preliminares. ### Gemma 3 270M IT - **Proveedor:** Google - **Acceso:** Descarga local gratuita - ***Benchmark* clave:** Ninguno verificado oficialmente. Reportes no oficiales: MMLU-Pro 5.5 %†, GPQA 22.4 %†, HumanEval 41.5 %†. - **Funcionalidad:** Modelo extremadamente pequeño para dispositivos de baja potencia. - **Caso de uso recomendado:** Dispositivos IoT, teléfonos de gama baja, experimentación educativa. - **Observaciones para Argentina:** ~0.5 GB. *Benchmarks* no verificados por Google. Rendimiento cercano al azar en MMLU-Pro y GPQA. No recomendado para aplicaciones de producción que requieran precisión. ### Nemotron 3 Nano 4B - **Proveedor:** NVIDIA - **Acceso:** Descarga local gratuita (GGUF disponible) - ***Benchmark* clave:** GPQA Diamond 53.2 % ✓ (oficial). AIME25 78.5, MATH500 95.4 también oficiales. - **Funcionalidad:** Mejor rendimiento en razonamiento científico entre los modelos locales de la muestra. Contexto NoPE de 1M de tokens. - **Caso de uso recomendado:** Razonamiento matemático y científico local, análisis de documentos extensos, tareas que requieren contexto largo. - **Observaciones para Argentina:** 3-5 GB de RAM. Supera al GPT-5 Nano en GPQA (53.2 % frente a 35 %) pese a ser local. MMLU ~68 % y HumanEval ~40 % no verificados. GGUF facilita el despliegue. Ideal para investigación académica en universidades argentinas. ### Qwen2.5 0.5B Instruct - **Proveedor:** Alibaba (China) - **Acceso:** Descarga local gratuita - ***Benchmark* clave:** Predecesor Qwen2: MMLU 37.9 %, HumanEval 17.1 %. Qwen2.5 0.5B sin *benchmarks* oficiales publicados. - **Funcionalidad:** Modelo miniatura multilingüe. Contexto de 32K nativo (128K extrapolable). - **Caso de uso recomendado:** Dispositivos con recursos extremadamente limitados (<0.5 GB), experimentación, tareas de clasificación simple. - **Observaciones para Argentina:** ~0.4 GB en Q4_K_M. La licencia Apache 2.0 permite uso comercial irrestricto. Rendimiento limitado pero suficiente para tareas muy básicas. Ideal para iniciativas educativas en zonas de extrema precariedad tecnológica. --- ## Visualizaciones de Datos ### Gráfico 1: Mapa Mental de Dimensiones del Análisis ```mermaid mindmap root((Análisis LLMs AR)) Rendimiento MMLU / MMLU-Pro GPQA Diamond SWE-Bench LiveCodeBench HumanEval Costo API por token Hardware local Impuestos ARG Privacidad Ley 25.326 Datos sensibles Offline vs Cloud Multimodalidad Visión Audio Solo texto Contexto ARG Conectividad Español rioplatense Infraestructura ``` *Mapa mental que sintetiza las cinco dimensiones del análisis comparativo: rendimiento, costo, privacidad, multimodalidad y contexto argentino. Cada rama recoge los subfactores evaluados en el informe.* **Fuente:** Elaboración propia a partir de la estructura analítica del presente informe. --- ### Gráfico 2: Diagrama de Flujo del Clasificador de Decisión ```mermaid flowchart TD A[¿Requieres privacidad total?] -->|Sí| B[¿Tienes GPU?] A -->|No| C[¿Tienes internet estable?] B -->|Sí| D[Gemma 4 E4B QAT
Nemotron 3 Nano 4B] B -->|No| E[¿RAM disponible?] E -->|<4GB| F[Gemma 4 E2B QAT
Qwen2.5 0.5B] E -->|4-8GB| G[Gemma 4 E4B QAT] E -->|>8GB| H[Gemma 4 E4B QAT
Nemotron 3 Nano] C -->|Sí| I[¿Tarea multimodal?] C -->|No/inestable| B I -->|Sí| J[GPT-5 Mini
GPT-5.4 Nano] I -->|No| K[¿Máximo rendimiento?] K -->|Sí| L[DeepSeek V4 Pro
GPT-5.4 Nano] K -->|No| M[DeepSeek V4 Flash
GPT-5 Mini] ``` *Árbol de decisión que traduce las condiciones del contexto argentino (privacidad, hardware, conectividad, tarea) en recomendaciones concretas de modelo. Sigue la lógica de la Tabla 2 (Matriz de Decisión).* **Fuente:** Elaboración propia a partir de la Tabla 2 del presente informe. --- ### Gráfico 3: Rendimiento Comparativo por Benchmark (%) ```mermaid xychart-beta title "Rendimiento Comparativo por Benchmark (%)" x-axis ["DS V4 Pro", "DS V4 Flash", "GPT-5.4Nano", "GPT-5 Mini", "Gemma 4E4B", "Gemma 4E2B", "Nemotron 3N", "Qwen 0.5B"] y-axis "Precisión (%)" 0 --> 100 bar [90.1, 82.0, 80.5, 84.2, 69.4, 60.0, 68.0, 45.0] line [90.1, 45.0, 52.4, 48.2, null, null, 53.2, null] ``` *Barras: MMLU (valor disponible más representativo de cada modelo). Línea: GPQA Diamond (donde está confirmado). Las ausencias (null) indican modelos que no reportan GPQA, generalmente porque su rendimiento ronda el azar (25 %). **Nota:** Los valores de MMLU para la familia GPT-5 y DeepSeek V4 Flash no están confirmados oficialmente (†).* **Fuente:** Documentación oficial de cada proveedor y Artificial Analysis Intelligence Index (2025). --- ### Gráfico 4: Posicionamiento Costo vs. Rendimiento en Código ```mermaid quadrantChart title "Costo vs Rendimiento en Código" x-axis "Bajo Costo" --> "Alto Costo" y-axis "Bajo Rendimiento" --> "Alto Rendimiento" quadrant-1 "Recomendados" quadrant-2 "Premium" quadrant-3 "Económicos" quadrant-4 "Evitar" "DeepSeek V4 Pro": [0.75, 0.95] "GPT-5.4 Nano": [0.60, 0.80] "Gemma 4 E4B": [0.25, 0.65] "Gemma 4 E2B": [0.15, 0.55] "Qwen 0.5B": [0.05, 0.30] "Nemotron 3N": [0.20, 0.45] ``` *Matriz 2×2 que cruza el costo relativo (eje X: bajo → alto) con el rendimiento en tareas de código (eje Y: bajo → alto). El cuadrante superior derecho (Recomendados) agrupa los modelos con mejor equilibrio. DeepSeek V4 Pro lidera en rendimiento pero con costo moderado-alto. Los modelos locales (Gemma, Nemotron, Qwen) se concentran en el cuadrante inferior izquierdo (Económicos) con rendimiento variable.* **Fuente:** Elaboración propia con datos de rendimiento de la Tabla 1 y costos de API/hardware de la Dimensión 2. --- ### Gráfico 5: Línea de Tiempo — Evolución de Benchmarks de LLM ```mermaid timeline title Evolución de Benchmarks de LLM 2021 : HumanEval (OpenAI) : 164 problemas Python 2021 : MMLU (Hendrycks) : 57 materias, 14K preguntas 2023 : GPQA (Rein et al.) : 198 preguntas nivel PhD 2023 : SWE-Bench (Princeton) : Issues reales de GitHub 2024 : LiveCodeBench : Contaminación controlada 2024 : MMLU-Pro : Versión mejorada, 10 opciones ``` *Línea de tiempo que contextualiza la evolución de los benchmarks utilizados en el informe. Desde HumanEval (2021) hasta MMLU-Pro (2024), refleja la creciente sofisticación y especialización de las evaluaciones de LLM.* **Fuente:** Artículos originales de cada benchmark citados en las Referencias. --- ## Referencias CABASE. (2025). *CABASE Internet Index*. https://www.cabase.org.ar Chen, M., Tworek, J., Jun, H., Yuan, Q., Pinto, H. P., Kaplan, J., Edwards, H., Burda, Y., Joseph, N., Brockman, G., Ray, A., Puri, R., Krueger, G., Petrov, M., Khlaaf, H., Sastry, G., Mishkin, P., Chan, B., Gray, S., … Zaremba, W. (2021). Evaluating Large Language Models Trained on Code. *arXiv*. https://arxiv.org/abs/2107.03374 DataReportal. (2025). *Digital 2025: Argentina*. https://datareportal.com/reports/digital-2025-argentina Epoch AI. (2025, 30 de mayo). GPQA Diamond: What's left? *Gradient Updates*. https://epoch.ai/gradient-updates/gpqa-diamond-whats-left Estudio Piacentini. (2025, 31 de octubre). *Impuestos que se pagan sobre los servicios digitales del exterior*. https://www.estudiopiacentini.com.ar/impuestos-que-se-pagan-sobre-los-servicios-digitales-del-exterior/ Hendrycks, D., Burns, C., Basart, S., Zou, A., Mazeika, M., Song, D., & Steinhardt, J. (2021). Measuring Massive Multitask Language Understanding. *ICLR 2021*. https://arxiv.org/abs/2009.03300 Inteligencia Argentina. (2025, 24 de junio). El boom de la IA en Argentina: ¿en qué sectores está creciendo más? *Inteligencia Argentina*. https://inteligenciaargentina.ar/inteligencia-artificial/el-boom-de-la-inteligencia-artificial-en-argentina-en-que-sectores-esta-creciendo-mas Jain, N., Han, K., Gu, A., Li, W.-D., Yan, F., Zhang, T., Wang, S., Solar-Lezama, A., Sen, K., & Stoica, I. (2024). LiveCodeBench: Holistic and Contamination Free Evaluation of LLMs for Code. *arXiv*. https://arxiv.org/abs/2403.07974 Jimenez, C. E., Yang, J., Wettig, A., Yao, S., Pei, K., Press, O., & Narasimhan, K. (2023). SWE-bench: Can Language Models Resolve Real-World GitHub Issues? *arXiv*. https://arxiv.org/abs/2310.06770 Ley 25.326 de Protección de Datos Personales. (2000). *Boletín Oficial de la República Argentina*. https://www.argentina.gob.ar/normativa/nacional/ley-25326-64790 Plaza, I., Melero, N., del Pozo, C., y otros. (2024). Spanish and LLM Benchmarks: is MMLU Lost in Translation? *arXiv*. https://arxiv.org/abs/2406.17789 Rein, D., Hou, B. L., Stickland, A. C., Petty, J., Pang, R. Y., Dirani, J., Michael, J., & Bowman, S. R. (2023). GPQA: A Graduate-Level Google-Proof Q&A Benchmark. *arXiv*. https://arxiv.org/abs/2311.12022 Resolución 47/2018 AAIP. (2018). *Boletín Oficial de la República Argentina*, 25 de julio de 2018. https://servicios.infoleg.gob.ar/infolegInternet/anexos/310000-314999/312662/norma.htm VentureBeat. (2026, 6 de enero). Artificial Analysis overhauls its AI Intelligence Index, replacing popular benchmarks. *VentureBeat*. https://venturebeat.com/technology/artificial-analysis-overhauls-its-ai-intelligence-index-replacing-popular Wang, Y., Ma, X., Zhang, G., Ni, Y., Chandra, A., Guo, S., Ren, W., Aribandi, V., He, H., Huang, Y., y otros. (2024). MMLU-Pro: A More Robust and Challenging Multi-Task Language Understanding Benchmark. *NeurIPS 2024*. https://neurips.cc/virtual/2024/poster/97435 --- ## Anexos ### Anexo A: Glosario de Términos Técnicos | Término | Definición | |---------|------------| | **API** | Interfaz de programación de aplicaciones. Permite enviar consultas a un modelo remoto y recibir respuestas. | | ***Benchmark*** | Prueba estandarizada para medir el rendimiento de modelos de lenguaje. | | ***Fine-tuning*** | Ajuste fino de un modelo preentrenado con datos específicos para mejorar su rendimiento en una tarea o dominio particular. | | **GGUF** | Formato de archivo optimizado para la ejecución local de modelos cuantizados. | | **GPQA Diamond** | Subconjunto de 198 preguntas de nivel de doctorado del *benchmark* GPQA. | | **LCB** | *LiveCodeBench*. *Benchmark* de código que utiliza problemas de competencias de programación. | | **MMLU** | *Massive Multitask Language Understanding*. *Benchmark* de conocimiento general en 57 materias. | | **Multimodal** | Capacidad de procesar múltiples tipos de datos (texto, imágenes, audio). | | **NoPE** | *No Positional Encoding*. Técnica de atención sin codificación posicional explícita. | | **QAT** | *Quantization-Aware Training*. Entrenamiento que considera la cuantización para reducir el uso de memoria sin pérdida significativa de precisión. | | **RAG** | *Retrieval-Augmented Generation*. Técnica que combina la recuperación de información externa con la generación de texto. | | **SWE-Bench** | *Benchmark* que evalúa la capacidad de resolver *issues* reales de GitHub. | | **TCO** | *Total Cost of Ownership*. Costo total de propiedad, incluyendo adquisición, operación y mantenimiento. | ### Anexo B: Fuentes Adicionales Sugeridas Para la actualización y profundización de este análisis, se sugieren las siguientes fuentes: - **Artificial Analysis Intelligence Index:** https://artificialanalysis.ai/evaluations — índice compuesto actualizado periódicamente. - **SWE-Bench Live (Microsoft):** https://swe-bench-live.github.io — reemplazo de SWE-Bench original con *issues* actualizados. - **Proyectos de reforma de la Ley 25.326:** Carro (1948-D-2025) y Doñate (644.25/S) en el Congreso argentino. - **Plaza et al. en HuggingFace:** https://huggingface.co/papers/2406.17789 — evaluación de MMLU en español. - **CABASE Internet Index:** https://www.cabase.org.ar — datos actualizados de conectividad argentina. --- *Documento generado en julio de 2025. Los datos de benchmarks y precios corresponden a la información disponible al momento de la elaboración. Se recomienda verificar los precios de API y las versiones de los modelos en las fuentes oficiales antes de tomar decisiones de adopción.*