Qué RTX usar para correr LLMs en 2026: comparativa por modelo
NVIDIA domina el mercado de inference local de LLMs en 2026, principalmente por su ecosistema CUDA maduro y la enorme cantidad de VRAM disponible incluso en GPUs mobile. Pero elegir mal el modelo de RTX puede dejarte sin poder correr el LLM que querías. Esta guía te dice qué RTX específica encaja con cada tamaño de modelo, qué tokens/s esperar, y cuándo Apple Silicon es alternativa válida.
Por qué NVIDIA domina la inference local
Tres razones:
- CUDA: el framework de aceleración GPU más maduro. Herramientas como llama.cpp, vLLM, exllamav2, tabbyAPI están optimizadas para él.
- VRAM disponible: las RTX consumer llegan hasta 24 GB (4090), 32 GB (5090 desktop) o más en línea Pro. AMD y Intel se quedan en 16 GB típicamente.
- Throughput: arquitectura Tensor Cores aceleran operaciones de IA específicamente. Una RTX 4070 es 4-5x más rápida que su equivalente CPU.
VRAM mínima por tamaño de LLM
Regla práctica para modelos cuantizados en Q4_K_M:
| Modelo | Parámetros | VRAM Q4 | VRAM Q5 | VRAM Q6 | |---|---:|---:|---:|---:| | Llama 3.2 1B | 1B | 1 GB | 1 GB | 1.5 GB | | Llama 3.2 3B | 3B | 2 GB | 2.5 GB | 3 GB | | Llama 3.1 8B | 8B | 5 GB | 6 GB | 7 GB | | Mistral 7B | 7B | 4.5 GB | 5.5 GB | 6.5 GB | | Llama 3.1 13B | 13B | 8 GB | 9.5 GB | 11 GB | | Qwen 2.5 14B | 14B | 8.5 GB | 10 GB | 12 GB | | DeepSeek R1 14B | 14B | 8.5 GB | 10 GB | 12 GB | | Qwen 2.5 32B | 32B | 19 GB | 22 GB | 26 GB | | DeepSeek R1 32B | 32B | 19 GB | 22 GB | 26 GB | | Llama 3.3 70B | 70B | 40 GB | 47 GB | 56 GB |
Agrega 1-3 GB extra para contexto (depende de la longitud).
RTX 4060 mobile (8 GB) — entry-level inference
- VRAM: 8 GB GDDR6
- TGP: 75-140 W según portátil
- Precio típico en portátil: $1.000-1.400 USD
Modelos que ejecuta cómodamente: Llama 3.2 3B, Llama 8B Q4, Mistral 7B Q5, Qwen 7B.
Tokens/s típicos: 25-40 t/s en Llama 8B Q4.
No corre: nada por encima de 8B sin offload a RAM (caída brutal de velocidad).
RTX 4070 / 4070 Ti mobile (8 GB) — mainstream
- VRAM: 8 GB GDDR6
- TGP: 80-140 W
Igual cantidad de VRAM que la 4060 pero más compute. Mejora throughput un 30-40% en los mismos modelos. Sin embargo, sigue limitado a modelos hasta 8B sin offload.
Si vas a hacer IA local, la 4060 sale más a cuenta que la 4070 a igualdad de VRAM, salvo que también juegues mucho.
RTX 4080 / 4080 Super mobile (12 GB) — mainstream serio
- VRAM: 12 GB GDDR6
- TGP: 100-175 W
Aquí ya entras en territorio interesante. Cubre Llama 13B en Q5/Q6 cómodo, Qwen 14B Q5, modelos de visión, Stable Diffusion XL con LoRAs.
Tokens/s típicos: 20-30 t/s en Llama 13B Q4, 12-18 t/s en Llama 13B Q5.
RTX 5070 / 5070 Ti mobile (12 GB) — refresh 2025
- VRAM: 12 GB GDDR7
- TGP: 90-150 W
Misma VRAM que 4080, mejor eficiencia y soporte GDDR7. Para IA local básicamente equivalente a RTX 4080 pero con mejor autonomía bajo carga.
RTX 5080 mobile (16 GB) — high-end
- VRAM: 16 GB GDDR7
- TGP: 100-175 W
Aquí ya estás en serio. Cubre modelos 13B en Q6/Q8, Llama 30B Q4 con offload mínimo, fine-tuning ligero con LoRA, SDXL con múltiples controles.
Tokens/s: 30-50 t/s en Llama 13B Q4, 8-12 t/s en Llama 30B Q4.
RTX 5090 mobile (24 GB) — top de gama
- VRAM: 24 GB GDDR7
- TGP: 120-175 W
El máximo en portátil. Corre Llama 30B en Q5/Q6 cómodo, modelos 70B con offload moderado a RAM.
Precio típico en portátil: $3.500-5.500 USD.
RTX A6000 / RTX Pro 6000 — workstation
Líneas profesionales con 48 GB de VRAM. Solo en workstations de escritorio o portátiles de gama Dell Precision / HP ZBook a 6.000+ USD. Para uso doméstico no tiene sentido.
Throughput esperado por modelo
Tokens por segundo en condiciones típicas (GPU al 100%, contexto medio):
| GPU | Llama 8B Q4 | Llama 13B Q4 | Llama 30B Q4 | |---|---:|---:|---:| | RTX 4060 | 30 t/s | con offload | inviable | | RTX 4070 | 40 t/s | 18 t/s offload | inviable | | RTX 4080 | 50 t/s | 25 t/s | con offload | | RTX 5070 | 55 t/s | 30 t/s | con offload | | RTX 5080 | 70 t/s | 40 t/s | 10 t/s | | RTX 5090 | 90 t/s | 55 t/s | 20 t/s |
Como referencia: una lectura humana cómoda es 5-8 tokens/s. Por encima de eso, el texto aparece más rápido de lo que puedes leer.
Alternativas a NVIDIA
Apple Silicon (Mac M5 Pro/Max)
Ventaja clave: unified memory. Lo que en NVIDIA serían 64 GB de VRAM (imposible en portátil), en M5 Max es simplemente "64 GB de RAM total". Permite correr Llama 70B Q4 en portátil.
Penalización: velocidad pura por token es 20-40% menor que NVIDIA equivalente. Pero el throughput sigue siendo usable.
Snapdragon X2 Elite (NPU)
80 TOPS de NPU. Cubre modelos pequeños (3B-7B) con buena autonomía. Para casual y mobile, perfecto. Para serio, queda corto.
AMD Radeon RX 7800S / 7900M
Compatible con ROCm pero ecosistema software inmaduro frente a CUDA. Si ya tienes una y quieres experimentar, sirve. Para comprar nuevo, NVIDIA gana en facilidad.
Recomendación final
- Probar IA local sin gastar mucho: RTX 4060 mobile en portátil ~$1.300 USD. Cubre el 80% de casos de uso.
- Uso diario serio: RTX 4080 / 5070 mobile + 32 GB RAM. ~$2.000-2.500 USD. Aquí ya tienes un setup que cubre modelos 13B con calidad.
- Modelos grandes en portátil: MacBook Pro M5 Max con 64-96 GB. ~$3.500-5.000 USD.
- Profesional / fine-tuning: desktop con RTX 5090 + 64 GB RAM, no portátil.
Preguntas frecuentes
¿Vale la pena RTX 4090 mobile (16 GB) si existe RTX 5080 (16 GB)? Misma VRAM, la 5080 trae GDDR7 y mejor eficiencia. Prefiere 5080 salvo que la 4090 esté significativamente más barata.
¿Puedo combinar dos RTX en portátil para más VRAM? No. Los portátiles no soportan multi-GPU. Solo desktops con NVLink.
¿RTX 5060 mobile (cuando salga) será mejor que 4060? Probablemente sí en eficiencia y un poco en throughput. Pero seguirá con 8 GB VRAM, así que mismo techo de modelos.
¿Necesito CUDA o también funciona con DirectML / Vulkan? CUDA es 2-5x más rápido para LLMs. DirectML existe pero está muy detrás. Para serio, NVIDIA + CUDA.
¿Qué portátil específico te conviene?
Cuéntale al asesor IA qué modelos quieres correr (Llama 70B, DeepSeek R1, Qwen 32B...) y tu presupuesto. Te dice el portátil con la RTX específica que necesitas y el throughput esperado.