ArtificialGuyBR

Home / Blog / Fixing things

Ejecutar FLUX en 8GB: fp8, GGUF y lo que funciona

FLUX.1 en 8GB VRAM con cuantización fp8/GGUF, descarga a CPU y el presupuesto de 4 pasos de schnell. Fuentes sobre rutas, archivos y velocidades.

10 sources cited Fixing things

On this page

  1. TL;DR
  2. FLUX.1-schnell versus FLUX.1-dev
  3. ¿Ejecuta FLUX en 8GB VRAM sin cuantización?
  4. ¿Cómo reduce la cuantización fp8 la huella de memoria?
  5. ¿Puede GGUF ejecutar FLUX en VRAM aún menor?
  6. ¿Qué resolución y presupuesto de pasos se completan realmente en 8GB?
  7. ¿Qué deberías descargar a CPU?
  8. Errores comunes y soluciones
  9. FAQ
  10. Sources

Ejecutar FLUX en 8GB de VRAM

FLUX.1 debutó como un modelo texto-imagen de 12 mil millones de parámetros con una calidad de prompt que rivalizaba con sistemas de código cerrado. Ese rendimiento tuvo un costo: el modelo fp16 completo y su codificador de texto pueden superar el presupuesto de memoria de una GPU de 8GB. Si quieres ejecutar FLUX localmente en 8GB VRAM, la cuantización fp8, la descarga GGUF y el presupuesto correcto de pasos no son opciones de ajuste opcionales; son las condiciones que hacen que el flujo de trabajo se complete.

Este artículo cubre las diferencias verificadas entre FLUX.1-schnell y FLUX.1-dev, las rutas fp8 y GGUF, qué descargar a CPU, y la resolución y el recuento de pasos que los usuarios reportan completando de forma consistente en 8GB VRAM.

TL;DR

  • Usa FLUX.1-schnell con 4 pasos y muestreo Euler como la única ruta local rápida y confiable en 8GB VRAM; FLUX.1-dev generalmente necesita más pasos y más margen de memoria.
  • Carga el UNet fp8 o un modelo cuantizado GGUF a través del nodo personalizado ComfyUI-GGUF, y coloca ae.safetensors junto con los archivos CLIP esperados en sus carpetas estándar.
  • Presupuesta la memoria del sistema y el disco con cuidado: la carga puede consumir aproximadamente 32GB de RAM y necesita alrededor de 25GB de espacio libre en disco, o el flujo de trabajo puede fallar antes del primer paso.

FLUX.1-schnell versus FLUX.1-dev

Black Forest Labs posiciona los dos modelos de pesos abiertos de forma diferente. FLUX.1-schnell está destilado para velocidad y puede generar imágenes en 1 a 4 pasos sin un muestreador LCM. FLUX.1-dev también está destilado, pero está entrenado para calidad y uso no comercial, lo que generalmente implica más pasos de inferencia y mayor presión de memoria durante la generación. El efecto práctico para los dueños de 8GB VRAM es que schnell es el candidato local realista; dev es mejor visto como un objetivo de mayor calidad para hardware con más margen.

La licencia también difiere. FLUX.1-schnell se publica bajo Apache 2.0, mientras que FLUX.1-dev usa una licencia no comercial. Si evalúas modelos para un proyecto con uso comercial, schnell es el punto de partida más seguro. Feature | FLUX.1-schnell | FLUX.1-dev | Source

|---|---|---|---

Rango de pasos recomendado | 1–4 pasos | Se requiere un número mayor de pasos | https://github.com/black-forest-labs/flux/blob/main/model_cards/FLUX.1-schnell.md Caso de uso principal | Generación local rápida | Generación no comercial de mayor calidad | https://github.com/black-forest-labs/flux/blob/main/model_cards/FLUX.1-schnell.md, https://github.com/black-forest-labs/flux/blob/main/model_cards/FLUX.1-dev.md Licencia | Apache-2.0 | No comercial | https://huggingface.co/black-forest-labs/FLUX.1-schnell Calidad típica percibida | Más rápido, algunos usuarios lo describen como más suave | Más fotográfico, más lento de renderizar | https://civitai.com/articles/6653 ComfyUI espera los checkpoints de UNet, VAE y CLIP en carpetas específicas; confirma el diseño de carpetas de tu instalación antes de copiar archivos.

¿Ejecuta FLUX en 8GB VRAM sin cuantización?

No en fp16. El checkpoint estándar de FLUX y su codificador de texto juntos pueden superar el presupuesto de memoria de una tarjeta de 8GB antes de que la generación siquiera comience. La comunidad usa consistentemente dos desvíos para sortear ese techo: UNets cuantizados fp8 y cargadores GGUF que pueden descargar pesos inactivos a la RAM del sistema o al disco. Sin una de esas rutas, el flujo de trabajo generalmente se detiene con un error de memoria insuficiente o se estanca durante la fase de carga.

Para una visión más amplia de lo que necesita cada modelo, consulta Requisitos de VRAM por modelo.

¿Cómo reduce la cuantización fp8 la huella de memoria?

FP8 en el contexto de FLUX generalmente significa float8_e4m3fn, un formato de almacenamiento de 8 bits para los pesos del modelo. Como fp16 almacena cada peso en 16 bits y fp8 lo almacena en 8 bits, la huella de memoria de los pesos se reduce aproximadamente a la mitad. La documentación de cuantización de diffusers (bitsandbytes) indica que la cuantización de 8 bits "multiplica los valores atípicos en fp16 con los no atípicos en int8, convierte los valores no atípicos de vuelta a fp16, y luego los suma para devolver los pesos en fp16", lo que preserva el comportamiento de salida mientras reduce la memoria de pesos. Para FLUX, el mismo principio se aplica a las variantes fp8.

Una distribución fp8 ampliamente usada es el repositorio Kijai flux-fp8, que ofrece variantes fp8 tanto para FLUX.1-schnell como para FLUX.1-dev. Al usar fp8 en ComfyUI, los usuarios reportan colocar los archivos en carpetas específicas:

  • flux1-schnell-fp8.safetensors en ComfyUI/models/unet
  • ae.safetensors en ComfyUI/models/vae
  • Archivos CLIP como clip_l.safetensors y t5xxl_fp16.safetensors en ComfyUI/models/clip

Nota: el nombre del archivo VAE cambió a ae.safetensors en los flujos de trabajo fp8, por lo que los tutoriales antiguos que referencian nombres de estilo sd3 anteriores pueden inducir a error durante la configuración.

¿Puede GGUF ejecutar FLUX en VRAM aún menor?

GGUF almacena los pesos del modelo en una forma cuantizada que se puede cargar por partes, lo que lo hace atractivo para GPUs con VRAM muy limitada. El nodo personalizado ComfyUI-GGUF proporciona un cargador de UNet GGUF y cargadores CLIP con soporte GGUF que se integran en flujos de trabajo regulares, con versiones pre-cuantizadas de FLUX.1-schnell y FLUX.1-dev ya disponibles.

Su README dice que los modelos tipo transformador como FLUX parecen menos afectados por la cuantización que las arquitecturas convolucionales UNet más antiguas, por lo que las cuantizaciones GGUF de bits más bajos pueden seguir siendo utilizables en tarjetas con 8GB VRAM o menos. En la práctica, un adjunto de flujo de trabajo de la comunidad muestra generación exitosa en una GPU de notebook 3050 con solo 4GB VRAM, así que GGUF es la ruta cuando fp8 sigue siendo demasiado pesado.

Una vez que funciona, los ajustes que importan se tratan en Parámetros de entrenamiento de LoRA de FLUX para entrenamiento y en nuestra guía de samplers y schedulers para generación.

¿Qué resolución y presupuesto de pasos se completan realmente en 8GB?

En 8GB VRAM con las rutas fp8 o GGUF, el único presupuesto local rápido reportado de forma consistente es FLUX.1-schnell más 4 pasos con muestreo Euler. Los reportes de la comunidad describen la salida 1024x768 completándose en unos 2 minutos con esa configuración. A cambio, cargar el modelo es lento: los mismos reportes describen tiempos totales de generación de alrededor de 20 minutos cuando se incluye la carga del modelo.

Si comparas eso con hardware en la nube o local de gama alta, el cuello de botella no es el muestreador; es el movimiento de pesos entre la RAM de la CPU y la VRAM de la GPU. El presupuesto de pasos anterior es realista, no aspiracional; la calidad tipo dev en 20–50 pasos generalmente es impracticable dentro de un sobre de 8GB VRAM. Setting | Resultado reportado | Notas | Source

|---|---|---|---

Modelo | FLUX.1-schnell | fp8 o GGUF | https://civitai.com/articles/6653 Muestreador | Euler | Confiable para el presupuesto de pasos | https://github.com/black-forest-labs/flux/blob/main/model_cards/FLUX.1-schnell.md Pasos | 4 | Coincide con el rango documentado de schnell | https://github.com/black-forest-labs/flux/blob/main/model_cards/FLUX.1-schnell.md Resolución | 1024x768 | Reportado por la comunidad; tamaños mayores aumentan el uso de memoria | https://civitai.com/articles/6653 Tiempo aproximado de generación | unos 2 minutos | Excluyendo la carga inicial del modelo | https://civitai.com/articles/6653 Tiempo total del flujo de trabajo | unos 20 minutos | Incluye carga y latencia de descarga a CPU | https://civitai.com/articles/6653

¿Qué deberías descargar a CPU?

La ruta práctica de descarga es enable_model_cpu_offload(), que mueve los pesos del modelo a la RAM del sistema mientras no se necesitan activamente en la GPU. Eso mantiene la VRAM pico más baja, pero agrega latencia a medida que los pesos se mueven de ida y vuelta durante la generación. El intercambio es inevitable en tarjetas de 8GB: la descarga hace que el flujo de trabajo se complete, pero también extiende el tiempo de carga.

Los usuarios reportan que la fase de carga en sí misma consume mucha memoria. Aproximadamente 32GB de RAM del sistema pueden consumirse mientras el modelo se prepara, y una vez que los archivos de instalación están presentes, se necesitan alrededor de 25GB de espacio libre en disco para evitar fallas de carga. Si tu SSD o HDD está cerca de su capacidad, ese es el primer cuello de botella que debes despejar antes de depurar la configuración de la GPU.

Errores comunes y soluciones

Síntoma | Causa reportada | Solución | Source

|---|---|---|---

La carga se estanca o reporta una pausa tipo bloqueo | Espacio en disco insuficiente para el derrame o descarga de pesos | Libera al menos 25GB de espacio en disco antes de ejecutar | https://civitai.com/articles/6653 Error de memoria insuficiente antes del primer paso | El modelo excede la VRAM sin cuantización ni descarga | Usa fp8 o GGUF con descarga a CPU | https://civitai.com/articles/6537 Generación muy lenta y cuelgues aparentes | Comportamiento normal para fp8/GGUF + descarga a CPU en 8GB VRAM | Acepta la latencia de carga; usa Euler de 4 pasos para un tiempo de respuesta más rápido | https://civitai.com/articles/6653

FAQ

¿Cuánta VRAM necesita FLUX.1-schnell para inferencia de 4 pasos? El modelo puede ejecutarse técnicamente en 8GB VRAM cuando se combina con cuantización fp8 o GGUF y descarga a CPU, pero el rendimiento depende en gran medida de si la RAM del sistema y el disco también son suficientes. El schnell fp16 completo generalmente excede una tarjeta de 8GB, por lo que la cuantización es la ruta práctica.

¿Puede FLUX ejecutarse en una GPU de 8GB en absoluto? Sí. Los flujos de trabajo de la comunidad demuestran FLUX.1-schnell ejecutándose en tarjetas de 8GB usando cuantización fp8 o GGUF, con ComfyUI-GGUF permitiendo también ejecuciones en hardware con tan solo 4GB VRAM. El éxito depende de la colocación de archivos, el comportamiento de descarga y la RAM del sistema disponible.

¿Cuál es la diferencia entre FLUX.1-schnell fp8 y GGUF? fp8 reduce la precisión de los pesos en un formato safetensors estándar, mientras que GGUF usa un contenedor cuantizado con soporte integrado para carga de VRAM baja y descarga parcial. fp8 funciona con los cargadores ordinarios de ComfyUI; GGUF requiere el nodo personalizado ComfyUI-GGUF y ofrece ahorros de VRAM más agresivos.

¿Por qué tarda tanto en cargar FLUX? En sistemas de 8GB VRAM, ese proceso puede consumir aproximadamente 32GB de RAM del sistema y tomar tanto tiempo que el tiempo total de generación está dominado por el inicio, no por el muestreo.

¿Qué resolución puede generar FLUX en 8GB VRAM? Los reportes de la comunidad citan 1024x768 con muestreo Euler en 4 pasos como un presupuesto realista. Las resoluciones más altas aumentan la demanda de memoria y cómputo, por lo que es más probable que fallen o requieran cuantización o descarga aún más agresivas.

Sources