Carácter consistente de difusión estable sin LoRA

Un objetivo común es lograr que el mismo personaje aparezca consistentemente en múltiples generaciones de Difusión Estable sin entrenar una incrustación de LoRA o Inversión Textual. El desafío no es sólo generar una única cara reconocible, sino hacer que esa cara reaparezca en diferentes poses, atuendos, iluminación y escenas sin dejar de ser inequívocamente la misma persona.

TL;DR

La coherencia de caracteres de solo aviso en Difusión estable se limita a énfasis inmediato (() / [] / pesos de dos puntos) y semillas fijas. Las "frases mágicas" como una-y-la-misma-persona-solo-a-partir-de-ahora no son afirmaciones de la comunidad; el autor dijo más tarde que solo funcionan "para clips". Los guiones y las comillas en las indicaciones se analizan como texto sin formato, no sintaxis especial. Para obtener resultados confiables, entrene un LoRA o incrustación de inversión textual en su lugar.

Lo que realmente mantiene la identidad en las imágenes

Sintaxis de énfasis rápido

Stable Diffusion WebUI admite énfasis rápido entre paréntesis () y corchetes []. El uso de () aumenta la atención a las palabras encerradas, mientras que [] disminuye[] eso. La gramática del analizador rápido incluye una sintaxis de ponderación explícita basada en dos puntos para un control más preciso.()[]

Fuente: https://github.com/AUTOMATIC1111/stable-diffusion-webui/wiki/Features

Límites de tokens CLIP

El codificador de texto basado en CLIP de Stable Diffusion procesa mensajes en fragmentos de 75 tokens, y los mensajes más largos se dividen automáticamente.

Fuente: https://github.com/AUTOMATIC1111/stable-diffusion-webui/wiki/Features

Sintaxis de peso en el analizador

La gramática del analizador rápido muestra que (prompt ":" prompt ")" es una forma enfatizada válida, con la sintaxis de dos puntos separando el peso del segmento de aviso adjunto.

Fuente: https://github.com/AUTOMATIC1111/stable-diffusion-webui/blob/master/modules/prompt_parser.py

La alternativa de LoRA y la inversión textual

Antes de explorar técnicas de solo indicaciones, vale la pena comprender qué hacen realmente los métodos de entrenamiento adecuados para lograr la coherencia del personaje.

LoRA (adaptación de bajo rango) congela los pesos del modelo previamente entrenado e inyecta matrices de bajo rango entrenables en cada capa de la arquitectura Transformer. Esto permite realizar ajustes con muchos menos parámetros que el entrenamiento completo del modelo.

Textual Inversion aprende nuevas palabras incorporadas a partir de solo 3 a 5 imágenes de un concepto. Estas "palabras" se incorporan al espacio de incrustación del modelo, lo que le permite reconocer y generar el concepto específico.

Ambos métodos modifican la representación interna del concepto del personaje en el modelo, haciéndolo mucho más confiable que la simple formulación de indicaciones.

Fuentes: https://arxiv.org/abs/2106.09685, https://textual-inversion.github.io/

Donde el enfoque fracasa

La afirmación de la "frase mágica"

Una publicación popular afirmó que cadenas de peso específicas como (one-and-the-same-person-only-from-now-on) bloquearía la identidad del personaje a través de generaciones. El autor aclaró más tarde: "sólo sirve para clips".

Esto crea una contradicción: la afirmación original sugería una amplia aplicabilidad, mientras que la actualización redujo drásticamente el alcance. Ninguna documentación independiente confirma que estas frases tengan un comportamiento especial más allá de la sintaxis de énfasis estándar.

Fuentes: https://civitai.com/posts/1327296, https://civitai.com/posts/1398043

Los guiones y las comillas no son una sintaxis especial

Algunos usuarios creen que los guiones y las comillas en las indicaciones crean un comportamiento de análisis especial. La gramática del analizador rápido muestra que los guiones - y las comillas " se comparan como caracteres literales simples, no como tokens de sintaxis especiales."

Fuente: https://github.com/AUTOMATIC1111/stable-diffusion-webui/blob/master/modules/prompt_parser.py

No existe ningún mecanismo de cortesía

Una técnica afirmada implicaba "ser cortés con su punto de control" con un mensaje de seguimiento como (THANK-YOU-AI! the-last-one-was-correct) para bloquear la identidad.

Fuente: https://civitai.com/posts/1327296

La limitación del recorte

La actualización del autor de que esto sólo funciona para "clips" no deja claro el significado exacto. Podría referirse a puntos de control basados ​​en CLIP, configuraciones de omisión de CLIP o algo completamente distinto. Sin aclaración, esta limitación no se puede implementar adecuadamente.

Límites de la coherencia de las indicaciones únicamente

Sin entrenar al modelo para que reconozca una identidad específica, le está pidiendo que asigne consistentemente una descripción textual a una apariencia visual específica. Los mecanismos documentados (énfasis rápido, semilla fija, límites de tokens) pueden aumentar la coherencia, pero ninguna fuente abierta confirma que puedan garantizarlo.

Por qué la coherencia de las indicaciones únicamente es inherentemente limitada

El único mecanismo técnicamente verificado es el énfasis rápido mediante () / [] / pesos explícitos, que modulan la magnitud de la atención cruzada.[]Todo lo demás en el artículo fuente es una anécdota comunitaria no verificada. Ninguna fuente abierta confirma por qué las frases ad hoc preservarían la identidad a través de generaciones.

Recomendaciones prácticas

Utilice estratégicamente el énfasis rápido

En lugar de esperar frases mágicas para bloquear la identidad, utilice () para enfatizar rasgos específicos que definen el carácter: color de cabello, forma de ojos, estructura facial. Combine esto con una semilla fija para obtener resultados reproducibles.

Cuándo considerar la capacitación

Si necesita una verdadera coherencia de caracteres a lo largo de muchas generaciones, entrenar una incrustación de inversión textual o LoRA es el camino confiable. Estos métodos modifican la representación interna del personaje en el modelo, haciendo que la coherencia sea mucho más confiable que los trucos rápidos por sí solos.

Errores comunes y soluciones

Preguntar demasiado tiempo

Si el descriptor de tu personaje supera los 75 tokens, CLIP lo divide en partes. Utilice el BREAK palabra clave para controlar dónde ocurren las divisiones, asegurando que los detalles más importantes de tu personaje permanezcan juntos.

Solución: Agregar BREAK antes de los descriptores de personajes críticos.

Paréntesis desequilibrados

Los paréntesis que no coinciden provocan errores de análisis. El analizador vuelve a tratar el mensaje sin formato tal como está, lo que puede no brindarle los efectos de énfasis que espera.

Solución: Cuente los paréntesis, cada uno ( necesita un ) coincidente.)

Incrustación no reconocida

Si utiliza incrustaciones de inversión textual, asegúrese de que el archivo esté en su embeddings directorio y utilice el nombre del archivo (sin extensión) como token de solicitud.

Arreglo: Lugar .pt o archivos .bin en el .bincarpeta de ings.

Preguntas frecuentes (FAQ)

¿Pueden las indicaciones por sí solas mantener un carácter consistente entre imágenes de Difusión Estable?

El énfasis oportuno puede aumentar la coherencia, pero no puede garantizar la misma cara entre generaciones. Para lograr una coherencia de caracteres confiable, la inversión textual o LoRA es el camino práctico.

¿La redacción del mensaje afecta la identidad del personaje más que la semilla?

Ambos importan. La semilla determina el ruido inicial, mientras que el aviso determina lo que genera el modelo a partir de ese ruido. Una indicación fuerte y específica con énfasis puede hacer que un personaje sea más reconocible, pero la semilla aún afecta la pose, la expresión y los rasgos menores.

¿Qué controla realmente la identidad del personaje en las indicaciones de Difusión Estable?

La identidad del personaje está controlada por la combinación de la especificidad de la indicación, lo aprendido antes por el modelo en esa indicación y el ruido de muestreo. Enfatizar los rasgos faciales clave ayuda, pero los datos de entrenamiento del modelo determinan en última instancia qué tan bien puede reproducir una identidad específica.

¿Existe alguna razón técnica por la cual LoRA funciona mejor que los trucos rápidos?

LoRA modifica las matrices de peso del modelo para codificar nueva información directamente. Los trucos de avisos solo ajustan los pesos de atención durante la inferencia; no hay documentación abierta que confirme que la redacción de avisos ad hoc pueda producir el mismo efecto.

¿Por qué algunos personajes parecen inconsistentes incluso con indicaciones detalladas?

Es posible que el modelo no tenga suficiente conocimiento previo de ese carácter específico en sus datos de entrenamiento. Incluso con indicaciones detalladas, si el modelo no ha aprendido asociaciones fuertes para esa identidad, generará variaciones. Los métodos de entrenamiento como LoRA o Textual Inversion crean esas asociaciones explícitamente.

Sources

https://github.com/AUTOMATIC1111/stable-diffusion-webui/wiki/Features | Sintaxis de énfasis de mensajes, fragmentación de tokens CLIP, palabra clave BREAK https://github.com/AUTOMATIC1111/stable-diffusion-webui/blob/master/modules/prompt_parser.py | Gramática del analizador, implementación de sintaxis de peso. https://arxiv.org/abs/2106.09685 | Definición técnica y mecanismo de LoRA. https://textual-inversion.github.io/ | Método de inversión textual y principio de entrenamiento de 3-5 imágenes https://civitai.com/posts/1327296 | Frases mágicas informadas por la comunidad y actualización del autor. https://civitai.com/posts/1398043 | Técnicas comunitarias adicionales