IPAdapter et FaceID dans ComfyUI : garder un visage cohérent sans entraîner de LoRA
- Gaetan Michel
- 22 mai
- 4 min de lecture
IPAdapter et FaceID sont deux outils essentiels dans ComfyUI lorsqu’on veut générer des images avec une référence visuelle forte : visage, style, pose, identité, composition ou personnage récurrent.
En clair : IPAdapter sert à guider l’image avec une image de référence.FaceID sert à mieux conserver l’identité d’un visage.
C’est un peu le copilote visuel de ComfyUI : le prompt conduit, mais IPAdapter tient le volant quand l’IA commence à partir faire du hors-piste artistique.
À quoi sert IPAdapter dans ComfyUI ?
IPAdapter permet d’utiliser une image comme référence pour influencer la génération. Contrairement à un simple prompt texte, il donne au modèle une information visuelle directe : style, couleurs, visage, vêtements, composition ou ambiance.
Selon la documentation Diffusers, IP-Adapter ajoute un guidage image via un encodeur visuel et des couches d’attention séparées, ce qui permet de combiner prompt texte et référence image avec plus de contrôle.
Différence entre IPAdapter classique et FaceID dans comfyui
Outil | Rôle principal | Usage idéal |
IPAdapter | Reprendre une référence visuelle générale | Style, pose, composition, personnage |
IPAdapter Plus | Meilleure fidélité visuelle | Référence plus précise |
FaceID | Conserver l’identité d’un visage | Portraits, personnage récurrent |
FaceID Plus / v2 | Combine identité + structure du visage | Meilleure cohérence faciale |
FaceID utilise les embeddings d’un modèle de reconnaissance faciale via InsightFace, au lieu de s’appuyer uniquement sur l’analyse visuelle CLIP. Le modèle FaceID officiel indique aussi qu’un LoRA complémentaire est souvent utilisé pour améliorer la cohérence de l’identité.
Prérequis
Avant de commencer, il faut :
ComfyUI installé et fonctionnel ;
ComfyUI Manager ;
un checkpoint SD 1.5 ou SDXL ;
les nodes IPAdapter ;
les modèles IPAdapter ;
les encodeurs CLIP Vision ;
InsightFace pour FaceID ;
éventuellement les LoRA FaceID associés.
Liens utiles :
GitHub IPAdapter Plus pour ComfyUI : (GitHub)
Nouveau dépôt ComfyUI IPAdapter : (GitHub)
Modèles FaceID Hugging Face : (Hugging Face)
Installation dans ComfyUI
1. Installer les nodes IPAdapter
Le plus simple :
Ouvrir ComfyUI Manager.
Aller dans Custom Nodes Manager.
Rechercher IPAdapter.
Installer le node compatible.
Redémarrer ComfyUI.
Le dépôt comfyorg/comfyui-ipadapter précise que les modèles FaceID nécessitent InsightFace et que certains modèles FaceID ont aussi besoin d’un LoRA associé. (GitHub)
Où placer les modèles ?
En général :
Type de fichier | Dossier ComfyUI |
Modèles IPAdapter | ComfyUI/models/ipadapter |
LoRA FaceID | ComfyUI/models/loras |
CLIP Vision | ComfyUI/models/clip_vision |
Checkpoints | ComfyUI/models/checkpoints |
Attention : certains loaders exigent des noms de fichiers précis. Le dépôt ComfyUI IPAdapter indique que le Unified Loader nécessite des noms exacts pour reconnaître correctement les fichiers.
Installer InsightFace pour FaceID
FaceID ne fonctionne pas correctement sans InsightFace. C’est souvent l’étape qui fait trébucher tout le monde, un peu comme la vis cachée sous l’étiquette “garantie annulée”.
Sur Windows, l’installation peut être pénible si Python tente de compiler InsightFace depuis zéro.
À retenir :
FaceID nécessite InsightFace ;
il peut aussi nécessiter onnxruntime ou onnxruntime-gpu ;
si CUDA pose problème, on peut souvent utiliser le provider CPU dans le node InsightFace Loader ;
certains workflows FaceID demandent aussi un LoRA FaceID.
Workflow de base IPAdapter
Un workflow simple ressemble à ceci :
Charger le checkpoint.
Charger le prompt positif et négatif.
Charger l’image de référence.
Charger CLIP Vision.
Charger IPAdapter.
Appliquer IPAdapter au modèle.
Lancer le KSampler.
Décoder avec le VAE.
Réglages de départ recommandés :
Réglage | Valeur conseillée |
Poids IPAdapter | 0.50 à 0.80 |
Start at | 0.00 |
End at | 0.70 à 0.90 |
CFG | 4 à 7 |
Steps | 20 à 35 |
Denoise en img2img | 0.45 à 0.75 |
Workflow de base FaceID
Pour FaceID :
Charger l’image du visage.
Charger InsightFace.
Charger le modèle FaceID.
Charger le LoRA FaceID si nécessaire.
Appliquer FaceID au modèle.
Générer avec un prompt descriptif.
Le modèle FaceID officiel explique que FaceID utilise l’embedding facial InsightFace, et que FaceID Plus ajoute aussi un embedding CLIP pour mieux conserver la structure du visage. (Hugging Face)
Réglages conseillés pour FaceID
Objectif | Poids FaceID | LoRA FaceID | Conseil |
Portrait réaliste | 0.70 à 0.90 | 0.50 à 0.70 | Très bon pour identité |
Style anime | 0.50 à 0.75 | 0.40 à 0.60 | Ne pas trop forcer |
Personnage semi-réaliste | 0.60 à 0.85 | 0.50 | Bon équilibre |
Changement de tenue | 0.50 à 0.70 | 0.40 à 0.60 | Laisser le prompt respirer |
Forte variation artistique | 0.35 à 0.60 | 0.30 à 0.50 | Moins fidèle mais plus créatif |
IPAdapter ou LoRA : lequel choisir ?
Besoin | Meilleur choix |
Tester rapidement un visage | FaceID |
Créer un personnage récurrent sans entraînement | FaceID + IPAdapter |
Obtenir une identité ultra stable sur 100 images | LoRA entraîné |
Reprendre une pose ou composition | IPAdapter |
Reprendre un style graphique | IPAdapter Style |
Faire une série professionnelle cohérente | LoRA + IPAdapter |
FaceID est excellent pour démarrer vite.Un LoRA personnalisé reste meilleur pour une identité très stable sur une grande série.
Conseils de pro
Ne mets pas le poids FaceID à fond dès le départ. Au-dessus de 0.90, tu risques d’obtenir un visage figé, bizarre ou trop “collé” à la référence.
Utilise une image source propre : visage net, bien éclairé, pas trop de lunettes, pas de profil extrême.
Pour SDXL, vérifie toujours que tu utilises les bons modèles IPAdapter et CLIP Vision. Mélanger SD 1.5 et SDXL, c’est comme brancher une CTA sur une prise de grille-pain : parfois ça démarre, mais il ne faut pas être surpris du résultat.
Erreurs fréquentes
Erreur | Cause probable | Solution |
InsightFace is not installed | InsightFace absent ou mal installé | Installer InsightFace dans l’environnement Python de ComfyUI |
FaceID ne change rien | Mauvais modèle ou mauvais poids | Vérifier modèle, LoRA, poids |
Visage déformé | Poids trop fort | Baisser FaceID/IPAdapter |
Erreur CLIP Vision | Mauvais encodeur | Télécharger le bon CLIP Vision |
Résultat trop proche de la photo | Poids trop élevé | Réduire weight ou end_at |
Résultat pas assez fidèle | Référence mauvaise ou poids faible | Image plus nette + augmenter poids |
Conclusion
IPAdapter et FaceID font partie des outils les plus puissants de ComfyUI pour créer des images cohérentes à partir d’une référence. IPAdapter guide le style, la composition ou l’apparence générale. FaceID va plus loin en cherchant à préserver l’identité d’un visage.
Pour un débutant, c’est une excellente alternative à l’entraînement d’un LoRA. Pour un utilisateur avancé, c’est un outil de contrôle indispensable, surtout combiné avec ControlNet, LoRA, SDXL et de bons réglages KSampler.
Commentaires