Peinture à diffusion stable - Tout ce qu'il faut savoir

Le modèle de peinture par diffusion stable est une caractéristique technologique de la diffusion stable que de nombreux utilisateurs ont trouvée pratique pour remplir les zones endommagées ou les parties manquantes d'une image. Il est également utile pour supprimer les parties d'une photo que vous ne souhaitez pas voir. En effet, cette technique permet de produire des images réalistes qui apparaissent comme le souhaite l'utilisateur et répondent à un objectif particulier.

Si vous souhaitez rejoindre la communauté grandissante des créateurs numériques qui peignent avec la diffusion stable, cet article est pour vous. Dans ce blog, nous partagerons tout ce que vous devez savoir sur la diffusion stable dans la peinture. En outre, vous découvrirez des méthodes pratiques d'utilisation de l'inpainting avec le modèle de diffusion stable, ses différentes utilisations dans divers domaines, ses avantages uniques et des conseils d'experts sur la manière d'obtenir le meilleur de l'inpainting avec la diffusion stable.

Partie 1. Qu'est-ce que la peinture par diffusion stable ?

L'incrustation est une fonction qui vous permet de remplacer des parties d'une photo par une autre photo à l'aide d'un guide textuel. Stable Diffusion a introduit cette fonctionnalité dans ses outils pour donner aux utilisateurs plus de capacités d'édition lorsqu'ils donnent vie à leurs imaginations les plus créatives.

Le processus est simple : vous fournissez une photo originale, une photo masque qui délimite la partie que vous souhaitez remplacer, ainsi qu'une invite textuelle. Le modèle de diffusion stable utilise maintenant la nouvelle photo pour remplacer la partie masquée par un objet ou un scénario que vous avez décrit dans votre texte.

C'est tout !

L'outil d'inpainting par diffusion stable est utile pour créer de nouvelles images avec des sujets différents des images existantes ou originales. En outre, il permet de restaurer des images anciennes ou dégradées en remplaçant les parties inesthétiques par des objets visuellement plus attrayants.

Notez que pour une technique d'IA puissante comme la diffusion stable, vous devez effectuer des tests d'inpainting de bout en bout pour vous assurer que l'image originale, l'invite textuelle, l'image du masque et le résultat souhaité sont tous synchronisés. La section suivante y est donc consacrée.

Partie 1. Comment fonctionne la peinture par diffusion stable ?

Voulez-vous savoir comment fonctionne l'inpainting avec Stable Diffusion ? Alors continuez à lire pour découvrir les trois applications d'inpainting à diffusion stable que vous pouvez facilement utiliser à cette fin.

3 Applications pratiques d'inpainting avec un modèle de diffusion stable :

1. Visage étreint Diffusion stable Multi Inpainting

La première méthode d'inpainting par diffusion stable est l'outil Hugging Face Multi-Inpainting. Suivez le guide ci-dessous pour découvrir le fonctionnement de cet outil :

• Visitez Hugging Face Stable Diffusion inpainting en ligne.
• Faites glisser et déposez l'image que vous souhaitez modifier ou cliquez sur le canevas central pour télécharger votre image à partir de votre appareil ou du magasin de votre ordinateur.

• Cochez l'option permettant de passer la brosse sur la zone à supprimer ou tapez la ou les parties que vous souhaitez masquer.

• Saisissez votre texte descriptif pour spécifier ce que l'éditeur doit ajouter dans la partie masquée. Sélectionnez "Exécuter" et attendez quelques secondes pour le résultat final. Vous pouvez recommencer si vous n'êtes pas satisfait ou télécharger la nouvelle image.

2. Getimg.ai Editor

La deuxième application pratique d'inpainting avec le modèle de diffusion stable que nous recommandons est l'éditeur Getimg.ai. Pour utiliser cet outil, suivez les instructions ci-dessous :

• Connectez-vous à l'éditeur Getimg.ai en ligne et cliquez sur le signe "+" au milieu de la page pour ajouter une nouvelle image que vous souhaitez peindre sur la toile vierge.

• Cliquez sur l'icône de la gomme, choisissez la taille de votre pinceau et faites glisser le pinceau sur les zones de la photo que vous souhaitez masquer. Veillez à ce que tout ce que vous voulez remplacer soit entièrement recouvert par votre gomme.

• Pour ajouter un nouvel objet, sélectionnez "Inpaint/Outpaint", puis faites glisser le "cadre de génération" pour couvrir la partie masquée. Ensuite, allez dans la boîte sous "Prompt" et tapez ce que vous voulez créer au-dessus de la zone masquée. Cliquez maintenant sur "Générer".

• En fonction de votre demande, l'éditeur d'inpainting Stable Diffusion affichera quatre variations de nouvelles images. Cliquez sur la flèche de droite pour visualiser chaque image et sélectionnez l'image du roman qui vous plaît le plus avant d'accepter. Dans l'image ci-dessous, nous avons choisi la dernière variante.

• Vous pouvez choisir d'annuler et de recommencer si vous n'aimez pas le résultat. Cependant, il se peut que vous deviez ajuster votre demande pour aider l'éditeur d'IA à se concentrer davantage sur le résultat que vous souhaitez obtenir. Voici un avant et un après le processus de peinture :

3. Inpainter Vercel App

L'application Inpainter Vercel utilise l'outil en ligne Replicate Stable Diffusion inpainting pour remplacer facilement une partie d'une image par une autre de votre choix. Suivez le guide ci-dessous pour utiliser cet outil :

• Visitez Replicate Stable Diffusion inpainting online et sélectionnez le bouton "Start painting".

• Deux options s'offrent à vous : glisser-déposer une image depuis le stockage de votre appareil ou saisir un texte descriptif pour commencer à peindre à partir de zéro. Cliquez sur "Générer".

• Attendez quelques secondes pour que Inpainter génère votre image si vous avez utilisé une invite textuelle ; ajoutez ensuite d'autres invites si vous souhaitez la modifier. Si ce n'est pas le cas, passez à l'étape suivante.

• À l'aide de la souris de votre ordinateur ou de l'écran de votre téléphone, remplissez le sujet que vous souhaitez remplacer et tapez l'objet que vous souhaitez placer dans la zone remplie. Choisissez maintenant de nouveau "Générer".

Différentes utilisations dans divers domaines

L'Inpainting Stable Diffusion est utile dans divers domaines et à diverses fins, comme indiqué ci-dessous :

• En architecture, il peut être utilisé pour réparer les sections endommagées ou les zones incomplètes des plans de construction afin de fournir aux équipes de construction des informations plus précises et plus complètes.
• En médecine, l'inpainting est utile pour atténuer les résultats sous-optimaux de l'imagerie IRM du cerveau des patients. Par exemple, lorsque la tête d'un patient est maintenue pendant une telle procédure, l'imagerie peut être coupée, ce qui entraîne une perte de données et un diagnostic inexact. C'est là que l'inpainting garantit que les scans sont de haute qualité et complets.
• En photographie, l'inpainting est utilisé pour adoucir ou supprimer les taches sur le visage ou la peau des personnes sur les photos.
• Il est également utilisé pour restaurer les images manquantes ou endommagées dans le cadre de la restauration de films.

Avantages et inconvénients de la peinture à diffusion stable

Avantages :

Voici quelques-uns des principaux avantages de l'utilisation de cet éditeur :

• Il est essentiel de restaurer les vieilles photos pour qu'elles retrouvent leur éclat d'antan et même plus. L'inpainting permet de supprimer les rayures, les fissures, les yeux rouges ou les taches de poussière des images afin de les rendre plus attrayantes.
• L'équation de chaleur utilisée ici est mathématiquement stable, ce qui signifie qu'elle ne provoque pas de divergence ou d'instabilité dans la redistribution des valeurs d'intensité aux zones d'une image qui ont besoin d'être remplies. Cela permet d'obtenir un résultat lisse et naturel.
• Il permet de reconstruire des images structurées complexes, des bords, des textures et des transitions nettes avec une finition parfaite.
• Le modèle d'inpainting par diffusion stable génère des résultats efficaces plus rapidement que la plupart des techniques d'édition.
• Il produit des résolutions d'images finales de haute qualité, vous permettant d'explorer différents styles et combinaisons artistiques.

Inconvénients:

Les principales limites et faiblesses de cet éditeur sont décrites ci-dessous :

• Ce modèle de peinture ne permet pas d'obtenir un réalisme parfait.
• En ce qui concerne les tâches plus complexes, le modèle de diffusion stable de l'inpainting ne donne pas les résultats escomptés. Les tâches telles que les surfaces à motifs ou texturées peuvent apparaître mal assorties et peu naturelles lorsqu'elles sont modifiées à l'aide d'un outil d'inpainting à diffusion stable.
• Ce modèle d'inpainting a été construit et entraîné à l'aide de légendes en anglais, ce qui rend impossible la génération d'images décrites dans d'autres langues. Et lorsque c'est le cas, les résultats sont pires que les images des messages en anglais.
• Il existe un risque de sécurité que votre image générée par l'IA tombe entre de mauvaises mains puisque des données sensibles sont stockées sous cette forme.
• Cela pourrait être trompeur car cet outil peut ajouter et remplacer tous les aspects d'une image que vous souhaitez sous une forme naturelle, qui peut différer de la réalité.

Conseils d'experts :

1. Utiliser des images sources de haute qualité pour garantir des résultats d'inpainting précis et efficaces (essayez Media.io AI Photo Enhancer pour obtenir des images sources de qualité).

2. Combinez le Stable Diffusion Inpainting avec d'autres techniques de traitement d'images par l'IA comme Media.io AI object remover (pour supprimer les objets indésirables de votre photo), photo restorer (pour transformer de vieilles images en nouvelles), et AI BG remover (pour changer l'arrière-plan de la photo en ce que vous voulez).

3. Optimisez vos résultats finaux en ajustant les paramètres d'inpainting de la diffusion stable.

4. Suivez les forums et les blogs et lisez les articles de recherche pour être au courant des dernières mises à jour de la technologie de traitement d'images d'IA.