[Sammelthread] AI - Bildgenerierung (Stable Diffusion, Midjourney & Co)

[Rickmer]

Immer mal wieder versuche ich etwas, das so richtig klar macht, dass SDXL ein echter Schritt nach vorne ist - auch jetzt schon, wo die Community Modelle alle noch im Alpha- oder Beta-Status sind.

Spoiler: Prompt

grandfather teaching his granddaughter how to read, Digital art, glow effects, Hand drawn, render, 8k, octane render, cinema 4d, blender, dark, atmospheric 4k ultra detailed, cinematic sensual, Sharp focus, humorous illustration, big depth of field, Masterpiece, colors, 3d octane render, 4k, concept art, trending on artstation, hyperrealistic, Vivid colors, modelshoot style, (extremely detailed CG unity 8k wallpaper), professional majestic oil painting by Ed Blinkey, Atey Ghailan, Studio Ghibli, by Jeremy Mann, Greg Manchess, Antonio Moro, trending on ArtStation, trending on CGSociety, Intricate, High Detail, Sharp focus, dramatic, photorealistic painting art by midjourney and greg rutkowski
Negative prompt: unaestheticXLv1, logo, Glasses, Watermark, bad artist, blur, blurry, text, b&w, 3d, bad art, poorly drawn, disfigured, deformed, extra limbs, ugly hands, extra fingers, canvas frame, cartoon, 3d, disfigured, bad art, deformed, extra limbs, weird colors, blurry, duplicate, morbid, mutilated, out of frame, extra fingers, mutated hands, poorly drawn hands, poorly drawn face, mutation, deformed, ugly, blurry, bad anatomy, bad proportions, extra limbs, cloned face, disfigured, out of frame, ugly, extra limbs, bad anatomy, gross proportions, malformed limbs, missing arms, missing legs, extra arms, extra legs, mutated hands, fused fingers, too many fingers, long neck, Photoshop, video game, ugly, tiling, poorly drawn hands, poorly drawn feet, poorly drawn face, out of frame, mutation, mutated, extra limbs, extra legs, extra arms, disfigured, deformed, cross-eye, body out of frame, blurry, bad art, bad anatomy, 3d render

Das Bild habe ich mit einem Checkpoint namens 'Crystal Clear XL' erstellt, welcher aktuell mein Favourit ist.

 

[Rickmer]

Oder anderes Beispiel für mehrere verschiedenartige Personen in einem Prompt, ohne direkt mit Bildsegmentierung (oder Ähnlich) auspacken zu müssen:

Der gleiche Preset wie oben, die tatsächlichen Instruktionen zum Bild:

(bodybuilder:2) girl and her (son:2.0) building a (sandcastle:2.0) on a hawai'i beach, large muscles, side shot, palm trees, (happy:2.0)

... das ist ein Strand, an dem ich mich auch gerne sonnen würde.

As I was saying, in SD1.5 kommt da vielleicht ein Drittel der Zeit eine brauchbare Komposition raus, und eine wirkliche Mutter/Sohn Kombination nur 1/10tel der Versuche. Ich habe verschiedene Checkpoints ausprobiert und es braucht einen echten Glückstreffer.
Die allermeiste Zeit stimmen die Geschlechter nicht oder beide sind gleich groß dargestellt trotz unterschiedlichem Alter oder die sehen eher wie Geschwister aus, etc.

In SDXL kann man durchaus bei locker der Hälfte der generierten Bilder sagen, dass sie dem Prompt gut nachkommen. Der Unterschied im Verständnis ist gewaltig.

 

[MechanimaL]

Ja, das kann ich absolut bestätigen, dass es mit dem Prompting besser klappt. Auch kann man manchmal kleine Details ändern, ohne, dass direkt ein komplett anderes Bild entstünde.

Ganz gefeit ist man aber noch immer nicht gegen übergreifende Beschreibungen und da bin ich froh, dass Regional Prompter mit SDXL funktioniert. Habe zb. als Geschenk für die Eltern meines Bruders ein Gemälde von beiden im Stil von van Gogh in einer bestimmten Landschaft angefertigt. Das hat aus meinen Models mit dem von mir für "allround" bisher favorisisierten Zavychroma Model am besten geklappt, aber trotzdem musste ich aufgrund der verschiedenen Haarfarben, dem Umstand, dass nur der Vater eine Brille trägt usw. mit Regional Prompter arbeiten. Hat dann aber auch wiederum prima funktioniert.

grade gesehen: Update von Zavy https://civitai.com/models/119229/zavychromaxl und das bereits gute 1.5 wyvern Model hat eine XL Version erhalten: https://civitai.com/models/5273?modelVersionId=135266

 

[Shaav]

Moin,

Ich habe letzte Woche Stable Diffusion 1.5 über Automatic1111 auf meinem MacBook Air mit M1-Chip und 8GB RAM installiert. Die 8GB RAM reichten gerade so aus für Bilder in einer Auslösung von 512x512. SDXL lief garnicht.

Nun habe ich Automatic1111 von Version 1.5.2 auf 1.6.0 aktualisiert. Seitdem reichen die 8GB nicht mehr aus. Die Generierung der Bilder dauert nun 6 mal so lange.

Habt ihr Tipps, wie ich das Problem lösen kann ohne auf die alte Version wechseln zu müssen?

Danke für euch Hilfe.

 

[Rickmer]

Habt ihr Tipps, wie ich das Problem lösen kann ohne auf die alte Version wechseln zu müssen?

Nutzt du schon das --lowvram Argument in der Launch-Bat?

Ansonsten fällt mir als Option noch ein...

• Web-Ressourcen verwenden, entweder sowas wie Google Colab oder einen Cloud-Generator wie z.B. RunDiffusion
• Hardware-Upgrade um von den verkrüppelten 8GB weg zu kommen

 

[MechanimaL]

Moin,

Ich habe letzte Woche Stable Diffusion 1.5 über Automatic1111 auf meinem MacBook Air mit M1-Chip und 8GB RAM installiert. Die 8GB RAM reichten gerade so aus für Bilder in einer Auslösung von 512x512. SDXL lief garnicht.

Nun habe ich Automatic1111 von Version 1.5.2 auf 1.6.0 aktualisiert. Seitdem reichen die 8GB nicht mehr aus. Die Generierung der Bilder dauert nun 6 mal so lange.

Habt ihr Tipps, wie ich das Problem lösen kann ohne auf die alte Version wechseln zu müssen?

Danke für euch Hilfe.

Mit 8 GB müsste eigentlich mehr möglich sein.

Wie sieht Deine .bat Datei aus, die die Startparameter enthält? Benutzt du bereits --xformers oder ähnliches ?
( bei 1.6 gibt es in den Settings "Optimizations", wo man auch zwischen xformers und pendants wählen kann, sofern in der Startdatei nichts eingetragen ist, sollte das auch funktionieren)

--medvram-sdxl ist ein neuer Startparameter, der medvram nur auf die Arbeit mit SDXL anwendet. Das oder das bisherige --medvram (wirkt dann unabhängig von sd1.5/sdxl), sollten helfen. --lowvram geht sehr auf die Performance, wäre dann der letzte Schritt.

Zuvor böte sich aber noch ein Test mit medvram/medvram-sdxl und der Tiled-VAE Extension an, das soll auch RAM sparen. Hier macht einer mit dieser Extension und 8GB 1024x1024 Bilder unter SDXL mit A1111 1.6. Kannst Du direkt im WebUI installieren. Zu den Settings der Extension, einfach mal in das verlinkte Video schauen.

 

[Rickmer]

Wie sieht Deine .bat Datei aus, die die Startparameter enthält? Benutzt du bereits --xformers oder ähnliches ?

xformers auf einem Macbook Air? Bist du dir da ganz sicher?

 

[MechanimaL]

Nein, eine der Optimierungen, wie xformers, sofern sie in dem entsprechenden Setup funktionieren.. Kein Plan bzgl. der Hardware eines Macbooks und was davon dort läuft

edit: sry - xformers ist nur für nvidia, --opt-sub-quad-attention könnte aber ggf. funktionieren. einfach mal ausprobieren.. das sind ja nun ein paar Ansätze

 

[Ranayna]

Ich habe mal eine Frage, als ein Noob in Bereich der Bild-KIs:

Koennte man dieses Bild mit einer KI "reparieren"?
https://www.flickr.com/photos/llnl/9403051123/sizes/l/

Insbesondere bei den grossen Varianten kann man deutlich sehen, dass der Scan nicht so gut ist. Es gibt Risse, Flecken, und die Farben sehen teilweise nicht original aus, insbesondere der Quadrant unten rechts.

Das Original hat aber satte 100 Megabyte, das duerfte fuer "Hausgebrauchs" KI wohl viel zu gross sein, oder?

 

[Rickmer]

Koennte man dieses Bild mit einer KI "reparieren"?

Zumindest Stable Diffusion wäre dafür gänzlich ungeeignet.

 

[Maviapril2]

Mit 8 GB müsste eigentlich mehr möglich sein.

8GB RAM ist nicht 8GB VRAM

 

[MechanimaL]

Jessas, hab ich das nach der langen Nacht so gelesen, als hätte der Kollege 8GB VRAM in seinem Mac 😅

Aber der Tipp mit tiled-VAE könnte für Leute u12 GB VRAM interessant sein. Bei @Shaav sind dann wohl nur 4GB Grafikspeicher verbaut oder was werkelt da? Mal was ausprobiert, von den Ideen hier?

 

[Shaav]

Hey Leute,
danke für eure Tipps. Mit der Bat-Datei bin ich gerade etwas überfordert. So gut kenne ich mich mit MacOS nicht aus. Ich habe in der Readme einen Link zu folgendem Artikel gefunden, Da steht vermutlich alles drin was ich brauche:
https://github.com/AUTOMATIC1111/stable-diffusion-webui/wiki/Installation-on-Apple-Silicon

@MechanimaL :
Der M1-Chip ist ein SOC. Er klaut sich also den benötigten Grafikspeicher vom Arbeitsspeicher. RAM und VRAM ergeben daher zusammen 8GB.

​

 

[MechanimaL]

Dann sollte es die webui-user.sh sein in Deinem Fall. Unter Windows ist es eine .bat Datei. Wenn Du die mit einem Editor öffnest solltest Du entsprechend Einträge machen können ,wie am Ende Deines Zitats beschrieben. ZB:

export COMMANDLINE_ARGS="--medvram --opt-sub-quad-attention"

oder "--lowvram" und weitere/andere
hier ist auch noch ein (älterer) Post zum Thema MAC: https://github.com/AUTOMATIC1111/stable-diffusion-webui/discussions/7453

 

[90210]

wie geht das ich kapier es nicht die Prompt Generator alle kosten was

 

[painomatic]

@90210 hast du den Eingangspost gelesen, da steht alles!?

 

[MechanimaL]

wie geht das ich kapier es nicht die Prompt Generator alle kosten was

Es wird immer kostenlose Seiten geben, diese werden aber in der Regel eher als Werbung für den kostenpflichtigen Teil (mit mehr Möglichkeiten, höherer Auflösung usw.) stehen, denn schließlich kostet die Bildgenerierung Rechenleistung, die bezahlt werden muss
Da sich die Angebote ständig ändern, neue Seiten entstehen und alte eingestellt oder ganz kostenpflichtig werden, ist es schwierig, da eine aktuelle Liste zu führen. Wenn jemand den Link zu einer gepflegten Liste hat, gerne schicken, dann setze ich ihn zur 1. Seite dazu, ansonsten selbst eine Suchmaschine bemühen, was zB zu diesem Ergebnis führt:
https://motricialy.com/sites/stable-diffusion-websites/

 

[Rickmer]

Lange (zumindest gefühlt) hat's gedauert, aber endlich haben wir es: SDXL Controlnet für A1111

YouTube

An dieser Stelle steht ein externer Inhalt von YouTube, der den Forumbeitrag ergänzt. Er kann mit einem Klick geladen und auch wieder ausgeblendet werden.

YouTube-Embeds laden

Ich bin damit einverstanden, dass YouTube-Embeds geladen werden. Dabei können personen­bezogene Daten an YouTube übermittelt werden. Mehr dazu in der Datenschutzerklärung.

YouTube-Embeds laden

Datenschutzerklärung

 

[Maviapril2]

Habe mich noch nie mit ControlNet beschäftigt, wird jetzt aber doch so langsam mal Zeit, wenn ich neben Arbeit, Privatleben und Gaming dazukommen sollte Danke dir @Rickmer
(Meine meiste Nutzung von solchen Dingen bisher war Midjourney, um meinen Hochzeitsantrag zu basteln, das war aber auch schon letztes Jahr, seitdem nur einmal mit Stable Diffusion rumgespielt).

Viele gute Custom Modelle basierend auf XL scheint es noch nicht zu geben, oder? Hatte zumindest bei 1.5 mit Custom Modellen wesentlich bessere Ergebnisse als mit dem Standardmodell. Oder braucht man das bei XL nicht mehr?

 

[MechanimaL]

Habe mich noch nie mit ControlNet beschäftigt, wird jetzt aber doch so langsam mal Zeit, wenn ich neben Arbeit, Privatleben und Gaming dazukommen sollte Danke dir @Rickmer
(Meine meiste Nutzung von solchen Dingen bisher war Midjourney, um meinen Hochzeitsantrag zu basteln, das war aber auch schon letztes Jahr, seitdem nur einmal mit Stable Diffusion rumgespielt).

Controlnet ist ein Super-Werkzeug (bzw. Spielzeug ), das lohnt sich, sich damit näher zu beschäftigen ^^

Viele gute Custom Modelle basierend auf XL scheint es noch nicht zu geben, oder? Hatte zumindest bei 1.5 mit Custom Modellen wesentlich bessere Ergebnisse als mit dem Standardmodell. Oder braucht man das bei XL nicht mehr?

Waaas? Mit den Custom-Modellen bekommst Du um ein vielfach besseres Ergebnisse, als mit dem Base Model. Klar, kommt noch drauf an, was genau Du machst/gemacht hast, aber z.B. im Bereich Foto-Realismus liegen wirklich Welten zwischen dem 1.5 Base und den Community-Modellen. Hier mal die Preview Bilder ein paar ausgewählter Custom-Modelle (aus meinem Model-Ordner, wo dank civit-ai extension automatisch die Previews vorhanden sind

absolutereality v181:

amireal v4:

azovya photoreal v2:

edgeofrealism_eorv20:

endlressreality_v4:

epicrealism pure evolution v5:

objective reality v2:

photon_v1:

realisticvisionv51: