[Sammelthread] AI - Bildgenerierung (Stable Diffusion, Midjourney & Co)

[MechanimaL]

Hey, habe die Tage auch mal ein Turbo /LCM Model getestet. Ich schätze, die Custom Models werden wie gewohnt bessere Ergebnisse liefern, als das Stock SDXL.

Für das Kätzchen (Beispiel aus civitAI) brauch ich bei ner Auflösung von 1152x1752 ~4 Sekunden.
Der Teich mit Deinem Prompt bei 5 Steps unter 2 Sek mit 1024x672. Das Realities Edge Model benötigt mindestens 5 Steps, darunter wird es verwaschen. CFG ~1-2.

Außerdem muss man beachten, dass (zumindest bei hohen Auflöusungen?!) kohya hires.fix (extension) aktiviert ist und im A1111 jedenfalls "Always discard next-to-last sigma" an/"true" ist. (Wird beim Einfügen der Parameter gesetzt, möchte man es als Schalter, geht das über Settings-User Interface- Quicksettings "Always discard next-to-last sigma" auswählen.)

Spoiler: Gen Info

a beautiful high definition crisp portrait of a steampunk cat
Negative prompt: ((blurry:1.3)), worst quality, 3D, cgi, drawing, mouth open, undefined
Steps: 5, Sampler: DPM++ 2M SDE, CFG scale: 2, Seed: 3873779034, Size: 1152x1752, Model hash: c1d5646e8f, Model: RealitiesEdgeXLLCM_TURBOXL, RNG: CPU, Discard penultimate sigma: True, Version: v1.6.0-2-g4afaaf8a
Template: a beautiful high definition crisp portrait of a steampunk cat
Negative Template: ((blurry:1.3)), worst quality, 3D, cgi, drawing, mouth open, undefined

Spoiler: Gen Info

breathtaking oil painting, tori gate, japanese zen garden in autumn, koi pond, wooden bridge . award-winning, professional, highly detailed
Negative prompt: text, signature, ugly, deformed, noisy, blurry, distorted, grainy, ugly, deformed, noisy, blurry, distorted, grainy
Steps: 5, Sampler: DPM++ 2M SDE, CFG scale: 1.5, Seed: 2590663659, Size: 1024x672, Model hash: c1d5646e8f, Model: RealitiesEdgeXLLCM_TURBOXL, Discard penultimate sigma: True, Version: v1.6.0-2-g4afaaf8a
Template: breathtaking oil painting, tori gate, japanese zen garden in autumn, koi pond, wooden bridge . award-winning, professional, highly detailed
Negative Template: text, signature, ugly, deformed, noisy, blurry, distorted, grainy

 

[Rickmer]

Ich hatte heute das Bild gesehen:

(Quelle: https://twitter.com/javilopen/status/1730986775135305851 )

und dachte mir nur: Das kann ich auch...

Tomb Raider Screenshot bei Google gesucht

Ein bisschen rumspielen später:

Das war mit einem auf photorealismus orientierten Modell.
( nightvisionXLPhotorealisticPortrait_v0791Bakedvae )

Eher auf Anime getrimmt:

( osorubeshiAlphaXL_pastelV1 )

Oder mit Farben gemalt:

( penfeelXLAlpha_alpha )

Ich denke mal, das kann ich als Erfolg werten.


Die nicht-stylistischen Teile des Prompt:
Positiv: (lara croft:1.5) in a baby blue muscle shirt and olive hot pants standing in front of a cave wall, (tomb raider:1.2), (long ponytail on shoulder:1.2), (leather strap backpack:0.85), (shorts:1.5), (large silver belt buckle:1.2), (belt pouch:1), (fingerless gloves:0.9), <lora:lara_croft_xl_v2:0.6>
Negativ: (low poly, computer graphics:1.5), ruins, buildings, water, lake, river, photo, shoulder bag,

Ansonsten hatte ich noch Openpose Controlnet genutzt um die Pose möglichst identisch zu halten.

Ob man jetzt sagt, dass ein Lora nutzen Schummelei ist oder nicht... auch ohne kommen brauchbare Resultate bei rum, aber mit ist es deutlicher Lara Croft.

 

[Th31X]

snip wegen doppelpost

 

[Th31X]

Hier mal meine ersten gehversuche mit ComfyUI. Bin da noch recht neu in der Materie und hab mir via ChatGPT beim Prompting helfen lassen.

Eingesetzt wird das Stable Diffusion Base Modell XL 1.0

Fragen an Chatgpt: Wie würde ein Alien-Roboter nach H.R. Giger in menschenähnlicher Gestalt aussehen?

Prompt:

a photo of a futuristic humanoid robot, imbued with Gigeresque aesthetics seamlessly merge cold mechanics with the warm vitality of human anatomy, a captivating interplay of technology and organics.

Frage an Chatgpt: Wie würde ein Alien-Roboter nach H.R. Giger als riesiger Battlemech aussehen?

Prompt:

a photo of A monumental H.R. Giger-inspired Alien BattleMech, grotesque ballet of biomechanics, Sinuous tendrils entwine with a formidable mechanical exoskeleton, crafting an otherworldly fusion of alien terror and combat prowess, Gigeresque textures embellish its surface, evoking a chilling aesthetic, This colossal entity personifies the eerie amalgamation of Giger's nightmare-inducing artistry with the imposing might of a BattleMech, an awe-striking and fearsome marvel in the realm of dystopian warfare.

Ich glaube da ist noch sehr viel Luft nach oben. Momentan bin ich noch auf 10gb Vram beschränkt (3080)

 

[SpartanerTom]

@Th31X Ist das ganz ohne Refiner? In meiner Erfahrung braucht man beim ganz einfachen SDXL Modell idealerweise den Refiner-Durchgang doch noch.

Andere Checkpoints sind da schon deutlich besser im Ergebnis.

 

[Th31X]

@SpartanerTom Ja dürfte ohne Refiner sein. Es ist momentan noch eine saubere Installation mit Basismodell. Das einzige was ich am voreingestellen Workflow geändert habe ist der zweite Sampler-Pass von 12 auf 30. Muss mich da noch reinfuchsen, aber im vergleich zu der Basis Atomic1111 Installation bringt Comfy weitaus bessere Ergebnisse. Würde mich sehr gerne mehr Richtung Photorealismus bewegen, denn auch wenn das schon ganz okay aussieht, alle generierten Bilder sehen stark nach "concept art" bzw. Low Poly Modelling aus. Vermutlich liegt das an den Prompts?

 

[SpartanerTom]

Ich hab zuletzt nicht so viel neues gemacht, bin aber selbst auch immer noch bei ComfyUI geblieben.

Bei Interesse sei auch mal kurz auf https://comfyworkflows.com/ verwiesen.
Und natürlich die Beispiele aus der offiziellen Repo: https://comfyanonymous.github.io/ComfyUI_examples/

 

[Rickmer]

Momentan bin ich noch auf 10gb Vram beschränkt (3080)

Ich hatte lange Jahre eine 1080Ti besessen und die hatte noch nie zu wenig vram... bis ich im Frühling angefangen habe mich mit Stable Diffusion zu beschäftigen.

Als ich angefangen habe mit SD1.5 rum zu spielen hatte ich mich schnell eingeschränkt gefühlt.

Das einzige was ich am voreingestellen Workflow geändert habe ist der zweite Sampler-Pass von 12 auf 30.

Wie bist du auf die Idee gekommen, das zu machen?

Muss mich da noch reinfuchsen, aber im vergleich zu der Basis Atmoic1111 Installation bringt Comfy weitaus bessere Ergebnisse.

Hmm, eigentlich sollten die sich qualitativ in den Ergebnissen nicht wirklich was nehmen.
Manches ist in A1111 (oder insbesondere auch Fooocus) einfacher und ComfyUI erlaubt erheblich mehr Gestaltbarkeit, aber 'bessere Ergebnisse' sollten eigentlich nicht dabei hervortreten. Letztendlich kochen alle UIs nur mit demselben Wasser.

An deiner Stelle würde ich mich ein wenig mit custom Modellen beschäftigen, die du z.B. bei Civitai oder Huggingface runterladen kannst.

Wenn ich mich auf eine Empfehlung beschränken muss (und das tue ich besser, sonst wird's nur überwältigend), will ich dir ans Herz legen, dir mal das Artium Modell anzuschauen:
https://civitai.com/models/216439?modelVersionId=243915

Für Fotorealismus wäre ein anderes Modell zu wählen, aber persönlich gefällt mir der default Stil sehr gut und schafft durchwegs sehr guten Output ohne Refiner.

Ansonsten, wenn ich mich an meine ersten Gehversuche erinnere... VAE auswählen nicht vergessen

Ergänzung (23. Dezember 2023)

Addendum - du hast für deine zwei Prompts relativ ähnliche Ergebnisse erhalten.

Hier drei Outputs mit Artium - einmal für den kürzeren Prompt:


(wobei ich hier zugegeben beim ersten der beiden den negativen Prompt ausgefüllt hatte:
(worst quality, low quality:1.4), (deformed, distorted, disfigured:1.3), poorly drawn, bad anatomy, wrong anatomy, extra limb, missing limb, floating limbs, (mutated hands and fingers:1.4), disconnected limbs, mutation, mutated, ugly, disgusting, blurry, amputation, tattoo, watermark, text
Beim zweiten aber nicht, der negative hat also den Gesamt-Output ästhetisch nicht extrem beeinflusst.)

Und für den längeren Prompt:


Das sind deutliche Unterschiede in der produzierten Ästhetik zwischen den beiden Prompts...

Wie du vielleicht auch merkst - ich bevorzuge 1216x832 oder 832x1216. Ein bisschen persönliche Präferenz, wobei man durch die Wahl des Format auch schon einen deutlichen Einfluss darauf hat, was für eine Art von Bild man bekommt.

 

[Pyrukar]

Hi zusammen,

ich hab da gerade eine Idee gehabt und hätte gerne etwas schützenhilfe bei der Umsetzung. Also Ich bin ziemlich desinteressiert was Klassische bzw. Moderne Kunst angeht, möchte aber ein Kreatives Geschenk für jemanden Erstellen, der Kunstgeschichte Studiert hat.

Also die Idee: ich habe bei mir Easy Diffussion installiert und eines der Standard SD Modelle. Ich wollte Familienfotos nehmen und so durch SD Jagen, dass sie eben im Stil der Großen Künstler herauskommen und der Beschenkte darf dann Raten.
Hierzu hätte ich gerne euren Imput: Welche Künstler funktionieren in den Standardmodellen von SD so gut, dass man am Schluss auch darauf kommen könnte in welchem Stil es gemalt wurde? Hat damit schonmal jemand experimentiert?

und jetzt noch eine Technische Frage: damit ich die Fotos als Image to Image quelle verwenden kann muss ich sie (aufgrund meiner nur 12GB VRAM runterskalieren) kennt jemand ein Programm, mit dem ich einen Stapel bilder direkt skalieren kann, ich mache das für einzelne Bilder meist mit Gimp, aber das ist gefühlt aufwändiger als es sein sollte.

 

[Rickmer]

Hierzu hätte ich gerne euren Imput: Welche Künstler funktionieren in den Standardmodellen von SD so gut, dass man am Schluss auch darauf kommen könnte in welchem Stil es gemalt wurde?

Da gibts verschiedene Listen mit Beispielen, siehe z.B.:
https://www.urania.ai/top-sd-artists
https://stablediffusion.fr/artists

eines der Standard SD Modelle

Welches? Weil das SD1.4 oder SD1.5 würde ich nicht mehr nutzen, immer eins der Community Modelle.

Bei SD1.5 würde ich dir vorschlagen, dir zuerst mal Dreamshaper 8 anzuschauen, das ist ein wunderbar flexibles Modell.

Bei SDXL hatte ich oben schon Artium vorgeschlagen und das gilt mMn weiterhin.

und jetzt noch eine Technische Frage: damit ich die Fotos als Image to Image quelle verwenden kann muss ich sie (aufgrund meiner nur 12GB VRAM runterskalieren)

Nö, du musst nur sicherstellen, dass die Output Auflösung in die 12GB passt.

Also die Idee: ich habe bei mir Easy Diffussion installiert und eines der Standard SD Modelle. Ich wollte Familienfotos nehmen und so durch SD Jagen, dass sie eben im Stil der Großen Künstler herauskommen und der Beschenkte darf dann Raten.

Da wirst du nur sehr wenige Künstler mit sehr eigenem Stil nutzen können (Van Gogh oder Picasso), weil 'im Stil des Künstler' kombiniert mit 'noch als die Person erkennbar' ist verdammt schwierig.

Eventuell auch statt img2img versuchen mit text2img, grobe Beschreibung der Person und das Bild der Person als Controlnet Input. Depth oder Normal könnte man versuchen, alternativ oder zusätzlich mit Tile oder Canny experimentieren...

Wobei Controlnet auch nochmal mehr VRAM benötigt.

 

[MechanimaL]

@Pyrukar @Th31X Verwendet nicht die Ursprungs-Models, die Qualität davon ist um einiges schlechter, als von weiter trainierten Custom Models. ( siehe civitai.com )

Zum Thema Künstler- die Klassiker sollten eh alle enthalten sein und in der Regel auch nachvollziehbar dargestellt werden, wenn entsprechende Prompts verwendet werden!

https://weirdwonderfulai.art/resources/stable-diffusion-xl-sdxl-artist-study/ (SDXL)
https://huggingface.co/spaces/mattthew/SDXL-artists-browser (SDXL)

https://supagruen.github.io/StableDiffusion-CheatSheet/ (SD1.5)
https://www.urania.ai/top-sd-artists (SD 1.5)

@Pyrukar Für Deine Idee kannst Du die Fotos mit img2img und Controlnet anhand der Ausgangsbilder in eine andere Richtung formen. Ohne Controlnet wirst Du es nicht schaffen ,dass sich der Stil stark genug ändert (von Foto in Gemälde bspw.) und trotzdem noch genug vom Originalbild erhalten bleibt.

Du könntest auch die Gesichter in ein Faceswap Plugin laden und einfach neue Bilder erstellen im Stile der Künstler, mit dann eingefügten Gesichtern, dann hast Du den Verwandten-Effekt und es ist leichter, die Künstlerstile frei zu entfalten (da kein img2img/controlnet mehr nötig).

 

[Rickmer]

Stimmt, Faceswap Plugins wie Reactor gibt es auch noch. Ich nutze die nie...

Wobei ein kurzer Versuch im Stil von Picasso mit Reactor drüber gebügelt einfach nur scheiße aussieht...

 

[MechanimaL]

Ja stimmt, bei sowas wie Picasso, kann das nicht mehr gut funktionieren. Bei generell gemalten Bildern (mit den richtigen Einstellungen, wie leichtem inpainting im Stil des Bildes (ich verwende Faceswaplab)) geht es aber gut.

Würde einfach wie vorgeschlagen mit img2img und controlnet dann mal probieren, hier hatte ich im März mal kurz ein Hundefoto in versch. Künstlerstile umgewandelt.. da wäre natürlich noch mehr möglich gewesen, du musst einfach die Einstellungen finden, die genug vom Bild erhalten (in controlnet) und dann kannst du das denoising recht hoch stellen, um das Bild ausreichend stark zu ändern.

Ergänzung (23. Dezember 2023)

 

[SpartanerTom]

@Rickmer Danke an dieser Stelle auch nochmal für die Checkpoint-Empfehlung. Freue mich immer über ein paar aktuelle Spotlights. Ich beschäftige mich aktuell meistens noch mit den Gewerken unter der Haube, so dass das Endresultat gar nicht so wichtig ist. Aber trotzdem super wenn beim testen auch noch was gescheites bei rumkommt.

 

[Rickmer]

Ich habe mir heute ein neues Wallpaper gemacht - mit genanntem Artium Checkpoint, mit sehr zurückhaltenem Prompt.

Prompt:
female knight in a busy medieval village, creek, looking at viewer

Endresultat:

Ein 3440x1440 Wallpaper - ziemlich am Limit von was eine RTX 4090 an Auflösung machen kann ohne das Ultimate Upscale Skript.

Früher habe ich solche Wallpaper mit Openpose Controlnet gemacht, z.B. diesem Template:


Aber das funktioniert eher schlecht als recht, dabei eine vernünftige Figur und einen brauchbaren Hintergrund zu erhalten.

Mittlerweile generiere ich den Hintergrund zuerst - das Bild als Basis war dieses:

Prompt: scenic shot of a medieval village, closeup

Das habe ich erstmal spiegeln müssen weil ich die Ritterdame rechts haben wollte. Beim Browsen habe ich am linken Bildschirmrand ein paar Links auf dem Desktop und in der Mitte ist der Browser, daher kommt das Highlight vom Wallpaper nach rechts. Logisch, oder?

Dann diverse Ritter generiert, letzendlich war das meine finale Auswahl:

Prompt: female medieval knight standing guard, looking at viewer
Negativ: weapon, sword

Waffen sind auch mit SDXL 'ne schwierige Sache, insbesondere lange Waffen wie Schwerter oder Speere... dann lass ich es lieber.

Bzw. ausgeschnitten und gespiegelt so:

Zwischendurch habe ich das händisch gemacht in Photopea, aber heute habe ich rausgefunden, dass Adobe ein richtig gutes Tool dafür kostenlos bereitstellt:
https://new.express.adobe.com/tools/remove-background
(Zumindest solange das Tool auf Anhieb richtig erraten kann, was man ausgeschnitten haben will. Irgendwelche Kontrollmöglichkeiten scheint es nicht zu geben.)

Zusammengefügt sah das dann so aus:


Da hat die Auflösung natürlich noch nicht gereicht. Heißt also Upscaling.
Auffällig dürfte sein, dass das Bild dem finalen Bild noch nicht wirklich ähnlich sieht - ic hhatte mich entschieden, den Prompt zu ändern um das alles etwas belebter zu machen.

Prompt: female knight in a busy medieval village, creek, bridge, (looking at viewer:1.3)
Negativ: sword, dagger, weapon

Danach der letzte Upscale. Auf diverse 'qualitative' Anpassungen habe ich tatsächlich verzichtet.
(z.B. einen längeren positiven oder negativen Prompt, oder Vorgaben wie 'Manga' habe ich durchprobiert und mich letztendlich gegen alle entschieden. Optisch hatte das mir ohne am besten gefallen.

Das Bild von oben ist dann entstanden durch zusammenschneiden dieser Bilder:


Am linken Bild hat mir die Dame besser gefallen, am rechten Bild die Brücke. Und die Finger von der rechten Hand habe ich etwas korrigiert.

Ich hoffe, damit kann jemand was anfangen

 

[Th31X]

[....] Wie bist du auf die Idee gekommen, das zu machen?


(wobei ich hier zugegeben beim ersten der beiden den negativen Prompt ausgefüllt hatte:
(worst quality, low quality:1.4), (deformed, distorted, disfigured:1.3), poorly drawn, bad anatomy, wrong anatomy, extra limb, missing limb, floating limbs, (mutated hands and fingers:1.4), disconnected limbs, mutation, mutated, ugly, disgusting, blurry, amputation, tattoo, watermark, text
Beim zweiten aber nicht, der negative hat also den Gesamt-Output ästhetisch nicht extrem beeinflusst.)

Ja, die 3080 empfinde ich gerade als Klotz am Bein. Nichts halbes und nichts ganzes. Ich bin vor kurzem von auf eine andere Art von KI Gestützter Generierung gestossen. Nennt sich Gaussian Splats. Hochgradig Interessant was damit möglich ist. Hier ist das Minimum aber 24Gb Vram. "Günstig" auf 'ne 3090 upgraden ist derzeit fast unmöglich.

Wird Zeit dass AMD da endlich mal nachlegt. Arbeitet hier schon jemand mit Amds RocM, oder kann man es noch als "in den Kinderschuhen" bezeichnen? Ich glaub es geht vielen so, endlich von Nvidia wegkommen zu können.

Zu deiner Frage... Die Idee stammt nicht von mir, sondern von Scott Detweilers Guide für ComfyUI auf Youtube. Dürfte sogar das erste Video in der Reihe gewesen sein. Was er ganau da gemacht hat kann ich nicht sagen, oder warum. Nachgeklickt und etwas rumgespielt.

Ich finde deinen Prompt recht interessant, gerade die Zahlenwerte bei den Angaben. Sind das Gewichtungswerte?

"quality:1.4), (deformed, distorted, disfigured:1.3), poorly drawn, bad anatomy, wrong anatomy, extra limb, missing limb, floating limbs, (mutated hands and fingers:1.4)"

 

[SpartanerTom]

@Th31X Ich verweise ganz frech auf meinen Leserartikel für ein paar grundlegende Informationen. In Sachen ROCm hat sich die letzten 12-18 Monate viel bewegt und ROCm 6 steht auch nächstes Jahr bevor. In besagtem Thread gab es auch einige Wortmeldungen anderer Nutzer, die es möglich macht die Leistung etwas besser einzuordnen.

Allerdings gibt es auch immer noch die Designunterschiede zwischen den Rechenclustern der AMD Karten und der Tensor-Cores in den nvidia Karten. Die Tensor Cores haben eine viel höhere effektive Leistung bei gemischten Berechnungen mit niedrigerer Präzision, während AMD bei Berechnungen mit höherer Präzision punkten kann. Das hat man auch wieder gut bei der Vorstellung der Instinct MI300A/X Plattform gesehen. Für viele Berechnungen benötigt es allerdings die hohe Präzision nicht und so bekommt nvidia mehr effektiv nutzbare Leistung auf die Straße. So zumindest meine Einschätzung der aktuellen Situation.

 

[Th31X]

@SpartanerTom Vielen Dank :-) Na dann bekommt AMD hoffentlich bald die Kurve.

Jedenfalls, selbst das Basismodell gibt wirklich brauchbare Bilder aus. Wäre da nur nicht das Problem mit den Schwertern. :/

 

[MechanimaL]

Wäre da nur nicht das Problem mit den Schwertern. :/

Probiers mal hiermit: https://civitai.com/models/230342/xl-weapon-sword-and-shield-by-hailoknight

 

[gymfan]

Ich finde deinen Prompt recht interessant, gerade die Zahlenwerte bei den Angaben. Sind das Gewichtungswerte?

"quality:1.4), (deformed, distorted, disfigured:1.3), poorly drawn, bad anatomy, wrong anatomy, extra limb, missing limb, floating limbs, (mutated hands and fingers:1.4)"

Wenn ich mal von A1111 ausgehe, dann bezieht sich das auf die Gewichtung (mit max. zwei Nachkommastellen).

Siehe z.B.
https://stable-diffusion-art.com/prompt-guide/
-> Keyword weight
Wobei es dann auch noch auf die Reihenfolge der Begriffe, auf Kommas zur Trennung der Begriffe und auch korrekte (oder wie hier im Zitat fehlerhafte) Klammernutzung ankommt.

Um es noch schöner zu machen hängt die Gewichtung natürlich auch noch von nahezu allen übrigen Faktoren ab, wie den Sampling Steps und dem CFG Scale.

Am Ende muss aber SD (oder das genutzte Modell) die Begriffe auch kennen, weshalb ein "wild" von ChatGPT zusammen gewürfeltes Prompt eher zufällig Ergebnissi liefern dürfte.