[Sammelthread] AI - Bildgenerierung (Stable Diffusion, Midjourney & Co)

[Der Kabelbinder]

Das ist mittlerweile ja ein klarer Trend. Wenn man die "Vollversion" mit allen Plugins nutzen möchte, dann führt aber wohl erst mal kein Weg an Automatic1111 vorbei.

 

[MechanimaL]

Also ich bin sehr zufrieden, wie sich SD/A1111 entwickelt (hat), viele Vorzüge werden auch immer vorhanden bleiben, wie: Kostenfrei, open source, unzensiert, freie Model-Wahl, detaillierte Kontrollmöglichkeiten, Testmöglichkeiten/Implementierung neuer Technologien, jetzt bereits ein riesiger Funktionsumfang usw usf

Kürzlich kam z.B. ein 3D Pose Editor als Extension dazu, damit kann man dann mittels Controlnet die Körperhaltung des Subjekts vorgeben.

 

[Der Kabelbinder]

Das stimmt. Andererseits wird da an anderer Stelle auch noch ordentlich Konkurrenz entstehen, wenn Adobe die Photoshop-Implementierung weiter ausbauen und stetig um neue Features erweitern sollte. Dort fügt man die gewünschten Bildelemente dann einfach direkt als Ebene ein, platziert sie an entsprechender Stelle, schneidet ungewünschtes weg und lässt die Bildmaschine den Rest erledigen. Damit kann man sicher gezielter und letztlich auch effizienter arbeiten als mit SD-Inpainting, um nur mal dieses Beispiel aufzugreifen.

Anyway.
Ist hier eigentlich noch jemand anderes mit einer AMD-Karte unter Linux unterwegs, was Automatic1111 etc. betrifft?

 

[MechanimaL]

Es gibt ja schon ein Photoshop Plugin, hab ich aber noch nicht getestet, ich benutze (für meine bisherigen Alltags-Zwecke ausreichend) GIMP. Klar, wenn man da im Flow ist, mit Inpainting und den restlichen Tools, ist man mega gut bewaffnet, alles schnell und perfekt hinzubekommen.

Wegen AMD hatte ich hier letztens Empfehlungen gelesen, die eine bessere Perfomance als A1111 bringen sollen. Eine Empfehlung bezieht sich auf den bekannten Benchmark von tomshardware - dort wurde NodAI/Shark verwendet. Jemand anderes empfiehlt generell Linux für AMD+A1111.

Ggf. läuft auch NKMD besser bzgl. Performance. Vielleicht ist etwas davon nützlich für Dich

 

[Der Kabelbinder]

Danke dir!

Nod.ai Shark ist mir bereits bekannt. Läuft aber (sowohl unter Windows als auch Linux) weniger effizient als Automatic1111. Habe mit letzterem unter openSUSE Tumbleweed auch schon Werte von rund 6.5 it/s erreichen können, die über dem damaligen Benchmark meiner 6900XT bei Tomshardware liegen. Die ganze ROCm-Geschichte ist unter Linux aber noch ziemlich wackelig. Leider gibt es unter vielen Distros Installationsprobleme oder PyTorch von Automatic1111 schafft es einfach nicht, die GPU richtig anzusprechen. War kurzzeitig schon am überlegen, zu NVIDIA zu wechseln. Das ist angesichts der derzeitigen Preislage aber ziemlich unsinnig, wenn man min. 16 GB VRAM für komplexere Aufgaben und langfristig höhere Auflösungen haben möchte.

Das traurige ist leider, dass in der Forschung und Entwicklung fast ausschließlich NVIDIA verwendet wird, weil die die ersten waren, die maschinelles Lernen mit CUDA salonfähig gemacht haben. Daher gibt es zur Zeit kaum Implementierungen für AMD, die in Sachen Support leider auch heute immer noch hinterherschluffen.

 

[MechanimaL]

Da hast Du recht. Da mir 8GB zu wenig waren, bin ich kürzlich auch auf eine 3090 gewechselt. Unter 16GB wäre mir zu wenig gewesen, von daher wäre noch eine 4080 eine Option gewesen, die 4090 definitiv noch zu teuer, nur wegen SD (Performancemäßig hat mir ja die 3070 dafür schon gereicht) und bei gelegentlichem Gaming in 1080p ^^ Da war dann ne gebrauchte 3090 mit Verkauf der 3070 die naheliegende Option; dachte mir für ggf zukünftiges Training sind 24GB besser, als 16 und war natürlich auch ne ganze Ecke günstiger als ne neue 4080.

 

[Der Kabelbinder]

Gaming in 1080p auf ner 3090. Okay. Ich merke, dass ich nicht der einzige Wahnsinnige bin. ^^
Bei mir wären es immerhin UWQHD mit 180 Hz.

Wenn ich deutlich mehr mit SD bzw. ML im Allgemeinen machen würde, hätte ich wohl auch schon längst aufgerüstet. Bei den Preisen muss man sich aber gut überlegen, ob man die Rechenleistung nicht einfach outsourct. Auf kurz oder lang wird das wesentlich wirtschaftlicher sein. Wohl aber wieder mit dem Umstand, dass sämtliche Daten in die Cloud wandern müssen ...

Wie sieht es bei Nvidia zur Zeit eigentlich mit den Treibern unter Linux aus?
Geht die PyTorch-Integration von Automatic1111 ohne Probleme von der Hand oder muss man auch da wieder fummeln?

 

[MechanimaL]

Perspektivisch wird es auf 27-32" hinauslaufen mit 1440p/4k ^^ aber ich undervolte die 3090 jetzt auch noch, natürlich ist die overpowered Wie gesagt, ohne SD hätte ich die 3070 auch weiterhin genutzt. So wirds ne schöne Übergangskarte für den neuen Rechner meines Bruders, der sich dann später - zu hoffentlich moderateren Preisen - was größeres holen kann (ist im FPS E-Sport tätig und spielt auch nur 1080p).

Bzgl. Linux und PyTorch usw. hab ich leider keine Erfahrungswerte, die Info hier kennst Du ja wahrscheinlich schon. Man muss auf jedenfall (das wird wsl nicht anders sein als unter Windows) drauf achten, dass man Version 3.10.x benutzt und nicht 3.11.x. (3.10.6 ist die empfohlene).

 

[painomatic]

Ich habe heute mal Ai Render - Stable Diffusion In Blender bei mir eingebunden - läuft lokal via Automatic1111 - bin gerade am Rendern einiger Testanimationen - damit kann man auch sehr interassente Videos erstellen. Merke aber, dass meine RTX 3070 langsam an ihre VRAM Grenze stösst.

 

[MechanimaL]

Hi, ich hab auch vor ner Woche oder so mal mit Deinen MJ Prompts ein paar SD Bilder produziert, die ich eigentlich noch posten wollte, aber hatte noch nicht die Zeit, kommt noch

Zum RAM: Ich hab das hier reingemacht (in die webui-user.bat von A1111), das hat etwas geholfen:

set COMMANDLINE_ARGS=--xformers
set PYTORCH_CUDA_ALLOC_CONF=garbage_collection_threshold:0.9,max_split_size_mb:512

 

[IceKillFX57]

Hat sich eigentlich AMD mässig etwas getan? Hab's bisher nicht mit einer 6900XT zum laufen bekommen.

 

[Der Kabelbinder]

Hab's bisher nicht mit einer 6900XT zum laufen bekommen.

Wo genau hakts denn?

 

[IceKillFX57]

Kennst du dich da aus? Dann wäre ein verlinken der passenden Tutorials nicht schlecht, damit ich auf dem neusten Stand bin. Dann würde ich mich nach dem abarbeiten melden.

 

[Der Kabelbinder]

@IceKillFX57
Kann man so sagen.
Hast du dich denn schon mit dem AMD-Guide von Automatic1111 auseinandergesetzt?
Linux oder Windows?

Linux ist zur Zeit schneller, braucht aber die richtige Arbeitsumgebung für die Treiber. Ich habe gute Erfahrungen mit openSUSE (Tumbleweed) gemacht. Da muss man nicht so viel nachinstallieren.

 

[painomatic]

Hier mal meine ersten Resultate mit Blender in Kombi mit AI Render:

Original:

Prompt: A robot octopus with chains for arms, beautiful ink drawing in style of katsushika hok

Prompt: astral jellyfish interior of super futuristic space station in anime artstyle, ultra resolution, highly detailed

Prompt: Porcelain jellyfish, pastel color, shiny, glossy, super detailed, octane render

Noch Offtopic - die Qualle wurde komplett mit Nodes realisiert - sieht dann so aus:

 

[Pogopuschel]

@IceKillFX57
Kann man so sagen.
Hast du dich denn schon mit dem AMD-Guide von Automatic1111 auseinandergesetzt?
Linux oder Windows?

Linux ist zur Zeit schneller, braucht aber die richtige Arbeitsumgebung für die Treiber. Ich habe gute Erfahrungen mit openSUSE (Tumbleweed) gemacht. Da muss man nicht so viel nachinstallieren.

Ich probiere mich auch gerade spaßeshalber an SD. Hab ne 6900xt.
Was würdest du sagen ist besser, nod.ai oder das von dir verlinkte?
Ich hatte die installation von deinem link vor ein paar Tagen probiert, aber irgendwie gings nicht. Sollte ich lieber die automatische installation versuchen?

 

[Der Kabelbinder]

@Pogopuschel
Meine 6900XT skaliert im Moment am besten mit Automatic1111 unter Linux. Der Auto-Installer hat bei mir allerdings noch nie auf Anhieb funktioniert. Gehe daher eigentlich immer über den Abschnitt "Running natively".

Problematisch ist leider, dass man ROCm mit HIP sowie PyTorch braucht, was bei dem Script nicht in allen Distros fehlerfrei mitinstalliert wird. Mal sind die Repos kaputt, mal gibt es überhaupt keine Pakete, mal scheitert es an Paketabhängigkeiten. Hab es vor einigen Monaten selbst mit Ubuntu nicht hinbekommen, welches eigentlich keine Probleme machen sollte. Sehr gut läuft bei mir momentan hingegen openSUSE (Tumbleweed), bei dem ich fast nichts nachinstallieren musste.

Noch ein paar Links, falls es mal irgendwo haken sollte:
https://www.reddit.com/r/StableDiff...ces_guide_to_automatic1111_on_linux_with_amd/
https://www.videogames.ai/2022/11/06/Stable-Diffusion-AMD-GPU-ROCm-Linux.html
https://pytorch.org/get-started/locally/

Ansonsten gerne den Log aus der Kommandozeile posten.

 

[Pogopuschel]

Ich hab von dem ganzen Zeug echt (noch) Keine Ahnung, finde es nur interessant und spannend.
Ich habe nun Nod ai und Auto1111 ausprobiert. Nod ist nett, stürzt aber zu oft ab.
auto1111 hab ich nun neu installiert und es geht, Nachdem ich ein Modell geladen hatte.
Die Ergebnisse sind noch sehr dürftig, hab aber auch keine Ahnung was die ganzen Einstellungen bewirken. Man sollte wohl neue Modelle und Lora probieren um bessere Ergebnisse zu erzielen.

 

[Der Kabelbinder]

Custom-Modelle und Lora sind optional. Viel wichtiger ist, dass man erst mal ein Gefühl für das Prompting und bei den Modellen der Version 2 insb. auch ein Gefühl für das Negativ-Prompting bekommt. CFG-Scale nicht zu hoch. Als Sampler am besten sowas wie Karras, was nicht mit jedem weiteren Durchlauf (Iteration) das Bild inhaltlich verändert.

Ansonsten einfach mal Werte aus dem Netz kopieren und damit experimentieren.

 

[Der Kabelbinder]

Ich hab hier mal einen kleinen Guide zusammengestellt, wie man Automatic1111 auf Fedora 37 mit einer AMD-Karte (RX 6000er) zum Laufen bekommt. Aktuellste ROCm-Version (5.4.2) inklusive!

Automatic1111 + Fedora 37 + AMD RX 6000 Series:

Spoiler

1) FEDORA 37 INSTALLIEREN

---

2) TOOLBOX ERSTELLEN (OPTIONAL)

---

Warum Toolbox? Damit kann ich sichergehen, dass die ganzen Dependencies in einer eigenen Arbeitsumgebung (Container) installiert werden, die mir nicht aus Versehen durch spätere Systemupdates zerschossen wird.

sudo dnf install toolbox
toolbox create --container stable-diffusion
toolbox enter --container stable-diffusion

Wenn ihr euch für diesen Weg entscheiden solltet, dann solltet ihr jedes Mal, wenn ihr Automatic1111 starten wollt, vorher den Container öffnen:

toolbox enter --container stable-diffusion

3) DEPENDENCIES

---

# Python für Automatic1111

sudo dnf install python3.10

# Python für PyTorch-ROCm
(aktuell erforderliche Version siehe https://pytorch.org/get-started/locally/)

sudo dnf install python3.7

# Python-Systemstandards setzen

sudo alternatives --install /usr/bin/python python /usr/bin/python3.7 1
sudo alternatives --install /usr/bin/python python /usr/bin/python3.10 2
sudo alternatives --config python

1 = die aktuellere für PyTorch-ROCm
2 = die für Automatic1111

Hierbei sollte der Test ...

python -V

... am Ende 3.7 (oder neuer) ausgeben.

# AMD-Repo hinzufügen
https://www.amd.com/en/support/graphics/
Hier das RPM-File für RHEL 9.1 runterladen und installieren.

# ROCm installieren
sudo dnf install rocm-*
sudo dnf libGL
sudo dnf install llvm

4) AUTOMATIC1111

---

# Github-Repo nach /home/ spiegeln

git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui

Zur Sicherheit sollten wir jetzt einmal in den Ordner gehen und die Datei webuser.sh mit dem Editor bearbeiten:

python_cmd="python3.10"

Bei der Bearbeitung darauf achten, vorne das "#" wegzunehmen, damit der Befehl auch aktiv wird.
Mit dem Befehl gehen wir sicher, dass Automatic1111 immer die geforderte Python-Version von aktuell 3.10 benutzt.

# Virtuelle Pythonumgebung erstellen und Pip-Wheel aktualisieren

cd stable-diffusion-webui
python3.10 -m venv venv
source venv/bin/activate
python3.10 -m pip install --upgrade pip wheel

# Automatic1111 starten

TORCH_COMMAND='pip install torch torchvision --extra-index-url https://download.pytorch.org/whl/rocm5.4.2' python launch.py --precision full --no-half

Hierbei wird die aktuellste Version von PyTorch-ROCm installiert (v5.4.2), die auf unsere zuvor als Systemstandard gesetzte Version 3.7 von Python zurückgreift.

Von nun an sollte alles automatisch ablaufen und a Ende der Befehl ...

Running on local URL: http:127.0.0.1:7860

... ausgegeben werden. Das ist unsere Adresse, mit der wir nun das Web-UI aufrufen können.

5) BEI NEUSTART

---

Nach einem Neustart solltet ihr dann immer folgende Befehle ausführen:

toolbox enter --container stable-diffusion
cd stable-diffusion-webui
source venv/bin/activate
python3.10 launch.py --precision full --no-half

Bei Gelegenheit könnt ihr nach "cd stable-diffusion-webui" auch einmal "git pull" ausführen, um das ganze Repository von Github zu aktualisieren. Obacht: Danach muss die Datei "webuser.sh" ggf. neu angepasst werden!

6) TROUBLESHOOTING

---

https://github.com/AUTOMATIC1111/stable-diffusion-webui/wiki/Troubleshooting

Hier finden sich auch einige AMD-spezifische Startparameter, die man dem Startcommand ("python3.10 launch.py --xxx") bzw. der "webuser.sh" ("export COMMANDLINE_ARGS="---xxx"") anhängen kann. Bei Problemen mit dem VRAM empfiehlt sich z.B. "--medvram".

Meine 6900XT läuft damit aktuell bei rund 6 bis 6,4 Iterationen/Sekunde @ Standardsettings.
Vielleicht hilft der Leitfaden ja dem einen oder anderen weiter.