Welche Ki verwendet ihr im Alltag Suche Was für Anwendungen im Sozialbereich danke

[4nudels]

Suche KI die Lokale auf Lm 22.1 Xfce auf Notebook Dell latiude 7390 läuft habe 32 GB RAM und !TB nvne SSD.

Bevorzugt Lokal und Open Source Browser möchte vermeiden aus Datenschutz Gründen geht um Daten von Personen usw im Sozailbereich.

Würde gern damit Texte erstellen Audio dann brauche ev. KI für Doku und Berichte.

Danke

Für Debüt über Thunderbolt 3 Wäre bereit zu investieren wegen KI Sache würde Dan Invida 3070 Desktop Version reichen oder müsste tiefer Tasche greifen?

Für alle Tipps dankbar auch für Flatpak usw. offen im Browser, nur wenn ned anders geht.

Was nutz Ihr und Warum ? Link Forum usw für Alles Dankbar bin auch bereit mit Python usw und Biblothekenusw ev selbst was zu Basteln.

Danke

 

[oicfar]

Suche KI die Lokale auf Lm 22.1 Xfce auf Notebook Dell latiude 7390 läuft habe 32 GB RAM und !TB nvne SSD.

GPU ist vom Vorteil

Bevorzugt Lokal und Open Source Browser möchte vermeiden aus Datenschutz Gründen geht um Daten von Personen usw im Sozailbereich.

Kannst https://www.nomic.ai/gpt4all versuchen und schauen wie langsam es läuft.

Würde gern damit Texte erstellen Audio dann brauche ev. KI für Doku und Berichte.

Zu allgemein, was du da schreibst.

Danke

Für Debüt über Thunderbolt 3 Wäre bereit zu investieren wegen KI Sache würde Dan Invida 3070 Desktop Version reichen oder müsste tiefer Tasche greifen?

Ich würde mich erst mit paar Grundlagen beschäftigen.

Was nutz Ihr und Warum ?

https://github.com/ollama/ollama
https://github.com/open-webui/open-webui
usw.

 

[Piak]

Keine grammatik, schwammiges Vorhaben, mir klingt dass viel zu sehr nach illegal. Private Daten...hast du die Rechte daran?

 

[4nudels]

Na Doku von Beratungsgesprächen und Berichte übe Besprechungen und E-Mails geht um Mischung aus Sozialarbeit und psychosozialer Beratung usw. Also heikle Daten.

Und habe ADHS und leichte Legasthenie und möchte mir und Mitmenschen mit KI Leben leichter machen.

Alles, was da nützlich sein kann, bin froh und möchte durch KI alles Möglichst Selbstständig machen.

Danke.

Ergänzung (Gestern um 22:19)

Soll euch Links zu Ausbildung usw.? Posten und Frage immer Personen und las ma von ihnen Unterschreiben auch wegen DVO usw.

Danke nix Illegales da wo Praktikum mache und danach Beruflich anfang https://www.pmooe.at/unser-angebot/peer-beratung/ da mache Prasktikum von den Ok für KI.

 

[Pyrukar]

aus Datenschutz Gründen

Wo datenschutz mitspielt ist mMn alles online aus dem Spiel. Du brauchst also auf jeden fall Lokale Modelle.

Na Doku von Beratungsgesprächen und Berichte übe Besprechungen und E-Mails geht um Mischung aus Sozialarbeit und psychosozialer Beratung usw. Also heikle Daten.

Ich weis nicht ob es (für deine Hardware) Modelle gibt die das Lokal leisten können. Außerdem würde ich einer KI das generell nicht anvertrauen die wirklich wichtigen Dinge zusammenzufassen ... nicht auf deutsch und nicht fehlerfrei. Gerade was Lokale LLMs angeht ist fast alles das ich zumindest kenne nur gut funktional auf Englisch ... Deutsch wird erst ins Englische Übersetzt dann die Aufgabe erledigt und dann wieder ins Deutsche zurück übersetzt.

Du bräuchtest ein Lokales Modell, das auf deiner Hardware läuft, deutsch Nativ verarbeiten kann, und mit Medizinischem Fachvokabular arbeiten kann. Ist mir nicht bekannt und meine Vermutung wäre: Gibts (noch) nicht.

 

[oicfar]

generell nicht anvertrauen die wirklich wichtigen Dinge zusammenzufassen ... nicht auf deutsch und nicht fehlerfrei. Gerade was Lokale LLMs angeht ist fast alles das ich zumindest kenne nur gut funktional auf Englisch ...

z.B. https://ollama.com/library/mistral-small

• Multilingual: Supports dozens of languages, including English, French, German, Spanish, Italian, Chinese, Japanese, Korean, Portuguese, Dutch, and Polish.

Uns es gibt noch andere Modelle.

Habe am Wochenende ein Python Skript gebaut, welches Text aus einem Foto extrahiert und übersetzt. Funktioniert wunderbar.

 

[4nudels]

Bin bereit, wenn es nicht anders geht, in Hardware zu investieren. Was W würdest dann Empfehlen bevorzugt ein Notebook refurbished ThinkPad oder Dell Latitude usw. .


Was Brauchst na Infos ?
.´

Danke

Ergänzung (Gestern um 22:31)

Doch gibst habe schon gefunden https://flathub.org/apps/net.mkiol.Speck-Note das gibst ah KI lm mit med sprache.https://flathub.org/apps/net.mkiol.SpeechNote

Ergänzung (Gestern um 22:33)

Also nicht so das nicht aus selbst gucke. Trotzdem Bitte Tips und das Meien Hardware

nudels@nudels:~$ inxi -Fzz
System:
  Kernel: 6.8.0-54-generic arch: x86_64 bits: 64
  Desktop: Xfce v: 4.18.1 Distro: Linux Mint 22.1 Xia
Machine:
  Type: Laptop System: Dell product: Latitude 7390 v: N/A
    serial: <superuser required>
  Mobo: Dell model: 09386V v: A00 serial: <superuser required> UEFI: Dell
    v: 1.41.0 date: 11/06/2024
Battery:
  ID-1: BAT0 charge: 60.0 Wh (100.0%) condition: 60.0/60.0 Wh (100.0%)
CPU:
  Info: quad core model: Intel Core i5-8350U bits: 64 type: MT MCP cache:
    L2: 1024 KiB
  Speed (MHz): avg: 1461 min/max: 400/3600 cores: 1: 1600 2: 1600 3: 1600
    4: 1600 5: 1200 6: 1600 7: 1600 8: 891
Graphics:
  Device-1: Intel UHD Graphics 620 driver: i915 v: kernel
  Device-2: Sunplus Innovation Integrated_Webcam_HD driver: uvcvideo
    type: USB
  Display: x11 server: X.Org v: 21.1.11 with: Xwayland v: 23.2.6 driver: X:
    loaded: modesetting unloaded: fbdev,vesa dri: iris gpu: i915 resolution:
    1: 2560x1440 2: N/A
  API: EGL v: 1.5 drivers: iris,swrast platforms: gbm,x11,surfaceless,device
  API: OpenGL v: 4.6 compat-v: 4.5 vendor: intel mesa
    v: 24.2.8-1ubuntu1~24.04.1 renderer: Mesa Intel UHD Graphics 620 (KBL GT2)
Audio:
  Device-1: Intel Sunrise Point-LP HD Audio driver: snd_hda_intel
  API: ALSA v: k6.8.0-54-generic status: kernel-api
  Server-1: PipeWire v: 1.0.5 status: active
Network:
  Device-1: Intel Ethernet I219-LM driver: e1000e
  IF: enp0s31f6 state: down mac: <filter>
  Device-2: Intel Wireless 8265 / 8275 driver: iwlwifi
  IF: wlp2s0 state: up mac: <filter>
  IF-ID-1: virbr0 state: down mac: <filter>
  IF-ID-2: wwan0 state: down mac: <filter>
Bluetooth:
  Device-1: Intel Bluetooth wireless interface driver: btusb type: USB
  Report: hciconfig ID: hci0 state: up address: <filter> bt-v: 4.2
Drives:
  Local Storage: total: 1.02 TiB used: 244.2 GiB (23.3%)
  ID-1: /dev/mmcblk0 model: MSSD0 size: 117.04 GiB type: Removable
  ID-2: /dev/nvme0n1 vendor: Western Digital model: WD BLACK SN770 1TB
    size: 931.51 GiB
Partition:
  ID-1: / size: 883.83 GiB used: 222.11 GiB (25.1%) fs: ext4
    dev: /dev/nvme0n1p2
  ID-2: /boot/efi size: 511 MiB used: 6.2 MiB (1.2%) fs: vfat
    dev: /dev/nvme0n1p1
Swap:
  ID-1: swap-1 type: partition size: 32 GiB used: 0 KiB (0.0%)
    dev: /dev/nvme0n1p3
  ID-2: swap-2 type: zram size: 31.09 GiB used: 10.5 MiB (0.0%)
    dev: /dev/zram0
Sensors:
  System Temperatures: cpu: 65.0 C mobo: 62.0 C
  Fan Speeds (rpm): cpu: 5047
Info:
  Memory: total: 32 GiB available: 31.09 GiB used: 18.76 GiB (60.3%)
  Processes: 403 Uptime: 1d 6h 57m Shell: Bash inxi: 3.3.34
nudels@nudels:~$

Ergänzung (Gestern um 22:35)

Ist Mistreal DSGVO Tauglich?

 

[Pyrukar]

Notebook

Wenns Unbedingt ein Notebook werden soll dann wird es verdammt teuer ... Was Lokale KI Modelle brauchen ist endweder eine Grafikkarte mit viel VRAM oder eine CPU/APU mit NPUs die gibts erst wirklich seit der Aktuellsten Laptop Generation und von daher wirds da nix refurbished geben.

Wie viel Geld wärst du denn bereit auszugeben?


@oicfar wie gesagt gibt es ettliche Modelle die "Multilingual" sind die haben eine Übersetzungsmatrix und wie ich bereits geschrieben habe, übersetzen die alles erstmal in Englisch bearbeiten dann die Aufgabenstellung und übersetzen dann die Englische Ausgabe zurück in die zielsprache, da geht meist sehr viel Sprachgenauigkeit verloren, und genau das ist es was man bei Sensiblen Daten nicht möchte. Zumal im Psycholgischen bzw. grundsätzlch Medizinischen Bereich viele Fachbegriffe verwendet werden, die idR schwer bis nicht korrekt übersetzt werden.

Gibt ne einfache Art zu testen ob ein LLM Nativ mit einer Sprache umgeht. Lass sie ein Gedicht schreiben! Wenn sich das gedicht in der Ausgabesprache gut reimt dann ist es vermutlich Nativ verarbeitet worden, falls nicht na ja dann versuchs mal ins Englische Zu übersetzen und schau dir an ob es sich dann besser reimt ... idR ist das der Fall.

 

[4nudels]

sowas auch zu schwach https://www.afbshop.de/Lenovo-ThinkPad-P52/DE-33.493-B oder https://www.afbshop.de/Lenovo-ThinkPad-P15-G2/DE-38.215-A bis 1500€ wäre bereit

 

[Pyrukar]

Ist Mistreal DSGVO Tauglich?

kommt ganz darauf an wie man es nutzt: wenn du es auf einen Server wer weis wo hochlädst und dort nutzt ganz bestimmt nicht.

wenn du es auf eingener Hardware benutzt und die Software die du zum ausführen der LLM benutzt nicht nach hause telefonieren kann, dann kann das ggf. DSGVO tauglich sein. Aber natürlich nur wenn die Personen zugestimmt haben, dass ihre Persönlichen Daten von einer KI verarbeitet werden.

Ergänzung (Gestern um 22:48)

sowas auch zu schwach

Ja mit 4 GB Video Speicher reißt du da gar nix. und mit einem 5 Generationen alten Prozessor eben so wenig.

 

[4nudels]

Okay danke mal für links und tips hoffe kommt noch, was Haupt Anwendung wäre spreche zu Text und Emils und Texte Sachen, Bilderbearbeitung usw. kaum Thema also hoffe das ev. schlanke Modelle reichen?

Bitte auf um Tipps für Software, auch wenn ohne KI.

 

[DaysShadow]

Lade dir z.B. mal https://lmstudio.ai, da kannst du etliche Modelle lokal laden und arbeiten lassen. Schau einfach darin mal, ob du etwas findest was dir überhaupt irgendwie hilft bzw. schnell genug ist.

Sprache zu Text hilft dir ja auch nur was, wenn die Verarbeitung dahinter schnell genug ist und nicht Stunden braucht.

Genutzte Ressourcen kannst du einstellen, habe das am Arbeitsnotebook mal getestet.

 

[4nudels]

Da hast recht, danke für Tipp mit Lmstudio. Beratungsgespräche dauern 30-50 min und das wärs gut, wenn KI ziemlich flott gleichzeitig protokolliert.

Möchte mich voll auf das Gespräch konzentrieren und ned auch noch Doku gleichzeitig machen müssen.
Natürlich kommen Anmerkung usw. nach Gespräch Händisch dazu also sollte Textdatei mit LibreOffice oder ONLYOFFICE sich Bearbeiten Lassen bitte PDF,Odt oder Officeformat von Microsoft.


Danke


Gespannt, was noch kommt.

 

[Der_Dicke82]

Ich habe mit einen alten office PC zum lokalen nutzen von AI Modellen ins Haus geholt!
Die anfragen dauern ziemlich lange, aber ich habe die Zeit und noch keine Kohle für dicke Hardware.
Da ich die Berechnungen auslagere, bleibt das notebook wunderbar nutzbar!

In Zukunft denke ich in Richtung Ryzen AI MAX

Tatsächlich braucht man am besten 10-16 GB Speicher für die Modelle, 8 GB reichen vielleicht für ein 7-8b Model aus, aber ob es einem ausreicht ist eine andere Frage!

Da du 32 GB Speicher hast, probiere dich einfach mal aus, auch wenn die antworten ewig dauern!
Dann bekommst du wenigstens eine Idee von dem was du willst!

Stt und tts sind einfacher umzusetzen.

Beratungsgespräche dauern 30-50 min und das wärs gut, wenn KI ziemlich flott gleichzeitig protokolliert.

Warum soll es flott sein? Zeichne es auf und am Ende transkribieren. Das dauert selbst auf dem Handy keine Ewigkeit
Whisper gibt es als open source apk im fdroid
Ansonsten Schaust du nach fast_whisper local

 

[4nudels]

Die letzten beiden Begriffe sagen mach nichts bitte um Erklärung Danke.

Ergänzung (Gestern um 23:18)

Weil kann Bock habe das dann in Freizeit noch zu bearbeiten.

Ergänzung (Gestern um 23:20)

Fast whisper ist in der flatpak speech drin, das Teste mal danke.

 

[oicfar]

@oicfar wie gesagt gibt es ettliche Modelle die "Multilingual" sind die haben eine Übersetzungsmatrix und wie ich bereits geschrieben habe, übersetzen die alles erstmal in Englisch bearbeiten dann die Aufgabenstellung und übersetzen dann die Englische Ausgabe zurück in die zielsprache, da geht meist sehr viel Sprachgenauigkeit verloren, und genau das ist es was man bei Sensiblen Daten nicht möchte. Zumal im Psycholgischen bzw. grundsätzlch Medizinischen Bereich viele Fachbegriffe verwendet werden, die idR schwer bis nicht korrekt übersetzt werden.

So tief habe ich mich an der Stelle mit noch nicht beschäftigt. Das Do Multilingual LLMs Think In English? scheint aber interessant zu sein.

 

[4nudels]

Habt ev. Ideen was auch Helfen kann, muss ned KI sein Kann auch Lokale Software sein oder Hardware sein usw.?

 

[nutrix]

Da hast recht, danke für Tipp mit Lmstudio. Beratungsgespräche dauern 30-50 min und das wärs gut, wenn KI ziemlich flott gleichzeitig protokolliert.

Sowas darfst Du nicht mit einer KI machen, die direkt mit der Cloud kommunziert oder damit arbeitet.

Möchte mich voll auf das Gespräch konzentrieren und ned auch noch Doku gleichzeitig machen müssen.

Darfst Du auch nicht so einfach machen.

Na Doku von Beratungsgesprächen und Berichte übe Besprechungen und E-Mails geht um Mischung aus Sozialarbeit und psychosozialer Beratung usw. Also heikle Daten.

Du darfst Dir von Hand Notizen machen, mehr nicht. Alles andere mußt Du mit den Klienten besprechen und erst um Erlaubnis fragen. Ebenso mußt Du hier die Vertraulichkeit und Sicherheit der Daten gewährleisten.

 

[4nudels]

z.B. https://ollama.com/library/mistral-small

• Multilingual: Supports dozens of languages, including English, French, German, Spanish, Italian, Chinese, Japanese, Korean, Portuguese, Dutch, and Polish.

Uns es gibt noch andere Modelle.

Habe am Wochenende ein Python Skript gebaut, welches Text aus einem Foto extrahiert und übersetzt. Funktioniert wunderbar.

Wie groß das Skript usw. könnte das ev. bitte haben oder Anleitung wie das macht vielleicht kann das Skript für meine Zwecke umbauen ?

Wenn Trotzdem Danke für Input.

 

[nutrix]

Und warum kümmerst Du Dich nicht zuerst um die rechtlichen Aspekte, bevor Du irgendwelche Technik einsetzen willst, was Du dann eh nicht darfst?

Als psychologischer Psychotherapeut mußt Du sogar Patientenakten anlegen und 10 Jahre aufbewahren, für alles andere wäre mir keine Aufzeichnungspflicht oder gar -recht bekannt. Aber Du unterliegst üblicherweise der Schweigepflicht, und private Daten wie Infos müssen entsprechend gesichert werden.