Welche KI für betriebliche Nutzung?

[DJKno]

Hallo Zusammen,

bei uns in der Firma regt sich das Interesse, auf den KI Zug aufzuspringen und damit wiederkehrende Aufgaben automatisch erledigen zu lassen.
Rahmenbedingungen:
Wir sind ein mittelständischer Hersteller von Pharmazeutischen Produkten, was die Regularien sehr hoch ansetzt und damit jegliche Clouddienste erstmal in Frage stellt.
Der Schutz der Daten ist hier höchste Priorität.
Mit dem Erscheinen von DeepSeek und der Option, dies lokal nutzen zu können wurde das Interesse bei unserer Geschäftsführung geweckt und ich als IT soll das ganze mal evaluieren.

Kernaufgabe wäre im ersten Step die Erstellung von Berichten (z.b. Validierungsberichten) auf Basis von Stammdaten und erzeugten Rohdaten.
Ein Beispiel wäre z.b. eine Validierung von Räumen auf Basis vieler Messwerte. Die KI soll diese auswerten und darauf einen fertigen Bericht erzeugen, der dann nur noch gegengelesen werden muss.
Geht sowas mittlerweile schon?
Kann man hier auf eigener Hardware im Kostenbereich 10-20k irgendwas sinnvolles besehen?
Es muss nicht alle super schnell gehen, wenn es mehrere Minuten dauert, wäre das keine Problem.
Aktuell machen das Menschen und brauchen Tage dafür.

Hat jemand Erfahrung damit und kann ggf. diese teilen?

 

[duAffentier]

Tja, Da gibt es DSGVO, 27001 und die Medical Normen etc!
Dazu muss man wissen welche Normen ihr unterliegt bzw Google Fragen, dazu gibts viele Beiträge!

Und Datenschutz bei KI, Naja! Weniger. Eigene KI betreiben, dann ja!

Und eigene KI kostet glaube etwas mehr. Dazu Fachfirmen fragen!

 

[Rickmer]

Kernaufgabe wäre im ersten Step die Erstellung von Berichten (z.b. Validierungsberichten) auf Basis von Stammdaten und erzeugten Rohdaten.

Im medizinischen Bereich?
Mit KIs, von denen auch die besten noch immer zu Halluzinationen neigen?

Klingt für mich extrem heikel.
Dem Bericht würde ich nicht trauen, weil der noch so plausibel klingen kann und dann stimmen die Messerte beim nachrechnen nicht.

Was darf man an Daten in die KI geben, weil die sind dann nicht eure, sondern der Firma. Das ist nicht so einfach.

Wenn die KI lokal läuft und mit firmeninternen Daten gefüttert wird ist DSGVO irrelevant

Kann man hier auf eigener Hardware im Kostenbereich 10-20k irgendwas sinnvolles besehen?

Sowas wie Deepseek R1 GPU-beschleunigt kannste für das Budget vergessen, selbst quantized.

Also entweder nur in RAM laufen lassen (dann aber mit Server-CPU mit 12x RAM Channel!) oder mit kleineren Modellen wie Llama 3.3 70B anfangen. Quantized passt das sogar auf 2x RTX 3090 für eine sehr moderate Teststellung.

 

[madmax2010]

Kann man hier auf eigener Hardware im Kostenbereich 10-20k irgendwas sinnvolles besehen?

Wir sind ein mittelständischer Hersteller von Pharmazeutischen Produkten

Was wollt ihr denn am ehesten abfragen? Bei lokalen Modellen würde ich je EInsatzzweck unterschiedliche Architekturen nehmen.
Ob man nun python, konversationen oder Proteine falten sein soll, erfordert gern unterschiedliche (LL)Ms
Ich habe seit ein paar wochen den Artikel hier in der Leseliste: https://arxiv.org/pdf/2401.10273
Dem Abstract nach sollte das abdecken was du suchst.

, was die Regularien sehr hoch ansetzt und damit jegliche Clouddienste erstmal in Frage stellt.

C5?
Ist GPUs bei entsprechenden providern mieten eine Option?


Ansonsten: MAC Mini M4, 64GB RAM. Der Steckt lokal auch eine RTX5090 in die Tasche

Ergänzung (16. Februar 2025)

Klingt für mich extrem heikel.

Wenn man weiter als nur auf LLMs schaut, gibt es in de Bereich verdammt viel coole forschung. Alphafold ist da zum Beispiel sehr weit vorn

Tja, Da gibt es DSGVO, 27001 und TIsax etc!

Im Vergleich zu den regularien in dem BEreich ist die DSGVO ein Witz.
ISO 27001 kann ich ohnehin nicht respektieren

 

[Rickmer]

Wenn man weiter als nur auf LLMs schaut, gibt es in de Bereich verdammt viel coole forschung. Alphafold ist da zum Beispiel sehr weit vorn

Alphafold ist geil, aber das kann keine Messwerte zu Berichten zusammenfassen^^

Das ist mehr in die Richtung von dem was Microsoft mit Copilot erreichen will - und Statistik ist nicht grade eine Stärke von LLMs.

 

[madmax2010]

Full ack. Statistischen Kram sollte man definitiv selbst implementieren, wobei da die Qwen 2.5 Modelle / Deepseek recht guten Code liefern.

Zu Berichte schreiben wuerde ich wohl plain Llama 3.3 nehmen

 

[Ayo34]

Ein mittelständiges Unternehmen und dann nur das Budget? Ich würde einen Desktop-PC vorschlagen mit 4090/5090.

Aber nicht als Endkonfiguration, sondern zum Testen und Expertise aufbauen. Damit ist quasi alles möglich, aber noch nicht mit den guten, größeren Modellen. Dafür braucht man deutlich mehr VRAM. Allerdings könnte man dadurch exemplarisch aufzeigen was alles möglich ist und das dann später in eine richtige Workstation umwandeln.

In Sekunden wäre z.B. Chat with RTX (Nvidia) eingerichtet. Dann wählt man seine eigenen Daten/Dokumente aus und erstellt daraus, je nach Prompt, seine Berichte. Natürlich wird das später im produktiven Einsatz alles etwas komplizierter. Die Daten sollten passend aufbereitet werden, dann analysiert eine KI die Daten und erstellt daraus Statistiken/Erkenntnisse und daraus werden dann wieder Berichte. Am Ende validiert das dann eine Person. Mit den Schritten ist gerade die Validierung deutlich einfacher.

(Alles lokal ohne Internetzugang)

Kernaufgabe wäre im ersten Step die Erstellung von Berichten (z.b. Validierungsberichten) auf Basis von Stammdaten und erzeugten Rohdaten.
Ein Beispiel wäre z.b. eine Validierung von Räumen auf Basis vieler Messwerte. Die KI soll diese auswerten und darauf einen fertigen Bericht erzeugen, der dann nur noch gegengelesen werden muss.
Geht sowas mittlerweile schon?

Klar

---

Ich denke ordentlich umgesetzt ist man schnell 6stellig. Aber wenn ein MItarbeiter 6stellig jedes Jahr verdient, dann finde ich wie gesagt das Budget von 10-20k irgendwie ziemlich komisch. Meistens resultiert das daher, dass die (älteren) Chefs, das Potenzial nicht einschätzen können. Das ist ja eine Investitionen in die nächsten 50 Jahre und wenn man das nicht irgendwie angeht, dann fällt man gnadenlos hinten runter.

 

[xxMuahdibxx]

Ein Beispiel wäre z.b. eine Validierung von Räumen auf Basis vieler Messwerte. Die KI soll diese auswerten und darauf einen fertigen Bericht erzeugen, der dann nur noch gegengelesen werden muss.

Eine Validierung die nach gewissen Normen ablaufen soll.. auf einer KI ...

Schon klar das die KI auch validiert werden muss? Also überprüft werden muss ob sie immer die gleichen und richtigen Ergebnisse abbildet?

so als Hilfe vielleicht weil ich Pharma und Räume so höre..

https://www.pharma-food.de/ausruest...iche-intelligenz-und-gmp-validierung-683.html

oder gleich das FDA Paper dazu aber dann nur als "Disclaimer: This paper is for discussion purposes only and is not a draft or final guidance." ist

Process Monitoring and Fault Detection: AI methods can be used to monitor equipment and
detect changes from normal performance that trigger maintenance activities, reducing process
downtime. AI methods can also be used to monitor product quality, including quality of
packaging (e.g., vision-based quality control that uses images of packaging, labels, or glass
vials that are analyzed by AI-based software to detect deviations from the requirements of a
product’s given quality attribute).

https://www.fda.gov/media/165743/download?utm_medium=email&utm_source=govdelivery

Also wenn ihr am Ende der FDA was erklären müsst warum ihr der KI z.b. vertraut das sie immer richtig liegt.. viel Erfolg.

 

[xxhagixx]

Wir sind ein mittelständischer Hersteller von Pharmazeutischen Produkten, was die Regularien sehr hoch ansetzt und damit jegliche Clouddienste erstmal in Frage stellt.
Der Schutz der Daten ist hier höchste Priorität.

Doch das geht Ist Ansicht auch garnicht so schwierig. Ich hoffe aber mal ihr habt da ein paar Regulatory Leute für. Dann sollte recht schnell klar sein, welche regulatorischen Anforderungen wie erfüllt werden müssen. Da schmeiße ich mal Begriffe in den Raum wie Software Tool Validation, pFMEA und Supplier Evaluation. Grundvoraussetzung ist aber quasi immer das der Cloud Anbieter das BSI C5 Testat Typ 1, besser aber eher Type 2 hat (das hat aber aktuell nur die Open Telekom Cloud).

Bei der Cloud könnt ich euch dann Stundenweise die Maschinen buchen. Oder ihr sucht euch eine OpenAI kompatible API, wo ihr pro Anfrage zahlt, wie z.B.: https://www.open-telekom-cloud.com/...uenstliche-intelligenz/ai-foundation-services

Wenn ihr doch selber was anschaffen und betreiben (und warten wollt), müsstet ihr das Budget nur Deutlich vergrößern, oder euch halt wirklich nur mit den kleinen Modellen zufrieden gaben. Denn mit 20000€ Anschaffungskosten kommt ihr nicht soweit.

 

[andy_0]

Kann man hier auf eigener Hardware im Kostenbereich 10-20k irgendwas sinnvolles besehen

Je nachdem was ihr wirklich wollt. Aber ja, damit kann man schon was machen.

Je nach Leistung benötigt ihr 2-3 Nvidia 4090 oder AMD 7900 XTX, ein guten Prozessor (z.B. AMD 9950X) mit mindestens 128 GB RAM (am besten ECC, daher AMD) und eine Semi professionelle SSD (ala Samsung 990 Pro) für ordentliche Performance vom Festspeicher. Zu den GPUs alternativ die professionellen Varianten, die aber ordentlich Aufpreis kosten.

Je nach VRAM kannst du dann auf ein auf Basis von DeepSeek R1 destilliert Modelle wie das 70B 4Q Modell zugreifen. Im Open Source Bereich gibt es mindestens 2 Systeme mit Weboberfläche, um dann Anfragen an das System zu stellen.

 

[bikefanatic]

Schau dir mal intergator search an. Vielleicht geht was von denen in die Richtung, was du suchst.

 

[S K Y N E T]

Schon viel gesagt

Nur weil "in der Zeitung" mal was von Deepseek stand, muss man das nicht gleich nehmen

Die schlimmste Chinaware, noch dazu lokal komplett unbrauchbar, für "sensiblen medizinischen Bereich"

Neinneinneinnein

Speziell das "Halluzinieren" von LLM macht sie untauglich für viele Bereiche.

 

[Rickmer]

noch dazu lokal komplett unbrauchbar

Warum das?

 

[andy_0]

Speziell das "Halluzinieren" von LLM macht sie untauglich für viele Bereiche.

Die Aussage halte ich so pauschal für falsch.

Dem Anwender muss klar sein, dass die Details geprüft werden müssen. Das kann im Detail aber durchaus viel Arbeit einsparen.

Zu Zeiten von GPT 3.5 hatte ich im Bereich von Softwareentwicklung eher schlechte Erfahrung gemacht, mit aktuelleren Modellen, auch DeepSeek R1, aber gute Erfahrungen.

 

[duAffentier]

Und was sagt CoPilot zu der Frage?

Aber als Medical Firma muss man Anforderungen stellen und sich erkunden! Und da muss die IT dabei sein.

1. DeepSeek (lokale Nutzung)
   
   • KI-basierte Analyse und Berichterstellung, besonders geeignet für Messwertanalysen.
   • Beispiel: Validierungsberichte für Räume basierend auf Messdaten automatisch generieren.
2. Automatisierte Berichtserstellung mit Python und AI-Tools
   
   • Python-Skripte kombinieren mit KI-Modellen wie GPT-3 für Textgenerierung.
   • Beispiel: Automatische Erstellung von Validierungsberichten durch das Auswerten von Messwerten und generieren von Textpassagen.
3. Machine Learning Modelle für Datenanalyse
   
   • Eigenes Modell trainieren, um spezifische Daten zu analysieren und Muster zu erkennen.
   • Beispiel: Analyse von Messwerten und Erkennung von Abweichungen zur Validierung von Prozessen.
4. RPA (Robotic Process Automation)
   
   • Automatisierung von sich wiederholenden Prozessen durch Roboterprozesse.
   • Beispiel: Automatisierte Extraktion und Verarbeitung von Daten für Berichte.
5. Lokal installierte Business Intelligence (BI) Tools
   
   • Tools wie Power BI oder Tableau in einer lokalen Installation für die Analyse und Berichterstellung.
   • Beispiel: Datenvisualisierung und Berichtsgenerierung aus Messwerten.
6. Kosten und Infrastruktur
   
   • Hardwareanforderungen: Leistungsstarke Server (z.B. mit NVIDIA GPUs für Deep Learning), 10-20k € Budget ist realistisch für Basislösungen.

 

[DJKno]

Viele Dank für die vielen Antworten, werde mir die in Ruhe durchlesen.
Aber schon krass wie gleich alle auf die Barrikaden gehen.
Es ist eine Idee, ich evaluiere Möglichkeiten und ob es überhaupt Sinn macht, sich damit zu beschäftigen.
Natürlich werden keine Berechnungen oder ähnliches damit gemacht, die irgendwelchen Einfluss auf die Gesundheit von Menschen haben können.
Ich bin sehr vertraut mit der GMP Thematik.
Und natürlich muss man da auch viel prüfen und ggf. validieren.
Darum war ja mein Ansatz recht einfach.
Es werden halbjährlich Protokolle mit Messwerten von Temperaturen und Co. erfasst, welche immer wieder in einem Bericht zusammengefasst werden müssen.
Daher dachte ich, sowas kann doch bestimmt KI übernehmen.

Also bitte nicht gleich sonstwas denken. Alle Rahmenbedingungen und möglichen Budgets sind völlig offen. Ich wollte nur mögliche Ansätze und vielleicht Erfahrungen sammeln.

 

[duAffentier]

Es werden halbjahrlich Protokolle mit Messwerten von Temperaturen und Co. erfasst, welche immer wieder in einem Bericht zusammengefasst werden müssen.
Daher dachte ich, sowas kann dich bestimmt KI übernehmen.

Das macht Excel, eine Datenbank etc ohne KI!

Rohdaten und dann per Pivot auswerten etc.
Regel festlegen! Oder soll daraus Text entstehen etc.?

Ich sehe hier eher, des man Bruchstücke von Daten in KI auswerten lassen kann, sofern man selber alles zusammen schreiben/kopiert...

 

[Rickmer]

Und natürlich muss man da auch viel pefien und ggf. validieren.
Darum war ja mein Ansatz Recht einfach.
Es werden halbjahrlich Protokolle mit Messwerten von Temperaturen und Co. erfasst, welche immer wieder in einem Bericht zusammengefasst werden müssen.
Daher dachte ich, sowas kann dich bestimmt KI übernehmen.

Für den Anfang kann man von vergangenen Jahren die Messwerte ausgraben und schauen, ob die KI auf dasselbe Ergebnis kommt wie der offizielle Bericht.

Und auch 10x mit denselben Messdaten einen Bericht erstellen lassen und schauen, wie hoch die Varianz ist.

 

[DJKno]

Ja daraus muss ein Bericht in Textform entstehen, der die Werte auswerten, mögliche Trends erkennt und dann alles schon zusammenfasst.
Das macht Excel nicht

 

[Rickmer]

die Werte auswerten, mögliche Trends erkennt und dann alles schon zusammenfasst.

Das war fast wort-wörtlich so in der Werbung für Copilot^^