Erfharung gesucht Home Assistant Voice/Text lokale LLMs

[Don-DCH]

Guten Morgen zusammen,

ich plane meinen Home Assistant zu migrieren und endlich die Homepod Minis abzulösen.

Viel hat sich bei Home Assistant getan, so dass jetzt mehr die Modelle trainiert wurden um auch auf schwächerer Hardware ausgeführt werden können:
https://stadt-bremerhaven.de/home-a...-9-weitere-neuerungen-fuer-sprachassistenten/

Ich würde gern so flexibel wie möglich sein und wollte Besitzer von Home Assistant, welche die Sprachsteuerung oder auch Textsteuerung müsste ja auf das gleiche rauskommen befragen welche Hardware ihr habt und wie zufrieden ihr seit?

Die Frage ist welche CPU muss es sein damit alles sehr zügig und reibungslos funktioniert. Ein N100 wird wohl sehr knapp.
https://stadt-bremerhaven.de/home-a...fenen-sprachassistenten-ab-sofort-verfuegbar/

Die Frage ist was man am besten kauft?
Gerne würde ich auch ECC einsetzen.
Somit gäbe es bei AMD den 4650G den 5650G für AM4 oder den 7600, welcher leider viel teurer geworden ist aber sehr viel mehr Leistung bringt.

Ich würde mich sehr über eure Erfahrungswerte freuen!

Viele Grüße und einen schönen Start in die Woche!

 

[madmax2010]

aus LLM Performance sicht, wischt der hiermit einem 7950X den Boden:
https://www.friendlyelec.com/index.php?route=product/product&product_id=301
Wobei da fast die komplette Entwicklung auf Reddit läuft.

Ansonsten ein Mac Mini M4
Ohne gescheite GPU / NPUs kannst du das eigentlich vergessen.

 

[Don-DCH]

Vielen Dank dir für die schnelle Rückmeldung!

Hmm hast du Home Assistant mit Voice/Text im Einsatz?

Die Basisbefehle sollten mit 2025.3 was wohl nächste Woche erscheitn sehr gut klappen aber ich denke das reicht mir nicht.

Wie wäre diese CPU:
AMD Ryzen 5 PRO 8600G reicht die NPU Performance?

Mac Mini M4

Das ist ein interessanter Gedanke. Recht kostspielig aber der M4 ist schon sehr performant.

Ist die Frage wie zuvelässig weitere Netzwerkkarten per USB funktionieren. Ein RJ45 Anschluss reicht mir nicht.

 

[madmax2010]

. Ein RJ45 Anschluss reicht mir nicht.

warum das? Kann doch mehrere IPs haben..
Und er hat Thunderbolt. Das istu.a Externes PCIe

Recht kostspielig

500 Euro.
1000 mit 32GB RAM

Hmm hast du Home Assistant mit Voice/Text im Einsatz?

ich habe home assistant ohne LLM laufen,
aber ich habe LLMs und Whisper laufen.
Zur Lichtsteuerung brauche ich kein LLM, wohl aber um mit meinen eigenen Tools zu sprechen (todo listen, wiki, tickets, emails, etc..)

AMD Ryzen 5 PRO 8600G reicht die NPU Performance?

musst du nachschlaen. Wenn niemand LLMs fuer die NPU kompiliert hat, ist Rohleistungnicht relevant.

 

[Don-DCH]

warum das?

Habe unterschiedliche Netze für IoT und nutze keine Tagged VLANs.

Und er hat Thunderbolt. Das istu.a Externes PCIe

Das stimmt damit könnte man viel machen.

Kann man denn die Leistung des M4s in einer VM richtig nutzen?
Laut Anleitung wird ja eine VM hochgezogen und nciht nativ auf dem Mac Mini installiert.

aber ich habe LLMs und Whisper laufen.
Zur Lichtsteuerung brauche ich kein LLM, wohl aber um mit meinen eigenen Tools zu sprechen (todo listen, wiki, tickets, emails, etc..)

Das klingt spannend, darf ich fragen, welche Hardware du dafür verwendest?

musst du nachschlaen. Wenn niemand LLMs fuer die NPU kompiliert hat, ist Rohleistungnicht relevant.

Ok, verstehe.

Der Nvidia Jetson Nano klingt auch nicht schlecht wobei ich da nichts groß gefunden habe bezüglich Anleitung für Home Assistant ob das gut läuft. hmm

EDIT: Könnte Home Assistant mit einer GPU umgehen um so Beispeilsweise eine RTX 3060 mit 12GB einzubauen und diese zu nutzen?

 

[Der_Dicke82]

Normalerweise läuft dein homeassistant und die KI Hardware nicht unbedingt auf der gleichen Maschine zumindest aber in unterschiedlichen VMs/CTs

Wofür willst du deine KI den nutzen? Ich möchte daran erinnern, das Sprachsteuerung nur den Lichtschalter ersetzt und damit kein bisschen smart ist! Besser du überlegst dir smarte automatisierungen und die funktionieren auch ohne KI!

Ich mache es ähnlich wie @madmax2010 und benutze eine lokale KI für Termine, Notizen und ToDo listen.
Alle diese Befehle sind nicht Zeitkritisch, deswegen stört es mich nicht, wenn es recht langsam auf einer CPU läuft. Da kann es mal eine Minute dauern bis die Bestätigung für die Durchführung kommt.

Ich könnte das mit einem kleineren llm beschleunigen aber die sprechen schlechter Deutsch.

Ein gutes in Richtung deutsch destilliertes habe ich leider noch nicht gefunden.

unterschiedliche Netze für IoT und nutze keine Tagged VLANs

Wie trennst du die drahtlose Kommunikation? Mit eigenen APs?

Vielleicht machst du mal eine Skizze deiner Topologie.

 

[Don-DCH]

Vielen Dank dir!

ich habe nochmal recherschiert.
Genau das habe ich auch rausgefunden, dass man Ollama auf einem anderen PC installieren kann und per Netzwerk zugreifen kann, das ist natürlich super

Einzig Whisper braucht ein bisschen Leistung. Aber das ist ja kein Vergleich zu den LLMs

die KI möchte ich in erster Linie nutzen um mein Smarthome zu steuern oder auch mal was nachzufragen, da ist Siri oft sehr dumm und verweist aufs iphone und kann die einfachsten Fragen nicht beantworten

smarte automatisierungen

Das habe ich bereits, geht wir wie gesagt um die Steuerung und ein bisschen Kontext Verständnis sowie das man vielleicht auch mal was fragen kann.

Wie trennst du die drahtlose Kommunikation? Mit eigenen APs?

Nein, da habe ich nur einen. Ich verwende UniFi, der AP spannt mehrere SSIDs auf und diese kann ich den Netzwerken zuordnen.
Die Netze dann entsprechend als Untagged Port am Switch

Also im Grunde durch die Erkentnis das ich Ollama auch remote ansprechen kann hat sich das fast erledigt.
Wie gesagt braucht lediglich Whisper ein bisschen Power aber das bekommt man ohen sehr teure Hardware gut hin.

Da ich eh mit Ki schon seit einiger Zeit testen möchte bietet sich das gut an, dass ich da auch Ollama verwende in dem Zuge.

 

[Der_Dicke82]

Du kannst zum testen ja einfach mal local AI installieren, das kann tts stt und llms
So habe ich halt alles auf einem PC
Whisper, llm und piper falls gewünscht und HA müsste selber gar nichts machen.

Wenn du möglichst günstig etwas KI power haben willst, könntest du 2 ältere GPUs von nvidia nehmen! Zum Beispiel 2x p2000
Damit geht ein 7b Modell schon ganz gut und ein kleines whispermodel passt auch noch in den RAM

 

[SaxnPaule]

Ich bin das Thema vor kurzem angegangen und habe meine Erfahrung hier niedergeschrieben: https://www.computerbase.de/forum/threads/home-assistant-voicecontrol-welches-llm.2199175/

Wenn du ein optimiertes deutsches LLM findest was Whisper kompatibel ist, könnte es gut funktionieren. War bei mir damals nicht der Fall, weshalb ich das Projekt erstmal wieder auf Eis gelegt habe.

Als Mikrophon habe ich einen M5Stack Echo genutzt.