I built a private AI voice assistant for Home Assistant using a Raspberry Pi 5, Claude API, Whisper (local STT) and Piper (local TTS). This article covers the full setup — hardware, API integration, HA control and systemd deployment.
The article below is in German — use Google Translate for the full English version.
Kacy Brain: Wie ich mir mit Claude API und einem Raspberry Pi einen echten KI-Assistenten fürs SmartHome gebaut habe
Amazon Echo, Google Home, Apple Siri — alle hören zu, alle senden Sprachdaten in die Cloud, alle funktionieren nur so lange, wie der jeweilige Konzern seinen Dienst am Laufen hält. Ich wollte etwas anderes: einen KI-Assistenten der wirklich intelligent ist, mein SmartHome kennt, auf Wunsch auch unterwegs verfügbar ist — und dessen Daten mein Zuhause nicht verlassen. Das Ergebnis heißt Kacy Brain. Hier erkläre ich, wie das funktioniert und wie ihr sowas selbst bauen könnt.
🏆 Kurzfazit
Ein selbst gebauter KI-Assistent auf Basis der Claude API schlägt jeden kommerziellen Sprachassistenten in Punkto Intelligenz und SmartHome-Integration — bei vollem Datenschutz. Der Aufwand lohnt sich.
Das Gute
- Deutlich intelligenter als Alexa oder Google
- Vollständige Home Assistant Integration
- Kein Vendor Lock-in, keine Abo-Falle
- Datenschutzkonform — Stimme bleibt lokal
- Mobil erreichbar über VPN
- Frei anpassbar und erweiterbar
Das Schwierige
- Technisches Vorwissen notwendig
- Claude API kostet monatlich (Pay-per-use)
- Keine fertige App — Eigenbau erforderlich
- Einrichtung dauert einige Stunden
Kacy Brain
Raspberry Pi + Claude API + Home Assistant = persönlicher KI-Assistent
🤔 Warum nicht einfach Alexa nutzen?
Alexa ist praktisch. Das will ich gar nicht bestreiten — ich habe selbst mehrere Echo-Lautsprecher im Haus. Aber wer einmal versucht hat, Alexa wirklich komplexe Dinge zu fragen („Welche Rolladen sind noch offen? Und warum ist es im Wohnzimmer wärmer als gestern?“), der merkt schnell: Alexa ist ein Befehlsempfänger, kein Assistent.
Dazu kommt der Datenschutz. Jedes Sprachkommando geht direkt zu Amazon-Servern. Das ist ein bewusstes Risiko, das viele SmartHome-Nutzer in Kauf nehmen — ich wollte eine Alternative.
💡 Das Konzept: Wie Kacy Brain funktioniert
Das Grundprinzip ist einfach. Kacy Brain läuft auf einem kleinen Mini-Computer (bei mir ein Raspberry Pi) im Heimnetzwerk. Er ist immer erreichbar, verbraucht kaum Strom und verbindet sich mit Home Assistant sowie der Claude API von Anthropic.
Der Ablauf einer Sprachanfrage sieht so aus:
Technische Architektur
Whisper und Piper laufen lokal auf dem Raspberry Pi — nur die eigentliche KI-Anfrage geht zur Claude API.
Der entscheidende Vorteil: Nur der Text der Anfrage verlässt das Heimnetzwerk — und auch nur zur Anthropic API. Keine Rohaudio-Daten, keine permanente Mikrofon-Verbindung zu fremden Servern. Whisper (Spracherkennung) und Piper (Sprachausgabe) laufen komplett lokal.
🖥️ Die Hardware
Die Hardware-Anforderungen sind bescheiden. Ich nutze einen Raspberry Pi — das reicht für diesen Anwendungsfall vollkommen aus. Wer mehr Leistung will (z.B. für lokale KI-Modelle als Ergänzung), kann auch zu einem kleinen Mini-PC greifen.
🥧 Option A: Einstieg
Raspberry Pi 4 (4 GB)
Reicht für Kacy Brain problemlos. Flüsterleise, stromsparend (~5W). Ca. 60–80 € inkl. Netzteil und SD-Karte.
⚡ Option B: Mehr Leistung
Raspberry Pi 5 oder Intel N100 Mini-PC
Spürbar schnellere Spracherkennung, mehr RAM. Empfehlenswert wenn weitere Dienste mitlaufen sollen. Ca. 100–150 €.
🗂️ Betriebssystem
Raspberry Pi OS (Bookworm) oder Ubuntu 24.04 LTS
Stabile Basis. Kein Desktop nötig — Headless reicht.
🌐 Netzwerk
LAN-Kabel empfohlen
WLAN geht auch, aber für einen dauerhaft laufenden Server ist Kabel zuverlässiger.
🛠️ Die Software-Komponenten
| Komponente | Aufgabe | Details |
|---|---|---|
| Whisper (OpenAI) | Spracherkennung (STT) | Läuft lokal, kein Cloud-Zwang. Modell „small“ für Raspberry Pi empfohlen. |
| Claude API (Anthropic) | KI-Gehirn | Claude Haiku für schnelle Antworten, Sonnet für komplexe Aufgaben. |
| Piper TTS | Sprachausgabe (TTS) | Läuft vollständig lokal. Deutsche Stimmen verfügbar. |
| Home Assistant REST API | SmartHome-Zugriff | Lesen und Steuern aller HA-Entitäten per Long-Lived Token. |
| Python 3 + FastAPI | Server & Logik | Verbindet alle Komponenten, stellt API-Endpunkte bereit. |
| systemd | Autostart & Monitoring | Kacy Brain läuft als Service, startet automatisch nach Reboot. |
🧠 Die Claude API: Das Herzstück
Der Unterschied zwischen Kacy und einem normalen Sprachassistenten liegt in der Qualität der KI. Claude von Anthropic gehört aktuell zu den leistungsfähigsten Sprachmodellen — und was es für diesen Anwendungsfall besonders interessant macht: Es kann mit einem sogenannten System-Prompt präzise auf eine Rolle eingestellt werden.
Ich habe Kacy einen detaillierten System-Prompt gegeben: Welche Geräte gibt es im Haus, wie heißen die Räume, welche Regeln gelten, wie soll sie antworten. Beim Start des Assistenten wird außerdem der aktuelle Zustand aller Home-Assistant-Entitäten geladen — Kacy weiß also immer, ob das Licht brennt, wie warm es im Wohnzimmer ist und ob der Rolladen noch offen steht.
Ein vereinfachtes Beispiel wie ein API-Aufruf in Python aussieht:
🏠 Home Assistant Integration
Die Integration mit Home Assistant ist der Teil, der Kacy wirklich nützlich macht. Ohne Anbindung an das SmartHome wäre es nur ein schicker Chatbot.
Echtzeit-Zustand abrufen
Beim Start von Kacy Brain werden über die Home Assistant REST API alle Entitäten geladen — Lichter, Schalter, Sensoren, Rolladen, Mediaplayer. Dieser Zustand wird als Kontext an Claude übergeben. Das bedeutet: Wenn ich frage „Ist das Licht im Wohnzimmer noch an?“, weiß Kacy das tatsächlich — in Echtzeit.
Über eine WebSocket-Verbindung zu Home Assistant bekommt Kacy außerdem automatisch Benachrichtigungen wenn sich Zustände ändern — der Cache bleibt also immer aktuell, ohne dass ständig gepollt werden muss.
Geräte steuern
Claude analysiert die Anfrage und entscheidet welche Home Assistant Services aufgerufen werden müssen. Diese Entscheidung wird dann als strukturierter API-Aufruf an HA weitergegeben. Ein Beispiel:
🎤 Sprachsteuerung: Whisper + HA Assist
Für die Sprachsteuerung gibt es zwei Wege die ich parallel nutze:
Weg 1: Home Assistant Assist (empfohlen für Einsteiger)
Home Assistant hat mit Assist eine eigene Pipeline für Sprachsteuerung. Man kann dort einen lokalen Whisper-Server als STT-Engine eintragen — und als „Conversation Agent“ entweder das eingebaute HA-Modell oder einen eigenen HTTP-Endpunkt (also Kacy Brain) verwenden. Das funktioniert mit dem Home Assistant Voice Preview Speaker, mit der Companion App, oder sogar mit Echo-Geräten über das AHA-Protokoll.
Weg 2: Direkter API-Endpunkt
Kacy Brain stellt einen eigenen HTTP-Endpunkt bereit. Darüber kann jede App oder jeder Dienst Anfragen schicken — als Text oder als Audiodatei. Ich nutze das für die mobile Nutzung über die Home Assistant Companion App.
Whisper lokal installieren
Auf dem Raspberry Pi: pip install openai-whisper. Modell „small“ oder „medium“ wählen — „small“ reicht für deutsche Sprache und ist deutlich schneller auf dem Pi.
Piper TTS installieren
Piper von der GitHub-Seite herunterladen, ein deutsches Stimmmodell laden (z.B. „de_DE-thorsten-medium“). Piper erzeugt hochwertige, natürlich klingende Sprachausgabe — vollständig lokal.
Kacy Brain als systemd Service einrichten
Der Assistent läuft als Hintergrund-Service und startet automatisch nach jedem Reboot. So ist er immer verfügbar — auch wenn man kurzzeitig den SSH-Zugang trennt.
In Home Assistant als Conversation Agent eintragen
Unter Einstellungen → Sprachassistenten → Assistent bearbeiten → Gesprächs-Agent den eigenen HTTP-Endpunkt von Kacy Brain eintragen. Ab sofort ist Kacy die KI hinter dem HA Assist-Button.
📱 Mobil unterwegs: Kacy immer dabei
Was nützt der beste Heimassistent, wenn man ihn unterwegs nicht erreichen kann? Ich habe Kacy Brain über einen VPN-Tunnel erreichbar gemacht — das ist sicherer als Port-Forwarding und funktioniert nahtlos.
Das Prinzip: Auf dem Router läuft ein VPN-Server (z.B. WireGuard oder Tailscale). Das Smartphone baut automatisch eine verschlüsselte Verbindung nach Hause auf. Danach ist Kacy Brain genauso erreichbar wie im Heimnetzwerk — und die Home Assistant Companion App kann über Sprachsteuerung direkt mit Kacy kommunizieren.
💰 Was kostet das Ganze?
💰 Kostenübersicht (einmalig + laufend)
Zum Vergleich: Amazon Echo Plus kostet 100 €, Alexa ist in der Intelligenz stark limitiert, und die Sprachdaten fließen dauerhaft zu Amazon. Für deutlich weniger Geld bekommt man mit Kacy Brain einen Assistenten der um Längen intelligenter ist.
🏡 Kacy im Alltag – Was kann sie wirklich?
Nach mehreren Monaten im täglichen Betrieb ein paar Beispiele wie ich Kacy tatsächlich nutze:
| Anfrage | Was passiert |
|---|---|
| „Kacy, mach Abendstimmung“ | Dimmt Lichter, schließt Rolladen auf Abendposition, schaltet Soundbar ein |
| „Ist noch ein Fenster auf?“ | Prüft alle Fensterkontakt-Sensoren in HA und antwortet mit Status |
| „Wie warm ist es im Wohnzimmer im Vergleich zu gestern?“ | Vergleicht aktuellen Sensor-Wert mit gespeicherter Historie |
| „Schreib mir eine kurze Einkaufsliste für morgen“ | Kacy erstellt eine Liste — kein SmartHome-Befehl, aber trotzdem nützlich |
| „Schalte alles aus, wir fahren in den Urlaub“ | Wertet alle eingeschalteten Geräte aus und schaltet sie ab |
✅ Fazit: Lohnt sich der Aufwand?
Ja — eindeutig. Kacy Brain ist das SmartHome-Projekt mit dem ich persönlich am meisten zufrieden bin. Die Kombination aus lokaler Spracherkennung, Claude API als KI-Gehirn und vollständiger Home-Assistant-Integration ergibt einen Assistenten, der allen kommerziellen Alternativen in Sachen Intelligenz weit überlegen ist.
Der Aufwand ist nicht zu unterschätzen: Man braucht Grundkenntnisse in Linux, Python und Home Assistant. Wer diese mitbringt, hat ein System das man wirklich als seinen eigenen nennen kann — kein Cloud-Dienst, kein Abo, keine Abhängigkeit von Tech-Konzernen.
Und das beste daran: Das System wächst mit. Neue Geräte in Home Assistant? Kacy kennt sie automatisch. Neue Fähigkeiten gewünscht? Einfach den Code erweitern. So sollte SmartHome funktionieren.
- Raspberry Pi 4 oder 5
mind. 4 GB RAM empfohlen - Anthropic Account
console.anthropic.com - Home Assistant
bereits eingerichtet - Python 3.10+
läuft auf Raspberry Pi OS - Grundkenntnisse Linux
SSH, Terminal, Dateien bearbeiten
Schritt-für-Schritt Anleitung kommt bald — als erstes per Newsletter.
Raspberry Pi 4 Starter Set · aktueller Amazon-Preis
* Affiliate-Link: Bei Kauf über diesen Link erhalte ich eine kleine Provision — für dich entstehen keine Mehrkosten. Das finanziert diesen Blog.
Raspberry Pi 5 Komplettset · aktueller Amazon-Preis
* Affiliate-Link: Bei Kauf über diesen Link erhalte ich eine kleine Provision — für dich entstehen keine Mehrkosten. Das finanziert diesen Blog.
Hier ist die komplette Anleitung.
5 professionelle PDF-Dokumente führen dich Schritt für Schritt vom leeren Raspberry Pi bis zum fertigen KI-Assistenten — mit Sprachsteuerung, Home Assistant-Integration und mobilem Zugriff von unterwegs.
- 5 PDFs · ca. 60 Seiten
- Alle Code-Beispiele kopierbar
- Whisper & Piper lokal
- Claude API Einbindung
- Troubleshooting-Guide
- Kein Abo, einmalig
Features, Architektur und Anforderungen im Überblick – für alle, die wissen wollen was unter der Haube steckt.