Die Idee klingt verlockend: Ein Mac Mini unter dem Schreibtisch, ein offenes Sprachmodell darauf, und fertig ist die eigene KI. Keine Cloud, keine Abo-Kosten, die Daten bleiben im Haus. Wer das ausprobiert, merkt nach wenigen Stunden, dass sich das Ergebnis anders anfühlt als Claude Code oder vergleichbare Cloud-Dienste. Das liegt nicht an schlechter Einrichtung. Es hat technische Gründe, und die lassen sich benennen.
Claude Code läuft nur zur Hälfte bei Ihnen
Claude Code ist ein Programm, das auf Ihrem Rechner läuft, Dateien liest, Befehle ausführt und Änderungen vorschlägt. Das Denken übernimmt aber ein Sprachmodell, das im Rechenzentrum des Anbieters läuft. Auf dem Mac Mini sitzt also nur die Steuerung. Wer dieselbe Arbeitsweise lokal nachbauen will, muss das Modell selbst betreiben, und damit beginnen die Probleme.
Das Modell muss komplett in den Speicher
Ein Sprachmodell besteht aus Milliarden von Zahlenwerten, den Parametern. Für jedes einzelne Wort, das es erzeugt, braucht es Zugriff auf diese Werte. Deshalb muss das gesamte Modell im Arbeitsspeicher liegen, nicht nur ein Teil davon. Beim Mac Mini teilen sich Prozessor und Grafikeinheit denselben Speicher. Das ist für diesen Zweck ein Vorteil, setzt aber trotzdem eine harte Grenze: Was nicht hineinpasst, läuft nicht oder nur noch quälend langsam, weil ausgelagert werden muss.
Die Anbieter der großen Cloud-Modelle veröffentlichen die Größe ihrer Spitzenmodelle nicht. Fest steht aber, dass sie auf Servern mit mehreren spezialisierten Beschleunigerkarten laufen und nicht auf einem Gerät in der Größe eines Brotlaibs. Offene Modelle, die Sie selbst betreiben können, sind deutlich kleiner oder müssen stark verkleinert werden, um auf ein solches Gerät zu passen.
Verkleinern kostet Qualität
Dieses Verkleinern heißt Quantisierung. Dabei werden die Parameter mit weniger Genauigkeit gespeichert, etwa mit 4 statt 16 Bit. Das Modell braucht dann nur noch einen Bruchteil des Speichers. Der Preis: Es macht mehr Fehler, vor allem bei Aufgaben mit mehreren Denkschritten, bei exaktem Code und bei seltenen Fachbegriffen. Für eine Zusammenfassung oder einen Textentwurf fällt das wenig auf. Für das, was Claude Code leistet, nämlich ein ganzes Projekt zu verstehen und korrekt zu verändern, fällt es sehr wohl ins Gewicht.
Das Tempo hängt am Speicherdurchsatz, nicht an der Rechenleistung
Beim Erzeugen von Text muss für jedes neue Wort das Modell einmal durch den Speicher gelesen werden. Wie schnell das geht, bestimmt die Speicherbandbreite, also wie viele Daten pro Sekunde fließen können. Rechenleistung ist hier selten der Engpass. Server-Beschleuniger haben dafür eigens schnellen Speicher. Ein Mac Mini kommt mit einem Bruchteil davon aus. Ein großes Modell läuft darauf also, aber so langsam, dass ein Arbeitsschritt, der in der Cloud Sekunden dauert, Minuten braucht.
Der Arbeitskontext frisst zusätzlich Speicher
Ein Coding-Agent liest Dateien, Fehlermeldungen und Befehlsausgaben und behält sie im Kontext, damit er den Zusammenhang nicht verliert. Dieser Kontext belegt zusätzlich Speicher, und zwar umso mehr, je länger er wird. Außerdem muss das Modell jede neue Eingabe erst einmal verarbeiten, bevor es antwortet. Dieser Schritt ist rechenintensiv, und genau hier sind Apple-Chips gegenüber Server-Hardware im Nachteil. Wer einem lokalen Agenten ein mittelgroßes Projekt vorlegt, wartet spürbar, bevor überhaupt die erste Antwort erscheint.
Agentenarbeit verzeiht keine Ausrutscher
Ein Agent arbeitet in Ketten: Datei suchen, lesen, Änderung planen, Befehl ausführen, Ergebnis prüfen, korrigieren. Jeder Schritt muss im richtigen Format ausgegeben werden, damit das Programm ihn verstehen kann. Schwächere Modelle verheddern sich dabei häufiger, rufen Werkzeuge falsch auf oder verlieren das Ziel aus den Augen. Weil sich die Fehler über viele Schritte aufaddieren, ist eine Kette, in der jeder Schritt meistens klappt, am Ende trotzdem oft falsch. Hinzu kommt, dass die großen Anbieter ihre Modelle gezielt auf genau diese Arbeitsweise nachtrainieren. Das lässt sich zu Hause weder nachholen noch bezahlen.
„Lernend“ ist etwas anderes, als man denkt
Ein Modell auf Ihrem Mac Mini lernt im Betrieb nichts dazu. Seine Parameter sind fest. Wenn es Ihre Dokumente „kennt“, dann deshalb, weil ein Suchsystem passende Textstellen heraussucht und dem Modell vor der Antwort mitgibt. Das ist Nachschlagen, kein Lernen. Echtes Nachtrainieren verändert die Parameter selbst und braucht deutlich mehr Speicher und Rechenzeit als der reine Betrieb. Dazu kommen die Fragen, die mit dem Gerät nichts zu tun haben: Wer prüft, ob das Ergebnis besser geworden ist? Wer verhindert, dass vertrauliche Inhalte beim falschen Mitarbeiter auftauchen? Wie wird das System gepflegt, wenn das Modell veraltet?
Wo ein Mac Mini trotzdem Sinn ergibt
Das heißt nicht, dass lokale Modelle nutzlos wären. Für klar umrissene Aufgaben reichen sie oft aus: Texte zusammenfassen, E-Mails vorformulieren, Dokumente nach Stichworten durchsuchen, Notizen ordnen. Dort bleiben die Daten tatsächlich im Haus, und die Kosten sind überschaubar. Wer das testen möchte, kann mit einem Mac Mini sinnvoll anfangen. Nur sollte man von Anfang an wissen, dass es ein Werkzeug für einfache Sprachaufgaben ist und kein Ersatz für Claude Code. Welche Bauformen es gibt und was sie jeweils leisten, beschreiben wir in „LLM, lokal betrieben oder ganz geschlossen: Was wofür passt“. Warum immer mehr Unternehmen auf lokale KI setzen, steht in „Der Weg zum eigenen LLM“.
Wenn es wirklich ein eigenes, geschlossenes System sein soll
Sobald es um Datenschutz und Datenhoheit im Ernst geht, etwa bei Mandantendaten, Buchhaltung oder Verträgen, reicht ein Gerät mit einem heruntergeladenen Modell nicht mehr. Dann braucht es Hardware, die zum Modell passt, eine saubere Trennung der Daten, Zugriffsrechte, Nachvollziehbarkeit und einen Plan, wie das System über Jahre betreut und verbessert wird. Das ist Spezialistenarbeit.
Genau darauf hat sich DOCSENSE (docsense.at) spezialisiert: geschlossene KI-Systeme, die on premise betrieben werden, ohne externe Verarbeitung und ohne ein Modell, das mit anderen Kunden geteilt wird. Der Hinweis in eigener Sache gehört dazu: Ich bin Geschäftsführer und CMO von DOCSENSE, die Empfehlung ist also nicht neutral. Sie ist trotzdem ehrlich gemeint, denn man sieht oft, woran Eigenbau-Versuche scheitern. Wer ein eigenes, lernendes und abgeschottetes System möchte, spart sich mit einem Gespräch dort viele Wochen Ausprobieren. Und wenn Sie erst klären wollen, welche der Bauformen überhaupt zu Ihrem Vorhaben passt, helfen wir Ihnen bei com.pany | ai solutions gern bei dieser Einordnung, unabhängig davon, ob am Ende ein geschlossenes System steht oder ein lokales Modell reicht.