Aktuell baue ich mir mein eigenes Home-Lab für Large Language Models auf. Ziel ist ein persönliches LLM, das lokal läuft, auf meine Workflows abgestimmt ist und mir erlaubt, Architektur, Training und Optimierung wirklich im Detail zu verstehen – nicht nur als User, sondern als Builder.
KI-Modelle wie ChatGPT sind beeindruckend – aber laufen in der Cloud und bleiben eine Black Box. Mit meinem eigenen LLM-Projekt möchte ich verstehen, wie man Sprachmodelle im kleineren Maßstab architekturiert, trainiert und deployt, und wie weit man mit einem gut optimierten Home-Setup wirklich kommt.
Für dieses Projekt setze ich bewusst auf ein realistisches, bezahlbares Setup, das viele Entwickler:innen zu Hause nachbauen könnten:
Damit liegt der Fokus auf Effizienz statt brutaler Rechenpower: kleinere Modelle, clevere Trainingsstrategien, Quantisierung und viel Feintuning.
Aktuell befinde ich mich in der Setup- & Experimentierphase:
Der nächste Schritt ist, ein erstes kleineres Sprachmodell lokal zu trainieren und zu messen, wie viele Tokens pro Sekunde und welche Kontextlängen dieses Setup realistisch schafft.
Geplant sind ein öffentlicher Dev-Log mit technischen Details (Architektur, Hyperparameter, Trainingszeiten, Fehlern & Learnings) sowie eine kleine Demo, in der man das Modell direkt ausprobieren kann – natürlich lokal gehostet.