Firmenschulung · 1 Tag
Lokale KI im Unternehmen: LLMs auf eigener Hardware betreiben
Ein Tag mit Ihrem IT-Team. Danach läuft ein lokales Sprachmodell auf Ihrer Hardware, Sie wissen, welche Modelle und Rechner für Ihre Aufgaben reichen – und wo die Cloud weiterhin besser ist.
Was Ihr Team danach hat
- Ein lokales LLM läuft auf einem Rechner oder Server aus Ihrem Haus, mit Weboberfläche für die Nutzung im Team
- Eine Auswahl offener Modelle, an Ihren eigenen Aufgaben getestet und verglichen
- Eine Abschätzung, welche Hardware Sie für wie viele Nutzerinnen und Nutzer brauchen
- Ein erster Prototyp, der Fragen zu Ihren eigenen Dokumenten beantwortet (RAG)
- Eine Entscheidungsvorlage: welche Aufgaben lokal, welche in der Cloud
Ablauf
Vormittag
Ein lokales Modell zum Laufen bringen
- Lokal, souverän gehostet oder Cloud: Unterschiede, Kosten, Grenzen
- Ollama, LM Studio und llama.cpp: was wofür passt
- Offene Modelle auswählen: Größe, Quantisierung, Lizenz
- Hardware: Arbeitsspeicher, Grafikspeicher und was das für Antwortzeiten bedeutet
- Open WebUI als Oberfläche für das Team einrichten
Nachmittag
Eigene Daten und eigene Werkzeuge
- Eigene Dokumente abfragen: Grundlagen von RAG, ein erster Prototyp
- Lokale Modelle über eine API in eigene Anwendungen einbinden
- Coding-Agenten mit lokalen Modellen: was geht und wo es hakt
- Betrieb: Updates, Zugriffsrechte, Protokollierung
- Vergleich mit Cloud-Modellen an Ihren Aufgaben – mit Entscheidungsvorlage
Den Ablauf stimmen wir vorab mit Ihnen ab und richten ihn an Ihrem Projekt aus. Trainer: Tomas Stiller.
Für wen
- IT-Teams und Softwareteams, die KI nutzen wollen, ohne vertrauliche Daten an externe Anbieter zu geben
- IT-Leitungen, die vor einer Investition in eigene KI-Hardware eine belastbare Einschätzung brauchen
Voraussetzungen
- Sicherer Umgang mit der Kommandozeile
- Ein Rechner mit mindestens 16 GB Arbeitsspeicher je Teilnehmerin oder Teilnehmer; ein Server mit Grafikkarte ist hilfreich, aber keine Voraussetzung
- Einige Beispieldokumente und Aufgaben aus Ihrem Alltag, die verwendet werden dürfen
Häufige Fragen
Passt das zu Ihrem Team?
Schreiben Sie uns, wie groß Ihr Team ist und wann es passt. Sie bekommen ein Angebot mit Terminvorschlägen.