genAI@KIT: Innovationsraum für generative KI
genAI@KIT ist ein umfassendes Strategieprojekt, das bewusst Fragen der KI-Infrastruktur, -Governance und -Qualifizierung verschränkt. Die zentralen Ziele sind die Erprobung und Pilotierung von KI-Use-Cases in Forschung, Lehre und Administration, Schaffung von Zugang zu KI-Tools auf lokaler KI-Infrastruktur sowie Bereitstellung von Service- und Qualifizierungsangeboten für den KI-Einsatz.
Eckdaten
Jahr
2025
Herausgebende Institution
Karlsruher Institut für Technologie
Das im Januar 2025 gestartete Strategiefondsprojekt verfolgt das Ziel, den kompetenten Einsatz generativer KI am KIT zu fördern und gleichzeitig Risiken verantwortungsvoll zu adressieren. Drei zentrale, bereits etablierte Einrichtungen des KIT – das Scientific Computing Center (SCC), das Digital Office (DO) und das Zentrum für Mediales Lernen (ZML) – arbeiten an einem Entwicklungsrahmen für die nachhaltige Nutzung und Gestaltung von generativer KI am KIT, der sowohl die technologische Infrastruktur als auch praxisorientierte Anwendungen voranbringen soll.
Ein besonderes Augenmerk liegt auf der verständlichen, sicheren und praxisnahen Nutzbarmachung innovativer KI-Anwendungen für alle Hochschulangehörigen, unabhängig von ihren Vorkenntnissen.
Zentrale Maßnahmen der Umsetzung beinhalten:- Governance: Einführung von Leitlinien und Strategieprozessen
- Transparenz für User: Bereitstellen von (Kosten-)Informationen über KI-Modelle zum Modellvergleich ("Per Model Beakdown": Kosten, Parameterzahl, Anbieterherkunftsland, Energieverbrauch)
- Infrastruktur: Einige Modelle werden lokal auf eigener Hardware betrieben. Die Nutzung von kommerziellen Modellen, die in Europa gehostet werden, ist über APIs möglich
- Verpflichtende Schulung: Kompetenzmodul "Verstehen und Anwenden von generativer KI" muss vor Zugriff auf KI-Dienste (KI-Toolbox) abgeschlossen werden; Grundqualifizierung nach KI-VO
Das KIT hat frühzeitig mit dem Ausbau der lokalen KI-Infrastruktur begonnen und stellt diese seit Sommer 2025 (zunächst im Testbetrieb, seit Dezember 2025 für alle Mitarbeitenden und seit April 2026 für alle Studierenden) bereit.
Kontext
Handlungsbereich
ForschungGovernance & StrategieLehre, Studium & PrüfungenVerwaltung & Services
Zielgruppe
ForschendeLehrendeStudierendeVerwaltung
Fachrichtung
Fächerübergreifend
Good Practice Typ
Infrastrukturlösung
Art
Zugang zu Lizenz, Lokales Modell
Technische Infrastruktur
Hybrid
Verpflichtend
Nein
KI-Tool Use Case
Ja
Einsatzzweck
Textgenerator
Eingesetztes Tool/System
KI-Toolbox (Open WebUI) ermöglicht Zugriff auf verschiedene lokale und externe LLMs (Liste verfügbarer Modelle: https://www.scc.kit.edu/dienste/ki-toolbox.php); API-Schnittstelle für Integration in eigene Anwendungen
Lizenzmodell
Mischform
Governance, Recht & Ethik
Wirkungsebene
Hochschulweit
Berücksichtigte rechtliche Rahmenwerke
DSGVO
KI-VO
Implementierung
Technische Voraussetzungen
Notwendig sind die Bereitstellung eigener Hardware und entsprechendes Personal.
Generelle Empfehlungen lauten hier:
- möglichst eine gemeinsame Basisinfrastruktur für alle Hochschulbereiche schaffen, statt einzelne Strukturen für die unterschiedlichen Bereiche aufzubauen
- wichtig ist, Anwendungsfälle zu erarbeiten und definieren: Cloudmodelle können auch ohne eigene Infrastruktur laufen und sind gut skalierbar; für vertrauliche Daten können lokale Modelle betrieben werden
- Abwägungsfrage: es ist möglich, mit einem einfachen Webserver und wenig lokaler Infrastruktur zu starten oder KI-Modelle sogar rein im Cloudmodell zu hosten
Für die KI-Toolbox von genAI@KIT gelten folgende Voraussetzungen:
- KI-Toolbox basiert auf einem Open Source Software stack: light LLM (betrieben auf eigener Inferenz oder im Cloudmodell) eingespielt in openWeb UI
- es werden drei lokale Modelle betrieben (klein, mittel und groß)
- datenschutzkonformes, lokales Modell zur Orientierung als Standard gesetzt; ergänzt um andere lokale sowie Cloudmodelle (aus der azureCloud, Server in Europa)
- Vorteil an lokalen Modellen ist es, dass dort vertrauliche Daten verarbeitet werden können
- Vorteil am Cloudmodell ist es, dass KI-Modelle leicht austauschbar sind und neueste Modelle flexibel verfügbar gemacht werden können; Nutzende entscheiden im Frontend, welches Modell sie verwenden möchten
Detailinfos zur KI-Toolbox und zu der lokalen Hardware finden Sie am Ende der Seite: https://www.scc.kit.edu/dienste/ki-toolbox.php
Kosten
Kosten
Einmalig
> 250.000 €
Erläuterung und sonstige Kosten
Die Hardwarebeschaffungskosten belaufen sich bislang auf ca. 300.000€ aus dem Strategiefonds der Hochschule. Die Hardwarepreise sind seit der Anschaffung jedoch stark gestiegen. Laufende Kosten des Modellbetriebs (z. B. Tokenkosten der Cloudmodelle), die über ein kleines Freikontingent hinausgehen, werden budgetiert, also per Kostenstelle in die nutzenden Organisationseinheiten weitergegeben. Das Projekt ist bemüht um einen möglichst transparenten Umgang mit sowie die Sichtbarmachung von KI-Nutzungskosten (ökonomischer wie ökologischer Art).
Hinzu kommen Personalkosten. Eine Stelle im Rechenzentrum betreut und wartet die Hard- und Software im Alltagsbetrieb, weitere Projektmitarbeitende sind an anderen Organisationseinheiten angegliedert.
Skalierung & Wirkung
Übertragbarkeit
Die Good Practice bietet Zugang zu KI-Modellen für die gesamte Hochschule. Die Übertragbarkeit auf andere Institutionen ist dann gegeben, wenn diese selbst auf eigener Hardware (eigene GPU-Cluster) Modelle hosten können oder entsprechende infrastrukturelle Voraussetzungen durch Kooperationen schaffen.
Dokumentierte Wirkung
Die Nutzendenzahlen steigen kontinuierlich, ca. 33 % bis 50 % der Mitarbeitenden nutzen die Dienste regelmäßig. Nutzendenzahlen unter Studierenden sind geringer (Nutzung seit April 2026 möglich). Seit April 2026 steht ein ILIAS Plug-In für Chatbots zur Verfügung; dieses wurde im Sommersemester in 90 Veranstaltungen verwendet.
Eine systematische Auswertung der Nutzendenzahlen und der Art der Nutzung (z.B. Chatbots, agentische Nutzung, spezialisierte Automatisierungsanwendungen) ist in Arbeit.
genAI@KIT ist Gewinner des HFD-Ideenwettbewerbs zur Digitalen Souveränität.
Einbindung und Kommunikation
Bereits im April 2025 wurde mit Inbetriebnahme der ersten Hardware die Sichtbarkeit des Projekts erhöht durch ein "Custom Chatbot"-Angebot (3 Workshops à 20 Plätze zum Aufsetzen eines individualisierten Chatbots). Diese wurden über interne Mailverteiler beworben und erfuhren hohe Resonanz.
Informationen über das Projekt und seine Angebote sind im umfassenden Online-Auftritt von genAI@KIT zu finden (z. B. Informationen zur KI-Toolbox unter: https://www.zml.kit.edu/ki-toolbox.php).
