Ollama ist eine quelloffene Laufzeitumgebung für Betriebssysteme wie Windows, macOS und Linux, die die lokale Bereitstellung und Ausführung großer Sprachmodelle (LLMs) ohne externe Cloud-Abhängigkeit ermöglicht.

Die Software stellt eine standardisierte API-Schnittstelle zur Verfügung, über die externe Anwendungen und Agenten-Frameworks auf das Sprachmodell zugreifen können. Durch die direkte Einbindung lokaler Grafikprozessoren (GPU) gewährleistet Ollama eine datenschutzkonforme sowie recheneffiziente Verarbeitung von Eingabeaufforderungen (Prompts).