Ollama ist eine Open-Source-Plattform zum lokalen Ausführen großer Sprachmodelle (LLMs), ohne auf Cloud-Dienste angewiesen zu sein.
Lokale LLM-Einrichtung und Verwaltung
Ollama ist dafür ausgelegt, KI-Modelle auf Ihr eigenes Gerät herunterzuladen, auszuführen und zu verwalten, mit Unterstützung für NVIDIA- und AMD-GPUs.
LLMs nach der Installation offline ausführen
Unterstützung für Modelle wie Llama 3.2, Mistral und Phi-4
Modellparameter mit Modelfile konfigurieren
Entwickler-API zur Integration lokaler Modelle in Apps
Modellversionsverwaltung
Multimodale Unterstützung (Text und Bilder)
Im Jahr 2024 überschritt Ollama auf GitHub 130.000 Downloads.
Grundlagen der Installation
Ollama funktioniert als Desktop-App auf macOS und Linux, mit einer Vorschauversion für Windows.
Installationsprogramm von https://ollama.com/ herunterladen
Ollama auf Ihrem Computer installieren
Ein Terminal öffnen
Ein Modell mit ollama pull <model> herunterladen
Mit ollama run starten
Prompts eingeben, um Antworten zu erhalten
Ollama ist kostenlos nutzbar, ohne Abonnement oder erforderliche Zahlung. Es unterstützt Englisch, und das Verhalten anderer Sprachen kann über die Einstellungen angepasst werden.
