Ollama unter Linux einrichten, ein kleines Modell starten und die lokale API auf Port 11434 testen. Mit Hinweisen zu Speicher und Zugriff.
Ollama installieren und ein Sprachmodell lokal unter Linux ausführen
Mit Ollama kannst du ein Sprachmodell auf einem Linux-Rechner ausführen. Für den Einstieg eignet sich ein kleines Modell. Du lädst es einmal herunter, testest es im Terminal und sprichst es bei Bedarf über die lokale API an.
Wer lokale Ollama-Modelle im Browser nutzen möchte, kann Open WebUI mit dem Dienst auf demselben Rechner verbinden. Open WebUI mit Ollama einrichten
Inhaltsverzeichnis
Anzeigen
1. Ollama installieren und Dienst prüfen
Öffne die offizielle Ollama-Anleitung für Linux. Sie beschreibt das Installationsskript, die manuelle Installation und Varianten für unterschiedliche Prozessoren und Grafikchips. Lade das Skript von der offiziellen Adresse und prüfe es vor dem Ausführen, wenn du den Skriptweg nutzt.
curl -fsSLo ollama-install.sh https://ollama.com/install.sh
less ollama-install.sh
sh ollama-install.sh
ollama -vWenn Ollama als Systemdienst installiert wurde, prüfe den Status mit systemctl status ollama. Bei einer manuellen Installation kannst du den Server mit ollama serve in einem Terminal starten. Die folgenden Befehle laufen dann in einem zweiten Terminal.
2. Ein kleines Modell starten
ollama run llama3.2:3bBeim ersten Aufruf lädt Ollama die Modelldateien. Gib anschließend eine kurze Frage ein. Mit /bye verlässt du den Dialog. ollama list zeigt installierte Modelle, ollama ps die gerade geladenen.
3. Die lokale API testen
curl http://127.0.0.1:11434/api/generate \
-H 'Content-Type: application/json' \
-d '{"model":"llama3.2:3b","prompt":"Erkläre DNS in einem Satz.","stream":false}'Bei Erfolg enthält die Antwort das Feld response. Die lokale API ist für diesen Test nur auf demselben Rechner nötig. Lass die Standardbindung an Loopback bestehen und gib Port 11434 nicht am Router frei. Prüfe bei externen Integrationen, welche Daten sie an eigene Dienste senden.
Wenn das Modell langsam ist
Teste zunächst kurze Eingaben und ein kleineres Modell. Modellgröße, Kontextlänge, RAM und GPU-Speicher beeinflussen die Geschwindigkeit. Wenn du einen Linux-Desktop für den Einstieg brauchst, zeigt dir die Linux-Mint-Anleitung den Weg vom Live-Stick zum installierten System.
Häufige Fragen
Brauche ich eine Grafikkarte für Ollama?
Viele Modelle laufen auch auf der CPU. Kleine Modelle eignen sich besser für den Einstieg. Eine unterstützte GPU kann die Ausführung beschleunigen.
Funktioniert ein heruntergeladenes Modell ohne Internet?
Ein lokal vorhandenes Modell kannst du lokal ausführen. Der erste Download braucht Internet. Websuche, Cloud-Modelle und externe Integrationen können weiterhin eine Verbindung benötigen.
Was tun, wenn der lokale API-Aufruf scheitert?
Prüfe zuerst den Ollama-Dienst, die Modellbezeichnung und ob der Prozess auf 127.0.0.1:11434 lauscht. Bei einer VM muss der Test innerhalb der VM laufen.
- Open WebUI mit Ollama lokal einrichten und im Browser nutzen
Open WebUI unter Linux mit uv und Ollama auf demselben Rechner einrichten. Lokales Modell testen und Verbindungsfehler eingrenzen. - n8n lokal mit Docker installieren und den ersten Workflow bauen
n8n lokal mit Docker Compose starten, Daten im Volume behalten und den ersten Workflow mit Manual Trigger und Edit Fields ausführen. - Wireshark-Anleitung: Netzwerkverkehr aufnehmen und DNS oder TCP prüfenErste Wireshark-Aufnahme erstellen und mit Anzeigefiltern DNS-Antworten, TCP-Verbindungsaufbau und mögliche Wiederholungen untersuchen.
