JP.Böhm

Auf der sicheren Seite

Ollama auf deinem Rechner – Ein (install)Leitfaden für LLM/KI-Einsteiger

Aktuelle Seite: Start / Anleitungen / Ollama auf deinem Rechner – Ein (install)Leitfaden für LLM/KI-Einsteiger

Inhaltsverzeichnis Anzeigen

Hallo und herzlich willkommen! Als begeisterter Open-Source-Liebhaber möchte ich dir heute einen Einblick in die Nutzung von Ollama geben. In diesem Leitfaden zeige ich dir Schritt für Schritt, wie du das Tool installierst, welche KI-Modelle du nutzen kannst, und wie du sie mit einem einfachen Befehl zum Laufen bringst.

Und es wird noch besser, wir werden es so einrichten, dass du deine KI mit minimalem Aufwand nutzen kannst, ohne ständig im Terminal herumzufuhrwerken. Wir werden Ollama mit der Enchanted-App kombinieren, sodass du deine Modelle immer dabei hast – ob unterwegs oder im Büro. Keine Sorge, Lass uns gemeinsam eintauchen und das volle Potenzial deiner KI-Erfahrung entfesseln!

Was ist Ollama?

Ollama ist eine KI-Plattform bzw ein Framework mit einer Vielzahl von Funktionen für die Textgenerierung, Fragenbeantwortung und Erstellung von Inhalten. Es handelt sich um ein leistungsstarkes Werkzeug, das es dir ermöglicht, durch natürliche Sprache deine Arbeit zu erledigen. Die Stärke von Ollama liegt darin, dass es sowohl für Entwickler als auch für Kreative zugänglich und leicht zu bedienen ist.

Ollama installieren: Schritt-für-Schritt-Anleitung für alle Systeme

Nachdem du jetzt weißt, was Ollama kann, lass uns direkt zur Installation kommen. Keine Sorge – egal, ob du Windows, macOS oder Linux nutzt, der Prozess ist ziemlich simpel.

MacOS-Installation:

  • Schritt 1: Lade Ollama von der Ollama-Website herunter.
    Download-Link
  • Schritt 2: Entpacke die Datei und ziehe den „Ollama.app“-Ordner in deinen „Applications“-Ordner.

Linux-Installation:

  • Schritt 1: Öffne dein Terminal und führe den folgenden Befehl aus:
  curl -fsSL https://ollama.com/install.sh | sh

Egal welches Betriebssystem du nutzt, du wirst nach der Installation in der Lage sein, Ollama sofort zu verwenden und Modelle herunterzuladen.

Die Nutzung von Ollama nach der Installation: Der Weg zu den Modellen

Nachdem Ollama erfolgreich auf deinem Mac (oder einem anderen Betriebssystem) installiert wurde, geht es darum, das volle Potenzial des Tools auszuschöpfen. Ollama arbeitet über die Kommandozeile (Terminal) und bietet dir hier eine Reihe von Befehlen, mit denen du verschiedene KI-Modelle nutzen kannst. Aber keine Sorge, wir gehen alles Schritt für Schritt durch.

Zugriff auf die Hilfe von Ollama

Bevor wir mit den Modellen loslegen, ist es sinnvoll, einen Blick auf die Hilfefunktion von Ollama zu werfen. Damit bekommst du direkt eine Übersicht der verfügbaren Befehle und ihrer Funktionsweise. Gib dazu einfach folgenden Befehl ins Terminal ein:

ollama --help

Dieser Befehl zeigt dir alle grundlegenden Kommandos und Optionen an, die du mit Ollama verwenden kannst. Falls du irgendwann nicht mehr weiter weißt oder Hilfe brauchst, ist dies der perfekte Ausgangspunkt.

Modelle auflisten: Was hat Ollama zu bieten?

Der nächste Schritt besteht darin, herauszufinden, welche Modelle dir zur Verfügung stehen. Ollama bietet eine Vielzahl an KI-Modellen, die auf unterschiedliche Aufgaben spezialisiert sind. Um die Liste der verfügbaren Modelle zu sehen, kannst du den folgenden Befehl ausführen:

ollama list

Dieser Befehl zeigt dir alle Modelle, die du auf deinem Gerät verwenden kannst. Die Ausgabe könnte ungefähr so aussehen:

Available models:
NAME                ID                 SIZE         MODIFIED
phi3:latest         4f22229*****  2.2 GB    47 minutes ago
yi-coder:latest    39c63e7*****   5.0 GB     8 days ago
gemma2:latest      ff02c37*****    5.4 GB    3 weeks ago

Die Liste enthält sowohl kleinere Modelle, die weniger Speicherplatz benötigen, als auch größere, leistungsfähigere Modelle für komplexere Aufgaben. Eine vollständige Übersicht aller Modelle und ihrer Anwendungsbereiche findest du auch auf der offiziellen Ollama-Website.

Modelle herunterladen: Mit einem Befehl das richtige Modell sichern

Sobald du ein Modell gefunden hast, das deinen Anforderungen entspricht, kannst du es ganz einfach auf dein Endgerät laden. Wir werden in diesem Beispiel das Llama 3.2-Modell verwenden, das sich besonders gut für fortgeschrittene Textgenerierungsaufgaben eignet.

Um das Modell herunterzuladen, führst du folgenden Befehl im Terminal aus:

ollama pull llama3.2

Das Modell wird nun auf deinem Gerät gespeichert, damit du es jederzeit lokal verwenden kannst. Je nach Größe des Modells und deiner Internetverbindung kann der Download ein paar Minuten dauern. Keine Sorge, danach ist das Modell offline verfügbar und bereit, eingesetzt zu werden.

Danach kontrollieren wir mit

ollama list

nochmal was wir installiert haben und sollten nun solch einen oder einen ähnlichen Output bekommen.

Available models:
NAME               ID              SIZE    MODIFIED
llama3.2:latest    a80c4f1*****    2.0 GB  2 minutes ago
phi3:latest        4f22229*****    2.2 GB  47 minutes ago
yi-coder:latest    39c63e7*****    5.0 GB  8 days ago
gemma2:latest      ff02c37*****    5.4 GB  3 weeks ago

Halbzeit erreicht

Nachdem du nun Ollama installiert und die neuesten KI-Modelle auf deinen Rechner gezogen hast, fragst du dich vielleicht: „Was jetzt? Soll ich damit den nächsten Pulitzer-Preis gewinnen oder ein neuronales Netzwerk zur Weltverbesserung aufbauen?“ Zugegeben, das klingt alles sehr ambitioniert, aber lass uns realistisch bleiben. Du willst diese leistungsstarken Modelle wahrscheinlich nutzen, ohne den ganzen Tag im Terminal zu verbringen, oder?

Hier kommt Enchanted LLM ins Spiel – die App, die deinen Umgang mit Ollama so unkompliziert macht, dass du dich fragst, wie du je ohne sie ausgekommen bist. Mit Enchanted LLM kannst du ganz entspannt auf deine Modelle zugreifen, während du deinen Kaffee genießt oder im Zug sitzt. Es ist, als hättest du deine KI stets im Taschenformat dabei, bereit, dir bei den kleinen und großen Herausforderungen des Alltags zur Seite zu stehen. Lass uns also entdecken, wie du Enchanted LLM optimal einsetzen kannst!

Enchanted LLM + Ollama „local“ nutzen

Wenn Enchanted LLM und Ollama auf demselben Gerät installiert sind, kannst du sofort und ohne großen Aufwand auf deine Modelle zugreifen. Der Ablauf sieht folgendermaßen aus:

  1. Enchanted LLM herunterladen und installieren
    Lade die Enchanted LLM-App aus dem Appstore (deiner Wahl) herunter und installiere sie auf deinem Mac (oder dem Gerät, auf dem Ollama läuft).
  2. Ollama in Enchanted LLM integrieren
    Öffne nach der Installation die Enchanted LLM-App und gehe in den Settings– oder Models-Bereich, um Ollama hinzuzufügen. Da Ollama immer den Port 11434 verwendet, musst du in Enchanted LLM diesen Port sowie den Host angeben, um die Verbindung herzustellen. Gib im Enchanted LLM-Interface die URL http://localhost:11434 ein. Dadurch wird die App in der Lage sein, auf den lokal laufenden Ollama-Dienst zuzugreifen.
  3. Zugriff auf Modelle und offline arbeiten
    Nach der Integration kannst du über Enchanted LLM ganz einfach auf deine Ollama-Modelle zugreifen. Ein großer Vorteil dieser lokalen Lösung ist, dass du auch offline arbeiten kannst, da deine Modelle lokal auf deinem Gerät gespeichert sind.

Ollama-Modelle im Heimnetzwerk einrichten: Zugriff auf einem separaten Gerät wie dem Raspberry Pi 5

Falls du Ollama auf einem separaten Gerät wie einem Raspberry Pi 5 in deinem Heimnetzwerk hosten möchtest, kannst du von anderen Geräten darauf zugreifen – auch über das Internet, wenn du eine VPN-Verbindung einrichtest (funktioniert nakzeptabel nur mit der kleinen Variante).

  1. Ollama auf einem Raspberry Pi 5 installieren
    Raspberry Pi 5 ist leistungsfähig genug, um Ollama-Modelle zu hosten. Um Ollama auf einem Pi zu installieren, verwende den folgenden Befehl im Terminal des Raspberry Pi:
   curl -fsSL https://ollama.com/install.sh | sh

Sobald Ollama installiert ist, kannst du Modelle wie gewohnt mit ollama pull [Modellname] herunterladen und lokal ausführen.

  1. Ollama im Heimnetzwerk nutzen
    Da Ollama immer den Port 11434 verwendet, kannst du über diesen Port auf das Modell im Heimnetzwerk zugreifen. Starte den Ollama-Dienst auf dem Pi und überprüfe, ob der Dienst aktiv ist:
   ollama serve
  1. Enchanted LLM mit Raspberry Pi verbinden
    Öffne auf deinem Hauptgerät die Enchanted LLM-App und gib die IP-Adresse deines Raspberry Pi ein, gefolgt von Port 11434 (z. B. http://192.168.1.100:11434). Dadurch stellst du eine Verbindung zum Ollama-Dienst her, der auf dem Raspberry Pi läuft.
  2. Zugriff über VPN einrichten: Ollama weltweit verfügbar machen
    Wenn du auch von unterwegs auf deinen Ollama-Server zugreifen möchtest, gibt es eine einfache und sichere Methode: die Einrichtung einer VPN-Verbindung über deine FRITZ!Box. Auf diese Weise kannst du, egal wo du dich befindest, über eine VPN-Verbindung auf dein Heimnetzwerk zugreifen und die Ollama-Modelle verwenden, die auf deinem lokalen Server (z. B. einem Raspberry Pi) laufen.

VPN-Verbindung mit der FRITZ!Box einrichten

Viele haben bereits eine FRITZ!Box als Router im Einsatz, und diese bietet von Haus aus eine integrierte VPN-Funktionalität. Dadurch kannst du dich von unterwegs direkt mit deinem Heimnetzwerk verbinden, ohne eine zusätzliche VPN-Software auf dem Raspberry Pi einrichten zu müssen.

So richtest du die VPN-Verbindung über deine FRITZ!Box ein:

VPN in der FRITZ!Box aktivieren

  • Öffne die Benutzeroberfläche deiner FRITZ!Box, indem du im Browser http://fritz.box eingibst.
  • Melde dich mit deinem Passwort an und gehe zu Internet > Freigaben > VPN.
  • Wähle VPN-Verbindung hinzufügen und folge dem Assistenten zur Einrichtung einer VPN-Verbindung für Benutzer.
  • Für den Fernzugriff wird dir am Ende eine VPN-Konfigurationsdatei angezeigt. Diese kannst du auf deinem Gerät speichern.

FRITZ!App VPN installieren

  • Lade die FRITZ!App VPN auf dein mobiles Gerät herunter (erhältlich im App Store oder Google Play Store). Alternativ kannst du die VPN-Daten auch manuell auf deinem Laptop oder Desktop einrichten.
  • Nachdem die App installiert ist, importierst du die zuvor heruntergeladene Konfigurationsdatei und aktivierst die VPN-Verbindung.

Verbinden mit dem Heimnetzwerk und Ollama einrichten

  • Sobald die VPN-Verbindung aktiv ist, hast du Zugriff auf alle Geräte in deinem Heimnetzwerk, so als wärst du zu Hause. Das bedeutet, du kannst nun über die lokale IP-Adresse deines Ollama-Servers zugreifen
  • In der Enchanted LLM-App gibst du nun die lokale IP-Adresse deines Ollama-Servers (z. B. 192.168.178.25:11434) in die Einstellungen ein.
  • Stelle sicher, dass du den Port 11434 korrekt angibst, da Ollama immer über diesen Port läuft. Wenn die VPN-Verbindung aktiv ist, wird Enchanted LLM den Ollama-Dienst über die IP-Adresse und den Port 11434 erreichen können, auch wenn du dich physisch nicht im selben Netzwerk befindest.

Warum VPN über die FRITZ!Box?

Der Vorteil der Nutzung einer FRITZ!Box-VPN-Lösung liegt in ihrer Benutzerfreundlichkeit. Es erfordert keine zusätzliche Software auf dem Raspberry Pi und bietet eine stabile und sichere Verbindung in dein Heimnetzwerk. Dadurch kannst du nicht nur Ollama, sondern auch andere Dienste deines Heimnetzwerks bequem von unterwegs aus erreichen. Besonders praktisch: Diese Lösung funktioniert nahtlos mit der Enchanted LLM-App, sodass du jederzeit Zugriff auf deine KI-Modelle hast.

Fazit: Ollama und Enchanted – flexibel, lokal und sicher

Mit Ollama und Enchanted kannst du deine KI-Modelle jederzeit und überall nutzen – lokal auf deinem Mac, auf einem Raspberry Pi oder weltweit über VPN. Der entscheidende Vorteil: Deine Daten bleiben vollständig unter deiner Kontrolle, da alles lokal verarbeitet wird. Drittanbieter haben keinen Zugriff, und deine Informationen werden nicht an externe Server gesendet. So hast du maximale Flexibilität und Sicherheit, ohne Kompromisse bei der Datensicherheit einzugehen. Egal ob offline oder remote – deine Modelle sind geschützt und stets einsatzbereit.

Bild: Robot ‘reading’: CC 4.0 image from futurity.org