OpenWebUI, Ollama und MCP – ein lokaler KI-Stack für Unternehmen

Künstliche Intelligenz ist längst kein Forschungsthema mehr. Unternehmen wollen sie produktiv nutzen – z.B. für Assistenten, Wissensmanagement oder automatisierte Prozesse. Dabei stoßen Cloud-basierte Lösungen jedoch an Grenzen: Datenschutz, Compliance, Kostenkontrolle und Abhängigkeiten von Drittanbietern sind nur einige Herausforderungen.

Ein spannender Ansatz ist daher die lokale Ausführung von Sprachmodellen in Kombination mit einer benutzerfreundlichen Oberfläche und flexiblen Schnittstellen. Genau hier kommen OpenWebUI, Ollama und MCP (Model Context Protocol) ins Spiel.

Was steckt dahinter?

OpenWebUI – Die Oberfläche für Anwender

OpenWebUI ist eine self-hosted Weboberfläche, die den Zugriff auf Sprachmodelle deutlich komfortabler macht. Sie kann im Unternehmensnetzwerk betrieben werden und so die volle Kontrolle über Daten und Konfiguration ermöglichen.

Über die moderne Chat-Umgebung lassen sich KI-Modelle komfortabel nutzen, mit Funktionen wie:

• Multi-User-Management
• Unterstützung verschiedener Modelle
• Integration von Tools und APIs
• Responsive UI, auch mobil nutzbar

Damit wird die Bedienung auch für Anwender:innen außerhalb des Entwicklerumfelds attraktiv.

Ollama – Modelle lokal ausführen

Während OpenWebUI die Benutzeroberfläche stellt, kümmert sich Ollama um die Ausführung der Sprachmodelle.

Ollama ermöglicht es, große Sprachmodelle lokal zu betreiben – beispielsweise LLaMA, Mistral oder Code Llama – ohne Daten an externe Cloud-Anbieter senden zu müssen.

Die Vorteile liegen auf der Hand: volle Datenhoheit, keine API-Kosten und hohe Flexibilität bei der Wahl des Modells.

MCP – das Protokoll für Tools

Das Model Context Protocol (MCP) erweitert die Fähigkeiten von Sprachmodellen durch den Zugriff auf externe Tools und Datenquellen. Über MCP lassen sich Funktionen wie Dateizugriffe, Web-Abfragen oder Datenbank-Abfragen standardisiert integrieren.

Mit Projekten wie mcpo (MCP-OpenAPI-Proxy) ist es möglich, bestehende Tool-Server in OpenWebUI einzubinden – und so KI-gestützte Workflows nahtlos in Unternehmensprozesse zu integrieren.

Architektur & Zusammenspiel

Das Zusammenspiel von OpenWebUI, Ollama und MCP lässt sich als modularer Stack beschreiben

1. OpenWebUI dient als Frontend – hier interagieren die Anwender:innen mit der KI.
2. Ollama stellt im Backend die gewünschten Sprachmodelle bereit.
3. MCP ermöglicht die Anbindung externer Tools.

• Dafür gibt es zwei Ebenen:
  • po (MCP-OpenAPI-Proxy): wirkt für OpenWebUI wie ein OpenAPI-Server, übersetzt aber intern in MCP.
  • MCP-Server: die eigentliche Tool-Implementierung, die über MCP Funktionen bereitstellt.

Datenfluss: OpenWebUI (OpenAPI) → mcpo → MCP-Server (Tool)

So wird klar getrennt: OpenWebUI erwartet OpenAPI, mcpo übersetzt, MCP-Server implementiert die Logik.

Warum sich der lokale KI-Stack für dein Unternehmen lohnt

Die Kombination von OpenWebUI, Ollama und MCP eröffnet gleich mehrere Vorteile für den Einsatz im Unternehmenskontext:

• Datenschutz & Compliance: Sämtliche Daten verbleiben im Unternehmensnetzwerk.
• Kosteneffizienz: Keine nutzungsabhängigen API-Gebühren.
• Flexibilität: Unterschiedliche Sprachmodelle können ausprobiert und integriert werden.
• Lizenzklarheit der Modelle: Lizenzbedingungen der Modelle prüfen, besonders im Business-Einsatz.
• Akzeptanz: Eine moderne und intuitive Oberfläche sorgt für hohe Nutzungsbereitschaft.
• Skalierbarkeit: Vom Pilot bis zum Rollout im gesamten Unternehmen.

Kurzanleitung: Einstieg mit Docker

Ein schneller Einstieg ist in zwei Stufen sinnvoll:

1. Basis (nur Ollama + OpenWebUI) für erste Tests
2. Erweitert (mit MCP) für die Anbindung externer Tools

1) Basis: Ollama + OpenWebUI

Ollama installieren (Host):

curl -fsSL https://ollama.com/install.sh | sh

OpenWebUI Einzel-Container:

docker run -d -p 3000:8080 --name openwebui \
  -e OLLAMA_BASE_URL=http://host.docker.internal:11434 \
  ghcr.io/open-webui/open-webui:main

Docker Compose (empfohlen):

version: '3.8'
services:
  ollama:
    image: ollama/ollama:latest
    ports:
      - "11434:11434"
    volumes:
      - ./ollama:/root/.ollama

  openwebui:
    image: ghcr.io/open-webui/open-webui:main
    environment:
      - OLLAMA_BASE_URL=http://ollama:11434
    ports:
      - "3000:8080"
    depends_on:
      - ollama

2) Erweitert: MCP-Integration mit mcpo

mcpo fungiert als Proxy, der OpenAPI-Schnittstellen in MCP-Calls übersetzt.
Der Ablauf: OpenWebUI (OpenAPI) → mcpo → MCP-Server (z. B. uv).

services:
  mcpo:
    image: ghcr.io/modelcontextprotocol/mcpo:latest
    environment:
      - MCP_SERVER_NAME=example
      - MCP_SERVER_CMD=uv
    ports:
      - "8000:8000"

Beispiel-Usecase: Confluence via uv (MCP) hinter mcpo

Viele Unternehmen nutzen Confluence als zentrale Wissensplattform. Ohne die UI zu verlassen, können Anwender:innen in OpenWebUI Fragen stellen („Zeig mir die Reiserichtlinie“), während im Hintergrund Confluence gezielt abgefragt wird.

Rollen & Flow:

• OpenWebUI: Chat-Frontend; bindet Tools über OpenAPI an.
• mcpo: wirkt wie ein OpenAPI-Endpoint und übersetzt Aufrufe in MCP.
• uv (MCP-Server): implementiert Confluence-Operationen und spricht mit Confluence REST.

Datenfluss: User → OpenWebUI (OpenAPI) → mcpo → (MCP) uv → Confluence REST

Interaktionsbeispiel: