Connecter Dify à un modèle local avec Ollama

Relier Dify à Ollama permet d’utiliser un modèle contrôlé depuis une interface de workflows ou d’agents. Le principal piège n’est pas le modèle, mais le réseau : depuis un conteneur Dify, localhost désigne ce conteneur et non la machine qui exécute Ollama.

Préparer Ollama

Installez Ollama sur l’hôte ou un serveur dédié, téléchargez le modèle choisi et vérifiez son fonctionnement avec une requête directe. Notez son nom exact et mesurez sa mémoire avec le contexte prévu. Le service doit écouter sur une interface accessible depuis Dify, sans être exposé publiquement sans authentification ou filtrage réseau.

Configurer la connectivité

Si Dify tourne dans Docker, utilisez le nom du service sur un réseau partagé, une adresse interne ou le mécanisme d’accès à l’hôte de votre plateforme. Testez depuis le conteneur applicatif, pas seulement depuis votre terminal. Vérifiez DNS, port, pare-feu, proxy et délai d’attente.

Ajouter le fournisseur dans Dify

Renseignez l’URL de base et le modèle, puis lancez une génération courte avant de construire un workflow. Testez ensuite streaming, longue entrée et requêtes simultanées. Les capacités d’outils ou de sortie structurée dépendent du modèle et de l’intégration : ne les supposez pas à partir d’une simple réponse textuelle.

Sécurité et production

Isolez le service dans un réseau privé, limitez les clients autorisés et journalisez sans prompts sensibles. Fixez longueur de contexte, sortie, concurrence et timeout. Un seul poste local convient au développement ; une production partagée demande supervision, redémarrage, capacité et stratégie de mise à jour.

FAQ

Pourquoi localhost ne fonctionne-t-il pas ?

Dans Docker, il pointe vers le conteneur courant. Utilisez une adresse atteignable depuis Dify.

Dify télécharge-t-il le modèle ?

Non. Ollama doit déjà disposer du modèle et le servir.

Peut-on changer de modèle sans modifier le flow ?

Souvent oui, mais retestez contexte, format, outils, qualité et mémoire.

Configuration reproductible

Lancez Ollama sur une adresse joignable depuis Dify. Dans Docker, localhost désigne le conteneur Dify, pas la machine hôte.

OLLAMA_HOST=0.0.0.0:11434 ollama serve
ollama pull llama3.1:8b
curl http://localhost:11434/api/tags

Avec Docker Desktop, renseignez http://host.docker.internal:11434 dans le fournisseur Ollama de Dify. Sous Linux, ajoutez la passerelle au service Dify :

services:
  api:
    extra_hosts:
      - "host.docker.internal:host-gateway"

Testez ensuite depuis le réseau du conteneur :

docker compose exec api curl http://host.docker.internal:11434/api/tags

Si la connexion échoue, vérifiez dans cet ordre : écoute sur 0.0.0.0, pare-feu, résolution de l’hôte, puis nom exact du modèle. En production, n’exposez pas le port 11434 sur Internet : placez Ollama sur un réseau privé et limitez les appels au service Dify.