Ollama simplifie le téléchargement et l’exécution de modèles locaux. Par défaut, gardez son API liée à la machine : elle n’est pas conçue pour être exposée directement à Internet sans passerelle.
Installer et vérifier
Téléchargez Ollama depuis le site officiel pour votre système, puis :
~~~bash ollama --version ollama list ~~~
Sur Linux, vérifiez également le service avec systemctl. Consultez les journaux si aucun GPU n’est détecté.
Télécharger et exécuter un modèle
~~~bash ollama pull nom-du-modele ollama run nom-du-modele ~~~
Choisissez le modèle dans le catalogue actif selon licence, mémoire, langue et usage. Un poids plus gros peut dépasser la RAM ou VRAM et devenir très lent.
Appeler l’API locale
~~~bash curl http://localhost:11434/api/chat -d '{ "model": "nom-du-modele", "messages": [{"role":"user","content":"Réponds en français : que fait Ollama ?"}], "stream": false }' ~~~
L’API répond en JSON. Le streaming est activé par défaut sur plusieurs endpoints : lisez les objets ligne par ligne ou désactivez-le pour un premier test.
Créer un modèle configuré
~~~text FROM nom-du-modele PARAMETER temperature 0.2 SYSTEM Tu es un assistant technique qui répond en français. ~~~
Enregistrez ce Modelfile puis lancez ollama create assistant-fr -f Modelfile. Versionnez le fichier, pas les données sensibles.
Diagnostiquer les performances
Utilisez ollama ps pour voir les modèles chargés. Mesurez temps au premier token, tokens par seconde et mémoire. Réduisez taille du modèle ou contexte si le système échange vers le disque.
Réseau et production
Ne rendez pas le port 11434 public. Placez une API authentifiée devant Ollama, limitez modèles, contexte, concurrence et corps. Isolez le processus, contrôlez les téléchargements de poids et conservez la licence. Ajoutez supervision, redémarrage et cache durable.
FAQ
Ollama fonctionne-t-il sans GPU ?
Oui pour plusieurs modèles, mais la vitesse dépend fortement du CPU, de la RAM et de la quantification.
Où sont stockés les modèles ?
L’emplacement dépend du système et de la configuration. Consultez la documentation officielle avant de déplacer le répertoire.