Ollama

Guides et tutoriels sur Ollama

• vLLM, Ollama ou TGI : quel moteur d’inférence choisir ?

  Comparer vLLM, Ollama et Text Generation Inference selon poste local, compatibilité modèles, débit GPU, exploitation et montée en charge.

• Performances GPU ou CPU avec Ollama

  Mesurer Ollama sur GPU et CPU avec des métriques utiles, comprendre les limites de mémoire et éviter les benchmarks trompeurs.

• Connecter Ollama à LangChain

  Utiliser ChatOllama dans une chaîne LCEL, activer le streaming et brancher un modèle local à un retriever sans masquer ses limites.

• Créer un Modelfile Ollama personnalisé

  Créer un modèle Ollama dérivé avec FROM, SYSTEM et PARAMETER, le construire, le tester et éviter les personnalisations fragiles.

• Ollama ou API hébergée : comment choisir ?

  Comparer Ollama et une API de modèles hébergée selon confidentialité, qualité, coûts, exploitation, latence et passage à l’échelle.

• Choisir un modèle local : taille, quantification et usage

  Choisir un modèle Ollama selon la mémoire disponible, la quantification, la longueur de contexte, la qualité attendue et le cas d’usage.