Une réponse finale ne suffit pas pour comprendre une application LLM. LangSmith organise l’exécution en traces composées de runs : appels de modèle, outils, retrieval et transformations. Cette visibilité aide à relier un défaut à l’étape qui l’a produit.
Activer le tracing
Configurez la clé et le projet par variables d’environnement, puis vérifiez qu’une invocation apparaît avec ses enfants. Séparez développement, préproduction et production. N’envoyez pas automatiquement des données personnelles ou secrets dans les entrées et métadonnées.
Ajouter des métadonnées utiles
Attachez version de l’application, variante de prompt, modèle, environnement et identifiant pseudonymisé. Les tags servent au filtrage; les métadonnées permettent les comparaisons et diagnostics. Évitez les valeurs à forte cardinalité qui ne répondent à aucune question opérationnelle.
Lire une trace
Examinez d’abord le résultat et la latence globale, puis le retriever, les outils et les appels de modèle. Comparez les entrées réellement reçues aux hypothèses du code. Une erreur de réponse peut venir d’un contexte absent, d’un outil mal appelé ou d’une sortie mal analysée.
Passer de l’observation à l’évaluation
Transformez les échecs représentatifs en exemples de dataset. Lancez des évaluations hors ligne avant déploiement et des évaluations en ligne, sans référence, sur un échantillon de production. Reliez les alertes aux versions et aux segments d’usage.
Définir la gouvernance
Fixez durée de rétention, droits d’accès, règles de masquage et procédure de suppression. L’observabilité ne doit pas devenir une copie non gouvernée de toutes les conversations.
Checklist avant mise en production
- Valider les entrées, les sorties et les permissions des outils.
- Tester les erreurs du fournisseur, les délais d’attente et les limites de coût.
- Ajouter des traces sans enregistrer de secrets ni de données personnelles inutiles.
- Mesurer la qualité sur un jeu de cas représentatifs avant chaque évolution.
Questions fréquentes
LangSmith fonctionne-t-il uniquement avec LangChain ?
Non. Il propose des SDK et intégrations pour d’autres frameworks et pour l’instrumentation manuelle.
Faut-il tracer 100 % du trafic ?
Pas forcément. Le taux dépend du risque, du coût et des règles de confidentialité. Échantillonnez sans perdre les erreurs critiques.