Un prompt écrit à la main reste souvent la manière la plus rapide de valider une idée. DSPy devient intéressant lorsque le système doit être mesuré, composé et amélioré de façon reproductible. Le choix dépend donc moins de la longueur du prompt que de la maturité du produit.
Rester sur un prompt manuel
Un prompt manuel convient à une tâche simple, peu fréquente ou encore instable. Il permet d’explorer rapidement le vocabulaire, les exemples et le format de sortie. Si l’équipe ne possède ni jeu d’exemples ni métrique fiable, un optimiseur n’a de toute façon aucun objectif pertinent à poursuivre.
Versionnez le prompt, séparez les instructions des données et testez-le sur des cas représentatifs. Cette discipline apporte déjà une grande partie de la maintenabilité attendue.
Introduire DSPy
DSPy est adapté lorsque plusieurs appels de modèles forment un programme, que les entrées et sorties peuvent être structurées et que la qualité se mesure. Les signatures stabilisent les contrats, les modules rendent les stratégies interchangeables et les optimiseurs recherchent des instructions ou démonstrations efficaces à partir d’un jeu d’entraînement.
Cette optimisation consomme des appels de modèles et peut suradapter le programme aux exemples fournis. Séparez donc entraînement, validation et test. Conservez une base non optimisée pour mesurer le gain réel.
Construire une métrique utile
Une égalité exacte convient à une classification ou une extraction stricte. Une réponse libre demande souvent plusieurs critères : présence des faits attendus, absence d’invention, format valide et respect des contraintes. Évitez une métrique exclusivement jugée par le même modèle que celui optimisé sans contrôle humain.
Calculer le retour sur investissement
Comparez le gain de qualité au coût de compilation, à la latence et à la complexité d’exploitation. Enregistrez la version du modèle, du jeu de données, de la métrique et du programme compilé. Relancez l’évaluation lors d’un changement de fournisseur.
Commencez manuellement pour comprendre la tâche. Passez à DSPy lorsque vous disposez d’exemples fiables, d’un objectif mesurable et de plusieurs variantes difficiles à maintenir à la main. L’automatisation devient alors une méthode d’ingénierie, pas un substitut à la définition du bon problème.