Le prompt engineering manuel améliore directement une instruction. DSPy propose une approche différente : décrire la tâche sous forme de programme, définir une métrique et laisser un optimiseur rechercher de meilleures instructions ou démonstrations à partir d’exemples. L’automatisation n’est utile que si la qualité peut être mesurée.
Quand le prompt manuel suffit
Gardez un prompt explicite lorsque la tâche est simple, que quelques règles la décrivent correctement ou que les exigences changent chaque semaine. C’est aussi le meilleur point de départ : sans référence manuelle et sans cas d’échec, vous ne saurez pas si l’optimisation apporte une amélioration réelle. Versionnez le prompt et testez-le comme du code.
Ce que DSPy change
Une signature décrit les entrées et sorties attendues ; des modules composent les appels. Un optimiseur utilise ensuite des exemples et une métrique pour proposer une configuration. Il ne « comprend » pas automatiquement votre produit : la qualité dépend des données, du score choisi et du modèle utilisé pendant l’optimisation.
Les prérequis
Constituez des exemples représentatifs, séparés entre optimisation et test final. La métrique doit pénaliser les erreurs importantes : exactitude structurée, citations, contraintes métier ou évaluation humaine. Une métrique superficielle peut optimiser le style tout en dégradant la vérité. Suivez aussi coût et latence, car une configuration plus précise peut multiplier les appels.
Arbre de décision
- La tâche est-elle stable et répétée ? Sinon, restez manuel.
- Disposez-vous d’exemples et d’une métrique fiable ? Sinon, construisez-les d’abord.
- Les améliorations manuelles plafonnent-elles ? Lancez une expérience DSPy.
- Le gain tient-il sur un test séparé et avec un autre échantillon ? Seulement alors, déployez.
FAQ
DSPy supprime-t-il les prompts ?
Non. Il les représente et les optimise dans un programme plus structuré.
Peut-on optimiser sans labels ?
Certaines métriques reposent sur un modèle juge, mais elles doivent être calibrées contre une appréciation humaine.
Faut-il réoptimiser en changeant de modèle ?
Souvent oui : la meilleure formulation et les démonstrations peuvent dépendre du modèle.