Une perte de validation plus basse ne suffit pas à conclure. L’objectif est de montrer que le modèle adapté améliore un comportement produit sur des exemples qu’il n’a pas vus, tout en restant acceptable sur sécurité, coût, latence et capacités générales.
Comparer à une baseline honnête
Évaluez le modèle de base avec le meilleur prompt raisonnable, le modèle fine-tuné et, si pertinent, une solution RAG ou few-shot. Gardez tokenizer, décodage et infrastructure comparables. Le dataset final doit être séparé par source ou utilisateur pour éviter les fuites de variantes proches.
Mélanger plusieurs types de métriques
Utilisez exactitude déterministe pour formats et labels, métriques métier pour les critères essentiels, et revue humaine en aveugle pour qualité subjective. Les juges LLM accélèrent l’analyse mais doivent être calibrés et versionnés. Rapportez intervalles ou variabilité, pas seulement une moyenne.
Chercher les régressions
Ajoutez refus légitimes, injections, données sensibles, langues, longs contextes et demandes hors domaine. Mesurez hallucinations, toxicité, mémorisation indésirable et respect des outils. Un modèle plus spécialisé peut perdre des capacités générales ; décidez lesquelles sont nécessaires au produit.
Préparer le déploiement
Comparez taille, mémoire, débit et coût avec le format d’inférence final, y compris quantification ou adaptateur chargé. Faites un test progressif ou A/B avec garde-fous. Collectez les erreurs de production, nettoyez-les puis enrichissez le dataset sans contaminer le test historique.
FAQ
Les benchmarks publics suffisent-ils ?
Non. Ils donnent du contexte, mais ne représentent ni vos données ni vos risques.
Peut-on tester sur les données d’entraînement ?
Seulement pour diagnostiquer l’apprentissage, jamais pour estimer la généralisation.
Quel seuil de déploiement choisir ?
Un seuil lié à l’impact métier et aux risques, décidé avant de regarder les résultats finaux.