Leçons tirées d'un million d'évaluations
Mac Merritt
Ingénierie
Les évaluations d'un agent de programmation commencent habituellement par un ensemble fixe de tâches notées selon un taux de réussite binaire et choisies en fonction de ce qui est accessible publiquement. Cette approche peut convenir dans certains cas, mais plusieurs problèmes peuvent survenir et la rendre peu utile. D'abord, à mesure que les agents et les modèles s'améliorent, le taux de réussite sur l'ensemble fixe augmente, et bien souvent les écarts de réussite restants tiennent autant au bruit du banc d'essai qu'à la performance de l'agent et du modèle. Nous appelons cela la saturation d'un banc d'essai, et lorsqu'elle se produit, le banc d'essai ne mesure plus le signal recherché. Nous l'avons constaté récemment en ajoutant un nouveau modèle à Kiro. Sur Terminal Bench 2.1, le taux de réussite correspondait à nos attentes. Nous savions que Terminal Bench 2.1 approchait de la saturation, mais nous supposions que son taux de réussite mesurerait tout de même les risques importants de régression. Puis nous avons commencé à entendre des témoignages d'utilisateurs de test internes selon lesquels l'expérience avec le nouveau modèle était pire qu'avec les autres modèles. En y regardant de plus près, nous avons vu que, malgré un taux de réussite raisonnable, certains outils échouaient dans 40 % de leurs appels parce que la description d'outil qui fonctionnait pour les autres modèles amenait le nouveau modèle à les appeler avec des entrées invalides.
Cela nous mène au deuxième problème : les signaux de réussite ou d'échec peuvent ne pas suffire. Ce résultat n'a pas eu d'incidence sur le taux de réussite parce que le modèle était capable d'itérer jusqu'à trouver la bonne façon de soumettre la requête, mais pendant ces essais et erreurs, des jetons étaient consommés, la latence augmentait et la valeur globale pour le client diminuait. L'expérience client dépend de bien plus que la simple capacité de Kiro à accomplir la tâche, ce qui nous amène au troisième problème : les évaluations peuvent ne pas représenter l'expérience client réelle. Les clients ont besoin d'avoir confiance que Kiro peut accomplir la tâche rapidement et avec un niveau de qualité élevé. Pour mesurer cela, nous devons vérifier que nous exécutons des bancs d'essai reflétant l'expérience client réelle et suivre tous les signaux susceptibles d'influer sur cette expérience. Dans Kiro, nous avons exécuté des millions d'évaluations au fil de notre travail d'amélioration du produit pour nos clients, et au cours de ces évaluations, nous avons rencontré chacun de ces problèmes.
Ce billet porte sur ce que nous avons appris et sur la façon dont nous gérons désormais la suite d'évaluation de Kiro pour mesurer ce qui compte pour nos clients.
L'évaluation est essentielle au développement d'un agent. Même si nous pouvons raisonner sur la façon dont un modèle pourrait réagir à un changement, nous ne pouvons pas le prédire de façon fiable. Un petit changement à une requête, à une description d'outil ou au modèle lui-même peut modifier le comportement d'une manière que personne n'avait prévue, et la seule façon d'en avoir le cœur net est de l'exécuter avec un vrai modèle. C'est pourquoi même des ingénieurs et des scientifiques très expérimentés sont souvent en désaccord sur ce qui améliorera ou nuira à la performance d'un agent : par exemple, quand et comment utiliser des sous-agents, ce qui devrait figurer dans un fichier AGENTS.md, à partir de combien d'outils il y en a trop, quels types de mémoire sont utiles ou nuisibles, et s'il faut miser davantage sur les Skills ou sur des outils MCP personnalisés. Cela signifie que nous avons besoin d'une évaluation aux résultats dignes de confiance que nous pouvons utiliser pour décider quels compromis aideront le plus les clients.
Beaucoup d'évaluations sont un ensemble fixe de scénarios de réussite ou d'échec, choisis en raison de leur disponibilité et de leur popularité, et non nécessairement parce qu'ils reflètent clairement la valeur pour le client. Cela peut causer trois problèmes. D'abord, les bancs d'essai fixes peuvent devenir saturés. Dans ce cas, l'agent peut encore résoudre le banc d'essai même en présence d'une régression, ce qui rend difficile de trouver un signal pertinent sur ce qui devrait être amélioré. Ensuite, la notation grossière de réussite ou d'échec peut masquer des signaux qui comptent pour les clients, parce qu'elle n'explique pas comment l'agent a résolu la tâche. Les clients se soucient de leur coût, du temps que Kiro met à effectuer la tâche et de la qualité du code au-delà du simple fait de savoir s'il a satisfait aux exigences de test. Un signal de réussite peut masquer tous ces détails. Enfin, le banc d'essai lui-même peut ne pas mesurer des signaux qui comptent pour nos clients. Terminal Bench mesure la capacité d'un agent à accomplir des tâches incroyablement complexes, mais il sous-pondère des signaux qui ne font pas partie de son cas d'usage cible et qui sont donc sous-représentés, comme les différents langages de programmation, les cas d'usage DevOps et la compréhension de code. Ces cas d'usage ne sont pas au cœur de Terminal Bench, mais ils sont importants pour les clients de Kiro.
Faire mûrir nos évaluations a signifié bâtir des mécanismes pour mesurer et améliorer dans quelle mesure les évaluations reflètent les cas d'usage des clients.
- Des ensembles statiques aux bancs d'essai dynamiques. Notre objectif est une suite de bancs d'essai dont les scénarios correspondent à la façon dont les développeurs utilisent Kiro. L'une des façons dont nous y parvenons est de mesurer l'utilisation des utilisateurs internes d'Amazon de Kiro au moyen de catégories agrégées. Nous regroupons l'utilisation par plus de 20 catégories de tâches, plus de 25 domaines, langage de programmation et nombre de requêtes par session, et nous étiquetons nos scénarios de banc d'essai avec les mêmes catégories. Nous remplissons ensuite ces catégories avec des scénarios provenant de trois sources : des scénarios que nous écrivons nous-mêmes, des scénarios d'autres équipes d'Amazon et des bancs d'essai publics. Lorsque la suite compte trop peu de scénarios dans une catégorie par rapport à l'utilisation réelle, nous en ajoutons, et ces écarts nous aident à prioriser les bancs d'essai sur lesquels nous concentrer. Le résultat est une suite de bancs d'essai versionnée que nous mettons à jour à une cadence régulière, à mesure que l'utilisation et les capacités évoluent.
- De la réussite ou l'échec au jugement nuancé. Nous suivons trois niveaux de granularité pour chaque banc d'essai. La réussite ou l'échec est la première mesure que nous examinons, et elle sert d'indication composite de la performance. Ensuite, nous suivons les signaux de sortie de chaque exécution de banc d'essai dont nous savons qu'ils comptent pour nos clients. La forme la plus simple en est la latence et la consommation de jetons, mais dans certains cas, cela peut inclure des mesures de la complexité du code ou de la taille des artéfacts générés. Enfin, nous examinons les évaluations de type grand modèle de langage juge sur les trajectoires des bancs d'essai, pour des signaux difficiles à mesurer de façon déterministe mais qui comptent tout de même pour les clients, comme la qualité du code et le ton des réponses. Lorsque nous trouvons des occasions d'amélioration ou de régression dans l'un de ces domaines, nous examinons les trajectoires détaillées des bancs d'essai pour comprendre pourquoi la mesure est pire que prévu et quelles options s'offrent à nous pour améliorer Kiro. L'une des plus grandes valeurs des bancs d'essai est que nous pouvons ensuite retester les options d'amélioration pour décider laquelle est la plus efficace pour l'occasion que nous ciblons.
- Bâtir la confiance avec des signaux en direct. Les signaux que nous utilisons pour passer d'un banc d'essai statique à un banc d'essai dynamique aident à rapprocher les bancs d'essai des cas d'usage des clients, mais ils peuvent tout de même passer à côté de points de friction pour des raisons extérieures aux dimensions mesurées. Un banc d'essai peut correspondre à un client par catégorie, domaine, langage et horizon, et ne pas refléter son expérience pour autant, parce que le banc d'essai est saturé, ou que nos catégories n'étaient pas assez fines, ou pour un grand nombre d'autres raisons liées aux scénarios eux-mêmes. En plus des scénarios que nous exécutons, il y a un risque de passer à côté des points de friction des clients à cause de la façon dont nous exécutons les bancs d'essai. La sélection du modèle, le niveau de réflexion, la sélection des outils, la configuration du client et plus encore peuvent tous influer sur la qualité de l'agent et peuvent être configurés par les clients d'une manière que nous pourrions manquer dans les évaluations. Notre processus de sélection nous aide à nous concentrer sur les bancs d'essai susceptibles de représenter l'expérience d'un client, mais au bout du compte, l'expérience client réelle est la source de vérité. Jeff Bezos a déjà dit : « Quand les données et les anecdotes se contredisent, les anecdotes ont habituellement raison. » C'est l'esprit qui sous-tend le fait de bâtir la confiance avec des signaux en direct. Nous utilisons des données provenant de sondages et de notes de satisfaction agrégées, ainsi que des anecdotes tirées de discussions avec les utilisateurs. Nous utilisons aussi des sondages et des conversations avec des clients externes pour vérifier que les utilisateurs internes vivent une expérience semblable. Cela nous permet d'évaluer de façon cohérente le système d'évaluation lui-même et de nous assurer que les données concordent avec les signaux de clients réels.
Un organigramme du cycle d'évaluation de Kiro sous la forme d'une boucle horaire de quatre étapes numérotées autour d'un titre central, « Comment Kiro garde ses évaluations honnêtes », et de la citation « Quand les données et les anecdotes se contredisent, les anecdotes ont habituellement raison. » L'étape 1, Utilisateurs, utilisent Kiro sur différents clients, modèles et de nombreux types de tâches, et transmettent une rétroaction à l'étape 2. L'étape 2, Signaux en direct, nous indiquent ce que les utilisateurs vivent réellement au moyen de sondages, de notes de satisfaction, d'anecdotes d'utilisateurs et de catégories d'utilisation agrégées, et vérifient que les bancs d'essai concordent, alimentant l'étape 3. L'étape 3, Bancs d'essai hors ligne, un index de scénarios évolutif noté en trois couches — taux de réussite; efficacité couvrant la latence, les jetons et les échecs d'outils; et grand modèle de langage juge pour la qualité du code et le ton — fait ressortir des occasions d'amélioration pour l'étape 4. L'étape 4, Améliorations de Kiro, examine les trajectoires pour trouver pourquoi une mesure a bougé, puis corrige les requêtes, les descriptions d'outils et le harnais, et renvoie ces correctifs aux utilisateurs, bouclant la boucle.
Utilisent Kiro sur différents clients, modèles et de nombreux types de tâches.
Nous indiquent ce que les utilisateurs vivent réellement.
- Sondages
- Notes de satisfaction
- Anecdotes d'utilisateurs
- Catégories d'utilisation agrégées
Un index de scénarios évolutif, noté en trois couches :
- Taux de réussite
- Efficacité : latence, jetons, échecs d'outils
- Grand modèle de langage juge : qualité du code, ton
L'examen des trajectoires révèle pourquoi une mesure a bougé, puis nous corrigeons les requêtes, les descriptions d'outils et le harnais.
Comment Kiro garde ses évaluations honnêtes
« Quand les données et les anecdotes se contredisent, les anecdotes ont habituellement raison. »
Après avoir tiré notre leçon de ce lancement de modèle, nous avons appliqué cette approche plus systématique. Nous avons mesuré Kiro sur des scénarios de nombreux bancs d'essai, dont plusieurs bancs d'essai privés pour éviter le risque de contamination, Terminal Bench 4.0, Deep SWE, SWE Marathon et d'autres. Nous avons aussi prêté attention à des mesures détaillées autour des taux d'échec des outils, de l'efficacité des jetons et de la latence. Les données sur le taux d'échec des outils nous ont aidés à corriger le problème de description d'outil incohérente mentionné plus tôt, et les données sur l'efficacité ainsi que l'ensemble plus complet d'évaluations ont mené à des dizaines de changements qui ont amélioré des fonctionnalités, corrigé des bogues dans les harnais de Kiro et amélioré l'efficacité d'une manière qui se traduit directement par des économies pour les clients.
Même avec une suite adaptée aux catégories d'utilisation, il est difficile d'y intégrer les bons scénarios. Des signaux qui ressemblent à une réussite peuvent tout de même induire en erreur. Par exemple, nous avons récemment envisagé une pull request interne comme scénario de banc d'essai. Elle avait été fusionnée et l'utilisateur avait attribué 5 étoiles à l'agent, elle semblait donc un exemple idéal de tâche réussie. En examinant l'historique du dépôt, nous avons constaté que le commit suivant corrigeait des bogues que la pull request avait introduits. Si nous l'avions ajoutée, le banc d'essai aurait traité du code bogué comme la bonne réponse. Nos recherches futures portent sur la mise à l'échelle de la curation des bancs d'essai afin que nous puissions continuer de mettre à jour la suite tout en repérant des scénarios comme cette pull request à 5 étoiles finalement annulée.
Notre processus actuel est aussi limité par la façon dont Kiro est configuré pendant les évaluations. Nous exécutons des évaluations pour correspondre à l'utilisation des clients en matière de sélection de modèle et de client Kiro. Les recherches futures examineront comment Kiro se comporte avec des configurations client complexes comme les serveurs MCP, les fichiers Steering, les Skills verbeux et les bases de code fortement commentées.
Essayez Kiro. Pour la méthode détaillée derrière tout cela, y compris la grille d'évaluation du juge grand modèle de langage, la configuration des tests A/B et les résultats mesurés, lisez Continuous Prompt Evaluation, et pour la question plus vaste de savoir si les agents s'améliorent vraiment au fil du temps, lisez Are AI coding agents actually getting better?.