L'utilisation de l'ordinateur permet à l'agent de lire une application native par l'intermédiaire de la couche d'accessibilité du système d'exploitation et de la piloter : il prend une fenêtre sous forme d'un plan numéroté de ses boutons, champs et rangées. À partir de là, il peut appuyer sur une commande, saisir du texte dans un champ, définir une valeur, défiler ou glisser. Cela permet d'atteindre du travail qui n'a aucune interface Web : extraire un chiffre d'une feuille de calcul, parcourir un outil interne réservé au bureau, ou lire une boîte de dialogue d'erreur et vous dire ce qu'elle contient.
Plutôt que de faire une capture d'écran et de deviner les pixels, l'agent demande à la couche d'accessibilité un plan structuré d'une fenêtre, une liste numérotée de ses commandes, puis agit sur une commande par son numéro. Cela garde les actions précises et permet à l'agent de décrire ce qu'il regarde avant de toucher à quoi que ce soit.
L'agent peut :
L'utilisation de l'ordinateur fonctionne sur macOS et Windows, chacun par l'intermédiaire de son propre moteur natif. Linux n'est pas pris en charge.
Les moteurs diffèrent de deux façons qu'il vaut la peine de connaître. Sur macOS, une action peut être livrée à la seule application cible, de sorte qu'une fenêtre en arrière-plan est pilotée sans déplacer votre pointeur physique. Sur Windows, un clic ou un glissement fondé sur des coordonnées déplace brusquement le pointeur réel vers ce point. macOS impose également un délai d'attente par appel sur les requêtes d'accessibilité, ce que UI Automation de Windows n'expose pas.
Sur macOS, les actions sont livrées à l'application cible, non pas en déplaçant votre souris physique. Une fenêtre en arrière-plan peut être pilotée sans voler votre curseur ni votre focus, de sorte que l'agent qui travaille dans une application n'interrompt pas ce que vous faites dans une autre. Une seule action peut déplacer votre véritable curseur. L'agent ne la choisit jamais automatiquement et doit la demander explicitement.
L'utilisation de l'ordinateur est encadrée de la même façon que le reste des outils de Crew, avec des protections supplémentaires propres à la lecture d'un bureau en direct :
Depuis le tableau de bord, ouvrez Paramètres → Utilisation de l'ordinateur et activez-la. Sur macOS, la première fois que vous l'activez, le système vous demande d'accorder la permission d'accessibilité à l'application. L'utilisation de l'ordinateur ne peut ni lire ni piloter d'autres applications tant que vous ne l'avez pas fait.
Deux commandes vous aident à voir ce qui est adressable et à déboguer le comportement des outils (macOS et Windows) :
kirocrew computer apps # list apps the computer-use tools can address kirocrew computer call computer_list_apps # run a single computer_* tool directly
kirocrew computer call est un outil de débogage destiné aux humains, il exécute les outils computer_* par l'intermédiaire du même point de contrôle protégé que l'agent utilise. Il sert à l'inspection, non pas à scripter l'agent.
kirocrew computer complètes
Utilisation de l'ordinateur