Où l'on prend de la hauteur

• un environnement qui permet de poursuivre un nombre infini d'objectifs ;
• une gigantesque base de connaissances acquises par avance ;
• une architecture assez flexible pour permette à l'agent de poursuivre n'importe quel objectif en mettant ces connaissances en actions.

• il procède par essais et erreurs, réitérant ses efforts pour parvenir à un résultat en tenant compte des erreurs qu'il a pu rencontrer lors d'une tentative : code généré par le LLM lors de l'itération précédente, des messages d'erreurs JavaScript fonctionnelles – les erreurs syntaxiques sont filtrées avant – que son exécution a engendrées, des messages de Minecraft que cette exécution a entraînés, des nouveaux états du bot et de son environnement après cette exécution, et de l'évaluation de l'accomplissement de la tâche par le moyen de cette exécution – la critique générée par le LLM ;
• il mémorise dans des bases de données vectorielles :
  • les compétences qui lui ont permis d'accomplir des tâches sous la forme du code généré par le LLM, et d'une description de ce code ici encore générée par le LLM ;
  • les questions qu'il a posées au LLM et les réponses que ce dernier y a apportées, questions et réponses qu'il fournit notamment au LLM quand il lui demande ensuite de générer la tâche.

• tant que le bot n'a pas accompli au moins 15 tâches, le niveau de difficulté de Minecraft est réglé sur Peaceful – pas de monstres, impossible de mourir de faim, régénération rapide –, après quoi il est réglé sur Easy ;
• plus généralement, durant tout un tour de chauffe, le LLM n'est pas renseigné sur le biome, l'heure, les autres blocs – ceux que le bot a croisés mais qui ne figurent pas à proximité immédiate ni dans son inventaire –, les créatures alentour, l'état de santé et de satiété du bot, et ne voit de son inventaire que les objets primordiaux, et n'est que par la suite renseigné sur les créatures alentour, puis sur le biome et les autres blocs, et plus tard sur le reste ;
• un ensemble de compétences est prédéfini, qui sont systématiquement fournies au LLM en plus de celles qui ont été trouvées en court de route, lorsqu'il lui est lui demandé de générer le code pour accomplir la tâche, avec instruction de réutiliser autant que possible les compétences en question ;
• son code comprend des verrues qui sont le fruit d'expérimentations, notamment :
  • supprimer tout mention à "ores" et "ore" dans une question posée, car cela conduirait le LLM à indiquer qu'il faut utiliser un outil enchanté avec "Silk touch" pour le miner, ce qui ferait récupérer le bloc plutôt que le minerai, interdisant de fabriquer un objet à base de ce minerai ;
  • selon la version de GPT utilisée, modifier la liste des compétences prédéfinies dont il a été question dans le point précédent.

Pourquoi cet article a-t-il été rédigé ainsi ?

• le fondement probabiliste du système : même quand la température est réglée à zéro, il ne peut être que présumé qu'un LLM va produire le même résultat en réponse à une même demande ;
• la dépendance à des technologies qui évoluent : le LLM utilisé a toutes les chances d'être exposé via un service accessible sur abonnement sur le serveur d'un éditeur, où il évolue au fil de mises à jour opaques ;
• la dépendance à un environnement qui évolue : les informations fournies à un LLM ont toutes les chances d'être très nombreuses et changeantes, et pour cette raison de ne pas être mémorisées.

Au fait, Voyager, ça marche ?

• le coût : ils expliquent avoir dû mobiliser GPT-4 car GPT-3.5 s'est révélé incapable de générer du code aussi bien, mais que cela a coûté 15 fois plus ;
• l'imprécision : ils rapportent qu'en dépit du mécanisme itératif, la bonne compétence n'est parfois pas générée ;
• les hallucinations : ils décrivent des cas où il le bot ne peut accomplir la tâche générée, car cette dernière est tout bonnement impossible.

• un environnement ouvert "because the agent complexity is upper bounded by the environment complexity" ;
• une énorme quantité de données d'apprentissage qui dit comment faire, et avant tout quoi faire de pertinent "because exploration from scratch in such open-ended world is simply intractable" – au passage, rapportant son étonnement devant la quantité et la qualité des données produites par les joueurs de Minecraft, il commente "So one thing I learned is that gamers just got a lot of time to kill. Well, but I'm not complaning, right? Because thanks for the data. Please do more." ;
• un modèle "scalable enough to convert this large-scale data into actionable insights".

Scaling again

Les agents en pratique

• Sunil Mallya, à propos de l'incapacité des LLMs à traiter correctement les séries temporelles, ce qui implique de les traduire en texte :
  I have this theory is, like, I call it The Sun Cost Fallacy of LLMs where LLMs are so good and have done so and so close to, you know, breakthroughs with like numbers that we're like "Hey we're not going to go back and fundamentally rethink that we need a new tokenizer something that understands numbers fundamentally.
• Shreya Shankar, à propos de la manière dont l'utilisateur d'un système agentique a tendance à reformuler sa demande :
  Humans have no idea how to write the prompt until they see the initial output. They have to see what the llm came up with the first time that they wrote the prompt [...] You can't you have to have a human in the loop here because if a human is seeing the intermediate and would do something differently than what the system will do, then already you're not aligned with the intent anymore. [...] The more humans iterate the more it diverges from what the system actually would do if you took them out of the loop.
• Scott Stephenson, à propos des petits progrès qui font une grosse différence dans l'interaction avec un agent :
  When you're talking about like a call center agent, like an AI agent, if it keeps mispronouncing your name over and over, you're going to get irritated by that, you know. So these little things that seem really tiny but actually what it is, it's... It used to be an open loop before and now you can have a closed loop feedback right in the conversation.

Mais de quoi qu'on parle ?

• l'environnement : plus ce dernier est complexe, plus le système qui y évolue est agentique ;
• les interactions avec l'utilisateur : un système qui peut recevoir de instructions en langage naturel et agir de manière autonome est plus agentique ;
• la conception : un système qui est capable d'utiliser des outils ou de planifier, ou dont le worflow est guidé par un LLM, est plus agentique.

Total automation

Conclusion