En avril 2023, je décrivai dans un article publié sur ce blog puis dans Programmez! mon aventure avec ChatGPT. Nous en étions alors à la version 3.5 du LLM sous-jacent GPT, la version 4 étant sortie quelques semaines plus tôt, en pleine rédaction de l'article - trop tard pour s'y remettre.
Le constat était décevant, car j'identifiai huit problèmes... :
- lorsqu'il génère du code, ChatGPT risque de s'interrompre sans possibilité de reprise ;
- ChatGPT peut générer des codes différents en réponse à une même demande ;
- ChatGPT peut générer un code qui ne répond pas aux besoins ;
- par défaut, ChatGPT utilise des espaces et non des tabulations pour indenter le code ;
- ChatGPT peut générer un code qui n'est pas efficient ;
- ChatGPT peut générer du code inutile ;
- ChatGPT peut générer du code qui semble répondre aux besoins, mais qui n'y répond pas ;
- ChatGPT peut générer du code qui répond à des besoins qui n'ont pas été formulés.
...mais j'en concluai que "tel le client de Palace que j'évoquais, il ne faut jamais désespérer : quelqu'un, un jour, nous livrera bien une AI qui, en matière de code, génèrera autre chose que de la soupe à la moumoute".
Des millions d'années plus tard à l'échelle temporelle des progrès de l'IA générative, c'est peu dire que ce voeu a été exaucé...
