Selon un hedge fund, prompt engineer n’est pas un métier facile
Il est peu probable que le prompt engineering devienne un métier à part entière, mais c’est une compétence de plus en plus utile. Le hedge fund Man Group, qui a mis en place son propre chatbot IA, ManGPT, a déclaré le 8 octobre lors de la conférence Quant Strats 2024 à Londres que l'utilisation efficace des grands modèles linguistiques - ou LLM - n'est pas simple.
Tim Mace, responsable des données et du machine learning chez Man, a affirmé à cette occasion que l'IA générative « ne répond pas entièrement aux attentes ». L’un des aspects les plus frustrants des chatbots IA est qu'ils sont « conçus pour donner une réponse plausible, plutôt qu’une réponse factuelle », ce qui est susceptible de générer des erreurs dans les informations données et devient de fait une source de coûts non négligeables.
Chez Man Group, les équipes utilisent cette technologie efficacement, mais Tim Mace explique qu'elles « écrivent également des prompts très longs pour amener le modèle à faire ce qu’on attend de lui ». Une méthode qui comporte ses propres risques : des recherches existantes portant sur le prompt engineering ont montré que plus un prompt est long, plus il est difficile à exécuter, le modèle ayant tendance à ignorer les informations données au milieu pour se concentrer sur le début et la fin.
Il existe toutefois des moyens d'assurer la précision des réponses. Selon Man Group, l'implémentation de la technique du « chain-of-thought prompting » a été « très bénéfique ». Cette méthode encourage le chatbot à expliquer son raisonnement plutôt qu’à donner une réponse directe. Cela peut parfois mener à une réponse plus précise ; dans d’autres cas, cela permet de voir où le bot a « déliré » et de corriger facilement l'erreur. Tim Mace ajoutait par ailleurs que « plus on laisse un modèle réfléchir à ses réponses, plus elles seront précises ».
ManGPT permet à ses utilisateurs de basculer entre différents LLM en fonction de la tâche. Ce peut être particulièrement important pour les développeurs logiciels : les modèles Sonnet d'Anthropic sont largement considérés comme meilleurs pour le codage que GPT-4o d’Open IA, le modèle par défaut utilisé par ManGPT.
Tim Mace a également indiqué que Man Group s'intéressait à la mise en œuvre de l'apprentissage par renforcement. Cette méthode différente d’entraînement des modèles, préconisée par Goldman Sachs, repose sur le principe du tâtonnement et est jugée plus fiable et plus précise que les méthodes actuelles, quoique plus coûteuse.
Have a confidential story, tip, or comment you’d like to share? Contact: Telegram: @AlexMcMurray, WhatsApp: (+1 269 237 3950). Click here to fill in our anonymous form, or email editortips@efinancialcareers.com.
Bear with us if you leave a comment at the bottom of this article: all our comments are moderated by human beings. Sometimes these humans might be asleep, or away from their desks, so it may take a while for your comment to appear. Eventually it will – unless it’s offensive or libelous (in which case it won’t.)
