Stage recherche - Étude des biais dans les grands modèles de langage (LLM) F/H

votre rôle

synthèse de la mission :

Les grands modèles de langage (LLM) ouvrent de nouvelles possibilités pour les services aux entreprises, par exemple pour générer des résumés de réunion ou aider aux diagnostics clients. Dans ce cadre, l’équipe d’accueil développe une expertise sur les LLM afin d’évaluer les capacités et les limites des différents modèles. 

Votre mission concerne plus spécifiquement l’analyse et la mesure des biais de ces modèles.  

Il est en effet crucial de reconnaître que ces modèles peuvent présenter des biais, ce qui nécessite une vigilance particulière lors de leur utilisation pour garantir des résultats pertinents. Cette problématique est d'une importance capitale, car des biais non détectés peuvent avoir des conséquences significatives, notamment sur la prise de décision et l'équité au sein des organisations ou sur les interactions client. Voici quelques exemples de biais potentiels qui ont pu être mis en lumière dans certains grands modèles de langage : 

• Biais de genre : Préjugés associés aux rôles de genre, tels que l'association de certaines professions à un genre spécifique. 
• Biais raciaux : Représentation inégale ou stéréotypée de certaines ethnies ou groupes raciaux. 
• Biais socio-économique : Préjugés liés à la classe sociale, influençant le traitement et la présentation des informations. 
• Biais culturel : Tendance à privilégier certaines cultures ou perspectives, nuisant à la diversité des réponses. 
• Biais de confirmation : Propension à favoriser des informations qui confirment des croyances préexistantes, négligeant ainsi des points de vue alternatifs. 

Détails de la Mission : 

Dans le cadre de ce stage, vous aurez deux missions principales :  
Réaliser un état de l'art sur les corpus existants et les métriques d'évaluation des biais. 
Concevoir un démonstrateur permettant de mettre en œuvre ces métriques, et l’appliquer sur différents LLM.