Le projet BELLS
BELLS (Benchmarks for the Evaluation of LLM Safeguards) est un projet visant à évaluer la fiabilité et la généralité des systèmes de supervision (input-output safeguard en anglais) pour les grands modèles de langage (LLMs). Ces systèmes sont chargés d’analyser les entrées et sorties de LLM en opération pour détecter des comportements critiques : hallucinations dans la réponse, tentative de jailbreak de l’utilisateur, ou encore mobilisation de capacité dangereuse (hacking, etc.).
De nombreux produits sont disponibles pour remplir certains de ces besoins, mais il n’existe pas encore de méthodologie pour les évaluer.
Le projet BELLS vise à établir un système d’évaluation indépendant, pour répondre à trois besoins critiques :
- Évaluer et comparer les outils de supervision existants (comme Lakera Guard, Azure Prompt Flow, ou NVIDIA NeMo Guardrails)
- Stimuler le développement d'outils capables de détecter des anomalies encore inconnues afin d’être mieux préparés aux problèmes émergents futurs.
- Encourager la création de systèmes adaptés à une grande variété d'applications LLM
Nous collaborons avec une diversité d’acteurs pour assurer une pertinence industrielle et académique de nos travaux. Nous travaillons actuellement avec Vincent Corruble, maître de conférences à Sorbonne Université, et Giskard, une startup spécialisée dans les tests d’applications IA.
Pour plus de détails, vous pouvez consulter :
Missions principales
1. Contribuer au développement du projet BELLS :
- Concevoir et implémenter de nouveaux tests d'évaluation pour les systèmes de supervision des LLMs
- Participer à la création d'une plateforme de red-teaming pour les systèmes de supervision
- Développer des outils de visualisation et d'analyse des résultats
- Assurer une veille scientifique sur les avancées en matière de supervision des LLMs et proposer de nouvelles méthodologies d'évaluation
- Maintenir et faire évoluer l'infrastructure logicielle du projet BELLS pour permettre l'évaluation modulaire de divers systèmes de supervision
2. Assurer l’implémentation opérationnelle du projet BELLS
- Faire vivre et faciliter les interactions avec différents acteurs du projet (académiques, industriels, contributions open-source bénévoles, etc.)
- Prise d'initiative dans la direction technique du projet (infrastructure, format des tests, etc.)
3. Éventuellement soutenir ponctuellement les autres projets techniques du CeSIA, notamment sur des démonstrations et prototypes.
Profil recherché
Compétences techniques :
- Très bonne maîtrise de développement Python
- Maîtrise des bonnes pratiques de développement logiciel
- Expérience avec le développement d'applications LLM
- Connaissance des enjeux de sécurité des LLMs
- Familiarité avec les outils de visualisation de données (Streamlit, etc.)
Qualités :
- Autonomie, esprit d'initiative et leadership : nous recherchons un·e responsable capable de piloter le projet même en l'absence de directives détaillées de la hiérarchie.
- Forte capacité d'analyse et de synthèse
- Excellentes capacités de communication (anglais obligatoire, français souhaitable)
- Capacité à interagir avec une grande diversité d’acteurs (industrie, monde de la recherche académique, institutions publiques, etc.)
- Capacités à manager une petite équipe (dont potentiellement des bénévoles et stagiaires)
À propos du CeSIA
Le CeSIA est une initiative lancée et incubée par EffiSciences, qui vise à promouvoir un développement responsable de l'IA à travers des actions de sensibilisation, de la R&D, et du soutien aux acteurs de l’écosystème de l’IA.
Échantillon de notre track-record :
- Notre première publication sur le projet BELLS a été acceptée au workshop NextGen AI Safety de ICML 2024. Nous avons aussi présenté le projet lors de la conférence AI_Dev organisée par la Linux Foundation.
- Plus de 1000 étudiants ont participé à nos événements et formations, dont plus de 30 ont ensuite dirigé leur carrière vers la sécurité de l’IA.
- Enseignement de 4 cours accrédités à l’ENS : deux programmes sur la sécurité de l'IA ; un programme sur la biosécurité ; un programme sur la recherche impliquée.
Conditions de travail
- Horaires : Temps plein.
- Bureaux : Nous utilisons un espace de coworking situé à Arcueil (5 min à pied de l’arrêt Laplace), et qui est à votre disposition du lundi au vendredi, mais sans obligation d'utilisation.
Comment candidater
Pour postuler, merci de remplir ce formulaire avant le 11 août au soir.
Nous évaluerons les candidatures au fur et à mesure. L'étape suivante consistera en un entretien de 30 minutes.
Si vous avez des questions ou des préoccupations, n'hésitez pas à nous contacter à florent@securite-ia.fr
