Exclusive partnership

Guide entretien semi-directifs

Collaborateur IA / service LLM interne 

(Tout entretiens sera anonymisé et les données sensibles feront l’objet d’un accord de confidentialité avec l’université pour non-diffusion)

(Toutes informations permettant d’identifier l’identité de la personne seront supprimés) à même avec annymisation, les infos partagées ci-dessous ne laissent gère de doute sur l’origine de vos sources. 

THÈME 1 — Contexte et genèse du projet

1. Pouvez-vous présenter (ancienneté, nom du poste et service, missions) et votre niveau d'implication dans le projet de LLM interne ? 

Charles Thurat, responsable IA chez BNPP WM depuis décembre 23 et entré dans le Groupe BNPP depuis 2018.

Dans l’équipe Digital, data & AI du head office BNPP WM ; dirige l’équipe IA métier et supervise la plateforme d’IA générative interne Genix 

1. Dans quel contexte ce projet a-t-il émergé, et quels besoins devait-il initialement répondre ?

Définition d’une stratégie IA maximisant l’usage des données non-structurées peu valorisées à date, et augmentant les employés avec une gamme croissante d’assistants et agents IA génératives pour les assister / augmenter dans les taches du quotidien & principaux process métiers. 

1. Quelles solutions existaient ou étaient envisagées avant le lancement du LLM interne, et pourquoi ont-elles été écartées ?

Pas de solution pré-existante à la plateforme Genix. 

1. Quels critères ont conduit la banque / service à privilégier une solution interne plutôt qu'externe ou hybride ?

La plateforme Genix est une solution hybride, avec un front-end et des capacités d’orchestration / exposition fournies par le partenaire, et une brique de construction de cas d’usage et de fonctions transverses. L’enjeu est de concentrer nos ressources internes sur la création de valeur (production de cas d’usage), et pas sur l’architecture & interface globales. 

THÈME 2 — Architecture technique et dépendances

1. Pouvez-vous décrire de manière générale l'architecture technique sur laquelle repose le LLM interne ? 

Déploiement sur infra IT locale BNPP WM de la plateforme Genix, et consommation de ressources LLM fournies par l’IT Groupe BNPP ; connecteurs vers diverses applications et sources de données WM / Groupe (SharePoint, suite Office, applications clients & produit, etc.)

1. Dans quelle mesure le dispositif dépend-il aujourd'hui de fournisseurs ou technologies externes (modèles fondateurs, infrastructure, matériel) ? 

Tous les modèles fondationnels sont fournis par des sociétés externes, soit en closed source (certains modèles OpenAI) consommés en SaaS, soit en pseudo-open source (Mistral, Meta ; etc), consommés via une offre interne BNPP hébergée localement 
L’infrastructure Groupe repose sur des fournisseurs extérieurs, avec dépendance NVidia sur les GPUs (comme l’intégralité du marché).

1. La banque dispose-t-elle selon vous d'une réelle autonomie technique sur ce dispositif, et dans quelles limites ? 

Il y a une mitigation des risques de fournisseurs de modèles fondationnels par leur diversification, et la mise à disposition de modèles OpenWeight sur l’offre interne LLMaaS et pas 100% propriétaires

1. Comment la protection des données et la souveraineté numérique ont-elles été concrètement intégrées dans l'architecture choisie ? 

Pour tous les usages impliquant des données personnelles, notre gouvernance interne est de se restreindre à des LLMs de l’offre interne LLMaaS uniquement, et de ne pas utiliser l’offre SaaS Azure AI (maitrise des données personnelles qui restent dans notre infra).

THÈME 3 — Gouvernance et conformité

1. Comment la gouvernance autour du LLM interne est-elle organisée aujourd'hui (qui décide des évolutions, qui contrôle les usages, qui est responsable en cas de problème...) ? 

Une gouvernance projet et produit est mise en place, avec un Product Owner priorisant les évolutions techniques de la plateforme, arbitrées dans un steering committee mensuel avec des membres du comex.

Un comité dédié de revue mensuelle pilote la validation des nouveaux cas d’usage, impliquant les différentes fonctions (IT & Sécurité, Business, Data & Data Protection, Légal, Conformité, Risk). 

L’adoption et l’usage sont pilotés par des capacités analytics de la plateforme ; les problèmes techniques de la plateforme sont monitorés et pilotés par notre équipe IT, et les retours utilisateurs sur la qualité des interactions par notre équipe métier.

1. Comment les exigences réglementaires (RGPD, contraintes bancaires, EU AI Act…) ont-elles influencé la conception et le déploiement du dispositif ? 

Implication des équipes Légal, Risk, Conformité et Sécurité dans la gouvernance de validation de la plateforme et des cas d’usage. Chaque cas est évalué vs les critères IA Act, et une gouvernance de risque interne (MRR) ; pour la partie Data protection, le process Groupe d’évaluation standard sur l’usage des données personnelles est en place (Privacy Assessment Questionnaire)

1. Quels mécanismes avez-vous mis en place pour contrôler et auditer les outputs du modèle ? 

Plusieurs couches techniques et organisationnelles : 

Technique : paramétrage des assistants pour minimiser la variabilité des outputs + règles de prompt engineering + check automatique d’hallucination (LLM as Judge) + système de grounding avec citation systématique des sources appuyant une affirmation. 

Organisationnelle : formation des utilisateurs avec e-learning obligatoire monitoré + responsabilité individuelle, visée par une charte utilisateur obligatoire, de vérifier systématiquement les outputs avant utilisation dans la suite de tout process métier.

1. Quels risques restent selon vous insuffisamment maîtrisés malgré le choix d'un LLM interne ? 

Nous n’utilisons pas de LLM (modèle fondationnel) développé 100% en interne, mais utilisons principalement des modèles OpenWeights hébergés dans une infra locale permettant de minimiser les risques de souveraineté et de sécurité.

Les principaux enjeux restants tournent autour de la robustesse / observabilité / explicabilité des outputs (enjeu générique à tous les secteurs), et le besoin de qualité quasi-parfaite sur certains types de cas d’usage en raison du caractère réglementé de l’activité. 

THÈME 4 — Adoption et changement organisationnel

1. Comment le déploiement du LLM auprès des collaborateurs a-t-il été organisé, et quels dispositifs d'accompagnement ont été mis en place ? 

Dispositifs de communications numérique (affichage sur intranet, mails d’information) et physique (événements de présentation / démo) + formations en self-care + formations accompagnées + accompagnement managérial dans l’adoption + récupération de feedbacks

1. Comment percevez-vous le niveau réel d'adoption de l'outil selon les différents métiers ou directions ? 

Adoption croissante sur tous les sites, au fur et à mesure que les collègues se familarisent avec les capacités de la plateforme, et comprennent sa valeur ajoutée + se sentent en capacité de tester / explorer.

1. Quelles sont les principales attentes ou frustrations que les utilisateurs expriment aujourd'hui ? 

Capacité à synchroniser plus de sources de données pour éviter de charger des documents manuellement + plus d’accompagnement pour proposer des templates d’usage type + améliorer performance (rapidité de réponse) 

1. Avez-vous observé des situations où certains collaborateurs utilisent des outils d'IA externes malgré la politique de la banque, et comment percevez-vous ce phénomène ? 

J’en ai connaissance dans le Groupe, mais pas au sein de notre entité. C’est une réaction à la frustration face au décalage entre la diffusion très rapide des usages et des capacités IA dans la sphère personnelle / privée, vs contraintes réglementaires / de sécurisation / gouvernance / robustesse ralentissant le déploiement des solutions en environnement professionnels, ainsi qu’un décalage dans les catalogues de modèles LLMs disponibles (contraintes de cout et sécurité).

THÈME 5 — Soutenabilité et regard critique

1. Quels arbitrages avez-vous dû faire entre sécurité, performance et expérience utilisateur dans le développement de l'outil ? 

La sécurité est toujours arrivée en premier critère, parfois au détriment de la performance. 
La qualité d’expérience utilisateur aide a arbitrer certaines demandes de sécurité excessives au regard du rapport valeur ajoutée / cout

1. Avec le recul, quels sont selon vous les principaux bénéfices mais aussi les principales limites du modèle interne choisi ? 

L’offre de LLM actuelle qui alimente Genix (LLMaaS) est hébergée souverainement, donc permet d’utiliser toutes les typologies de données. Cependant, elle présente des limitations sur la diversité du catalogue de modèles, et leurs performances brutes (les meilleurs modèles sont propriétaires, et non-accessibles sur cette offre).

1. Si la direction devait aujourd'hui réévaluer le choix entre LLM interne et solution externe, quels éléments mettriez-vous en avant ? 

Pour la plateforme Genix, nous remettrions le choix de partenaire en question au regard de l’évolution du paysage concurrentiel.

Pour les offres de LLM alimentant la plateforme, nous peserions sur les orientations de l’IT Groupe pour ouvrir plus l’accès à des modèles et offres propriétaires plus performantes, en SaaS. 

1. Comment envisagez-vous la soutenabilité de ce modèle à un horizon de trois à cinq ans, compte tenu de la vitesse d'évolution des technologies ?

Vision très flexible, en intégrant une modularité maximale dans l’architecture pour pouvoir tester / remplacer des briques au fur et à mesure des avancées de marché.