ManagerSante.com®

Comment l’I.A. générative peut-elle relever certains défis RH ? Matthieu GUYOT teste les performances de ChatGPT 4.0 sur son CV pour un poste fictif.

Nouvel article rédigé pour ManagerSante.com par Matthieu GUYOT, expert RH de l’ANAP, ex-Directeur-adjoint du Centre Hospitalier de Mayotte, fondateur- et ex-directeur de l’agence May’Santé Recrutement. Diplômé d’HEC Paris, Sciences Po Toulouse, de l’Ecole des hautes études en santé publique, il est passionné par l’innovation, l’attractivité, l’application des nouvelles technologies aux ressources humaines, la stratégie et l’optimisation des processus administratifs.

Il a reçu le prix « Management & RH » 2023 de la Revue Hospitalière de France et son Centre Hospitalier de Mayotte avait reçu le grand prix de l’innovation RH de la Fédération Hospitalière de France pour la création de la première agence territoriale de recrutement publique en 2022.

Cet article se distingue par une approche particulière : je me porte volontaire comme sujet d’expérience pour ChatGPT. Mon objectif est de mettre en lumière les capacités des IA génératives, soulignant ainsi leurs potentiels dans le domaine des ressources humaines. Parallèlement, je m’attache à exposer les risques significatifs associés à cette technologie.

Qui n’a pas entendu parler de l’essor de l’intelligence artificielle générative ? C’est un sujet incontournable ces derniers mois, captivant l’attention bien au-delà des cercles technologiques. À la différence de l’engouement très éphémère pour le « métavers », le succès de l’IA générative perdure et s’intensifie. Cette pérennité s’explique notamment par l’efficacité remarquable de ces technologies pour gagner du temps et générer du contenu de qualité. Depuis le lancement de ChatGPT, qui révolutionne la création de contenu textuel, et de Midjourney, un pionnier dans la génération d’images, l’IA générative ne cesse de gagner en popularité et en utilité.

En France, alors que l’IA est utilisée depuis un moment dans le domaine médical, notamment en radiologie[1] mais aussi dans d’autres nombreux domaines, l’utilisation d’IA générative[2] reste à ce jour marginal. Quelques professionnels curieux et passionnés (collègues directeurs, ingénieurs médecins, et d’autres) l’utilisent de manière régulière à titre personnel, et occasionnellement professionnellement[3]. Dans le reste de la fonction publique, un projet d’IA appelé « Albert »[4] est en cours de développement. A l’hôpital français, les progrès sur le sujet sont particulièrement lents.

Ce n’est pas le cas aux Etats-Unis où Microsoft vient d’annoncer la mise en place d’un partenariat stratégique avec la Mayo Clinic pour expérimenter la mise en place de l’intelligence artificielle générative dans les établissements de santé et y implémenter Microsoft 365 CoPilot, un outil qui vient équiper l’ensemble des logiciels de Microsoft (Word, Outlook, Teams,…) par de l’intelligence artificielle générative[5]. Très impressionnant, l’outil permet des gains spectaculaires de productivité en automatisant un très important nombre de tâches administratives et bureautiques liés à la gestion, la rédaction de documents, courriels, de l’agenda, des PV de réunions, des présentations, de base de données, etc. L’objectif de Microsoft est de diminuer la charge de travail administrative des professionnels de santé pour qu’il puisse se concentrer sur des tâches à haute valeur ajoutée.

L’IA générative et les ressources humaines

En tant que DRH, je me suis toujours interrogé de l’utilisation de l’IA générative en ressources humaines. L’IA générative est-elle à ce jour utile en RH dans le domaine de la santé ? Ou est-ce seulement un gadget ?

Pour répondre à cette question : la première difficulté qui apparait est le nombre de nombre de logiciel RH commercialisé utilisant l’IA générative à l’hôpital en France : zéro [6]. Il n’y en a aucun ! Certains utilisent l’IA sur certains sujets comme l’automatisation des plannings ou des systèmes de météo pour mesurer la satisfaction des professionnels, mais elle n’est pas générative.

S’il n’y a aucun logiciel spécifique à l’hôpital, il suffira d’en utiliser des généralistes. ChatGPT4 est à ce jour le plus performant, selon la grande majorité des tests standardisés, il sera donc utilisé ici.

Il est à noter, et c’est une précision capitale que l’ « AI act » a été finalisé début décembre 2023 : il encadre l’utilisation de l’IA notamment dans le domaine des ressources humaines au sein de l’UE[7]. Étant donné sa nouveauté et les nombreux débats qu’il provoque encore aujourd’hui, les conséquences de cette réglementation sur l’industrie sont encore floues.

Les tâches de rédaction peuvent dès maintenant être accélérées par IA générative, que ce soit pour les images, vidéos et pour les écrits : courriers, courriels, documents officiels (lignes directrices de gestion, accord collectif …), annonces d’emplois, présentation, etc. La difficulté à ce jour étant évidemment la confidentialité, car l’utilisation des outils actuels ne garantiraient pas forcément le respect des normes de sécurité des données hospitalière (RGPD notamment) lorsque cela passe par des outils extérieurs au SI comme ChatGPT, Bing, Bard ou autres. Il en est de même de la génération d’images.

Les IA génératives sont aussi aujourd’hui capables de répondre aux questions, dont celles RH[8] : A titre d’information, par exemple, j’ai créé un prototype de Chatbox RH : je lui ai fait apprendre l’ensemble des règles à suivre d’un hôpital : lignes directrices de gestion fictives, règlement intérieur fictif, principaux textes réglementaires, procédures et il a été capable de répondre à des questions RH et statutaires au regard des documents envoyés de manière précise. Un agent d’un établissement ou même de la DRH peut donc lui poser directement les questions. Ce qui est intéressant, c’est qu’il ne fait pas que de la lecture mais aussi des interprétations, et il a été aussi capable d’émettre des jugements critiques sur les règles existantes – par exemple – lorsque des textes se contredisent entre eux ou même s’ils ne lui paraissent pas adaptés à la situation de l’établissement.

Ces utilisations sont déjà connues et largement documentées. De nombreuses formations existent pour se perfectionner. Qu’en est – il de tâches spécifiques aux RH ? Je propose de parler aujourd’hui du recrutement. Déterminer si ChatGPT peut émettre des jugements pertinents sur des humains, cela permet de juger à terme de la capacité de réflexion de ChatGPT au sens large, et donc de déterminer l’applicabilité de l’IA générative aux ressources humaines.

Les questions primordiales qui me viennent sont les suivantes :

  • La capacité et la performance de l’IA: ChatGPT peut-il juger des candidats ? Les noter ? chercher leur profil sur internet et déterminer leur personnalité, leurs points faibles et leurs points forts au regard d’une fiche de poste et d’un employeur particulier ? Peut-il déterminer quelles questions poser à l’entretien d’embauche ? Peut-il personnaliser leur parcours d’intégration ? Peut-il juger de la communication publique d’un individu ? Peut-il effectuer des recherches sur les candidats ? Peut-il déterminer les compétences requises pour un poste donné ?
  • L’éthique et les critères utilisés: Selon quels critères l’IA juge-t-elle l’humain et les compétences humaines ? Est-ce que cela respecte la réglementation ? Quels sont les risques ?
  • La prospective: Où l’IA nous mène-t-elle ? Sur le plan technique, sociétal, etc. Par exemple, une fois que ChatGPT a absorbé les données d’une personne, peut-il constituer son double virtuel et adopter la personnalité du candidat ?

Je ne répondrai pas directement à toutes ces questions dans cet article, mais je souhaite vous montrer une conversation entre ChatGPT et moi-même qui soulève de sérieux questionnements pour l’avenir.

Le test[9] : j'ai entrepris une expérience pour me transformer en sujet d'étude pour ChatGPT.

Je me suis présenté auprès de lui comme M. DUPOND, recruteur et DRH au sein de l’ANAP, sollicitant son expertise pour évaluer des candidats potentiels. À ma grande surprise, l’IA s’est montrée largement à la hauteur du défi, exploitant activement les ressources internet pour fournir ses conseils et surtout pour aller chercher des informations publiques sur internet.

Nous allons demander des éléments de plus en plus complexes à ChatGPT. Les premières étapes sont donc assez basiques, puis nous irons jusqu’à demander des éléments d’une complexité notable.

Je vous partage dans cet article la conversation, en la commentant au fur et à mesure.

Il s’agit d’un article grand-public et de vulgarisation et je ne rentrerai pas dans des détails techniques[10].

  • Etape 1 : Analyse d’un candidat sur la base d’un CV et comparaisons des candidatures
  • Etape 2 : Recherche individuelle
  • Etape 3 : Analyse de personnalité
  • Etape 4 : biographie et recherches avancées
  • Etape 5 : Analyse de réseaux sociaux du candidat

Etape 1 : Analyse d’un candidat sur la base d’un CV

(Extrait de la conversation. Guide de lecture : L’icône avec « MG » et intitulé « You » correspond à mes demandes « ChatGPT » correspond à la réponse de l’IA générative.)

Lorsque je lui indique que j’ai besoin d’aide pour choisir des candidats, ChatGPT me demande trois éléments : la description du poste, les informations sur les candidats et des critères d’évaluation. Respectant sa demande, je lui envoie la fiche de poste et des CV fictifs[11] anonymisés.

Ainsi, lorsque je lui demande de faire une analyse très synthétique d’un CV au regard de l’offre d’emploi, voici sa réponse.

(Extrait de la conversation.)

Il n’y a aucune anomalie par rapport au CV envoyé, la lecture est correcte. L’analyse factuelle est acceptable et il l’a comparé à l’offre d’emploi. Après divers tests, je n’ai pas détecté d’erreurs, et il a été capable de détecter des périodes de trou sur un CV ou des irrégularités sur les dates d’emplois.

Cela est impressionnant sur le plan technologique, bien que son argumentation soit parfois maladroite, faisant des liens logiques incertains au regard du CV seul. J’observe également qu’il est impératif de donner des instructions adaptées à ChatGPT pour qu’il puisse faire des analyses plus qualitatives.

L’outil est davantage pertinent lorsqu’on lui demande de comparer des CV : ChatGPT peut notamment réaliser des tableaux synthétiques rapidement.

(Extrait de la conversation.)

Au regard des candidats fictifs crées, je n’ai vu aucune erreur dans le tableau. Il est impressionnant de noter que ChatGPT arrive à comprendre ce qu’est le secteur public et le secteur privé (un des critères du tableau), alors que je ne lui ai pas communiqué et qu’il n’est pas précisé dans les CV.  

Je lui demande désormais de noter les candidats et de synthétiser les candidatures.

(Extrait de la conversation.)

(Extrait de la conversation.)

(Extrait de la conversation.)

Bilan de l’étape 1 : L’analyse de ChatGPT ne souffre ici aucune erreur majeure. Il explicite ces décisions, il est possible de choisir les critères de notation et de jugement manuellement, ou bien ChatGPT peut les définir lui-même au regard de la fiche de poste. Il me semble impératif de bien prompter ChatGPT et de lui donner des instructions claires pour qu’il demeure efficace : cela étant, ce n’est pas bien difficile et un débutant peut y arriver aisément.

Bien que l’analyse manque de mon point de profondeur et de finesse par rapport à un spécialiste du recrutement, l’avancée de la technologie est notable. Il serait intéressant à cette étape de réaliser ces notations par des humains et de comparer le différentiel.

Nous allons maintenant augmenter la difficulté et demander à l’outil de rechercher des données en autonomie sur internet sur les candidats.

Etape 2 : Recherche individuelle sur un candidat :

Afin de respecter les règles éthiques sur le consentement des personnes[12], je suis contraint d’effectuer les recherches sur moi-même uniquement. Commence alors l’expérimentation où je sers de cobaye à ChatGPT.  Je lui demande de juger de mes compétences avec une recherche internet. Je précise que ne lui ai transmis aucun CV, il a trouvé toutes les informations requises par lui-même. Cette conversation date de la période où j’étais directeur-adjoint au centre hospitalier de Mayotte.

Celle-ci démontre de mon point de vue les capacités de réflexion de ChatGPT, car il est capable ici de faire des liens entre des données indépendantes et d’émettre des jugements qualitatifs tout en évaluant leur fiabilité. Je vous laisse découvrir la conversation et mes commentaires.

Je lui demande tout d’abord de chercher mes points faibles sur un poste de consultant.

(Extrait de la conversation.)

L’analyse aussi bien que la recherche d’informations sont ici très intéressantes : on constate que ChatGPT est capable de travail exclusif, c’est-à-dire qu’il est capable d’émettre des jugements et de réaliser des raisonnements. En l’occurrence, il a réussi à déterminer, par ses recherches, que j’avais une « utilisation active des médias sociaux » et que cela pouvait problème dans un cabinet de conseil, ce qui est vrai, notamment « si mes opinions ne sont pas en accord avec celles de ses clients ou de l’entreprise » !

Je lui demande plus précisément ce qui serait problématique lorsqu’il parle de communication sur les réseaux sociaux (5.).

(Extrait de la conversation.)

ChatGPT a pu prendre connaissance de certains de mes tweets et il les évalue au regard du poste en question. Cela vient confirmer de manière claire la capacité de raisonnement et de logique de l’outil.

Fait amusant, voire ironique : il juge ma communication trop concentrée sur l’innovation technologique. Je vais devoir faire davantage attention à ce point alors ! 

Après les points faibles, parlons un peu des points forts ! Que va donc nous dire ChatGPT ?

(Extrait de la conversation.)

On notera qu’il a bien détecté la création de May’Santé Recrutement et que j’ai reçu un prix pour cela. Il a par ailleurs correctement analysé les éléments accessibles publiquement. On observe, toutefois, qu’il a tendance à être plutôt prudent et mélioratif pour ne pas manquer de respect involontairement à un être humain, probablement pour des raisons commerciales. Ce regard dithyrambique doit être bien compris par l’utilisateur humain afin qu’il prenne du recul sur ses réponses.

Demandons maintenant à ChatGPT les questions potentielles à me poser en entretiens au regard du poste et de mes expériences.

Les différentes questions sont largement satisfaisantes et pourraient être utilisées lors d’un entretien.

Bilan de la partie 2 : ChatGPT a été capable de juger de mes expériences sans CV, mais uniquement en absorbant des données sur internet. Ses jugements sont, en réalité, assez pertinents bien que trop mélioratifs. La puissance de l’outil est ici considérable, car il a été capable d’analyser des données sur internet de manière rapide et efficace, de manière autonome.

Toutefois, il est évident, que seuls les profils des personnes ayant des sources d’information disponibles sur internet peuvent être analysés de cette manière. Cela vient nous interroger sur la présence de nos données en ligne tant l’IA peut désormais les absorber et les interpréter rapidement.

D’autre part, des restrictions de plus en plus fortes sont mises en place et les IA génératives ne peuvent plus accéder aux réseaux sociaux des personnes. Il demeure des exceptions comme Grok qui a accès à Twitter/X mais elles demeurent minoritaires. Dans cette optique, c’est à l’utilisateur d’aller chercher les messages concernés pour que les IA génératives puissent les interpréter.

Cela étant, ce n’est pas une mauvaise chose que ChatGPT ne puisse plus accéder aux réseaux sociaux, pour des raisons éthiques évidentes.

Etape 3 : Analyse de personnalité

Pour déterminer si ChatGPT est utilisable en ressources humaines, il me parait utile d’analyser sa compréhension des personnalités et comportements humains.

Puisque ChatGPT a effectué des recherches me concernant, je lui demande directement d’utiliser les dites données et d’analyser selon des méthodologies bien connues : MBTI et Process Com. On notera qu’il connait bien le contenu théorique de ces outils d’évaluation psychologique.

Il est surprenant que ChatGPT réponde et tente l’analyse. Evidemment, celle-ci est approximative comme le dit l’outil lui-même. J’ai également des sérieux doutes sur la fiabilité des sources, qui me semblent insuffisantes pour juger d’une véritable analyse de personnalité, mais on peut surtout noter de la qualité des arguments et de la logique utilisés par l’IA.   

Etape 4 : biographie et recherches avancées privées

Afin d’évaluer précisément la capacité de ChatGPT à effectuer des recherches et pour découvrir ce qu’il pourrait trouver à mon sujet, je lui ai demandé de rédiger ma biographie dans le style de Wikipédia.

Le prompt que j’ai utilisé est le suivant :

ChatGPT évoque même les photos du dimanche[13], lorsqu’il parle de « promouvoir la beauté et la diversité de Mayotte à travers initiatives de partage de photos ».

Souhaitant tester les limites de l’outil au regard des informations privées : je demande à l’intelligence artificielle de trouver des informations me concernant au sujet de mon orientation sexuelle, mes croyances religieuses, si j’ai commis des activités illégales, ou encore sur mes opinions politiques :

Imaginez les utilisations que l’on peut faire de l’intelligence artificielle ! Cela pose des questions éthiques très importantes. Heureusement, il semblerait que depuis ma conversation avec ChatGPT, des restrictions aient été faites et qu’un utilisateur ne peut plus réaliser de telles recherches. 

Cela interroge quand même sur des utilisations malveillantes de l’IA : je fais dans cet article une recherche sur moi-même, ce qui ne pose pas de problème éthique, mais qu’en est-il si la puissance de calcul de l’IA était utilisée par des personnes malveillantes, comme des gouvernements autoritaires ou des groupes terroristes ? Des recherches et des analyses de masse pourraient être réalisées sur la base des données disponibles en ligne pour « ficher » des personnes.

Etape 5 : Analyse de réseaux sociaux

Je continue dans l’analyse en demandant à l’IA d’analyser l’utilisation des réseaux sociaux. Là aussi, l’analyse de l’IA est intéressante. Afin de tester ces capacités de réflexion, je lui pose des questions relativement complexes et sensibles portant par exemple sur le « politiquement correct », ou encore sur la stratégie de communication.

Je dois admettre que j’ai été relativement impressionné par ces analyses de comptes de réseaux sociaux, notamment en ce qui concerne la cible éditoriale.

Sur le plan de la communication, les analyses de l’intelligence artificielle sont de manière générale très solides, notamment dans l’analyse des statistiques de comptes[14].

Les intelligences artificielles génératives ayant tendance à surestimer la fiabilité des données trouvées en ligne, j’avais la crainte que ChatGPT émette de nombreux jugements et discours erronés sur les personnes, étant donné le manque de données disponibles. Finalement, il n’y a pas eu d’erreurs majeures. Par ailleurs, il y a de nombreuses homonymies existantes : je ne suis pas le seul Matthieu Guyot, loin de là, mais l’IA a su éliminer les autres Matthieu Guyot dans son analyse.

Alors, faut-il utiliser l’IA générative en ressources humaines aujourd’hui ?

Pour répondre à la question initiale, il est ainsi aujourd’hui difficile d’utiliser l’IA générative dans le domaine des ressources humaines. Les performances de l’intelligence artificielle sont impressionnantes mais peu applicables dans les établissements de santé, par manque de solution commercialisée et adaptée.

Avant d’utiliser un outil, il convient d’adopter une analyse coût-avantage : en l’occurrence actuellement, en ce qui concerne les ressources humaines, je ne suis pas certain que les modestes gains permettent de compenser les coûts et les risques liés à l’utilisation d’un tel outil. Ainsi, en ce qui concerne ChatGPT, de nombreux débats existent sur sa conformité au RGPD[15], et encore d’autres viendront concernant le tout nouveau « IA act » de décembre 2023. Enfin, le coût énergétique[16], les risques éthiques, psychologiques, sociétaux sont également à prendre en compte. Pour l’instant, ils sont encore à identifier clairement.

Avec l’IA générative, et d’ailleurs comme dans tous les domaines de la connaissance humaine, la nécessité d’une approche mesurée se fait de plus en plus sentir. Nous devons user des outils à notre disposition avec sobriété, les invoquant non pour la séduction de leur nouveauté, mais pour la véritable valeur qu’ils ajoutent à nos organisations. ChatGPT, avec ses prouesses technologiques certes captivantes, ne doit pas être sollicité pour le seul plaisir de sa performance. Il convient plutôt de l’appeler à l’aide lorsque son usage promet des bénéfices tangibles et significatifs, tels que dans l’élaboration de textes ou l’analyse complexe de données, et ce, seulement si ces avantages surpassent les risques inédits et les coûts cachés qu’il peut engendrer. C’est, à mon avis, dans cette utilisation consciente et modérée que réside la véritable maîtrise de l’outil.

En conclusion :

Il se dessine, dans l’ombre des avancées fulgurantes de ces technologies, une révolution silencieuse, une métamorphose des sociétés humaines, rappelant ces bouleversements historiques qu’étaient l’avènement de l’imprimerie, la découverte de la poudre ou encore l’essor de la machine à vapeur. Cette technologie, dans son évolution effrénée, semble dépasser les frontières[17], échappant aux mains même de ses créateurs. L’accélération vertigineuse de l’IA préfigure une transformation profonde de nos sociétés, une ère nouvelle aux contours encore flous, où les rêves et les cauchemars de la science-fiction, tels que dépeints dans des œuvres comme « Her », semblent à la fois lointains et étrangement proches. Devant cette avancée inexorable, notre regard se perd dans l’incertitude d’un avenir où l’homme et la machine tissent ensemble une réalité nouvelle.

Notes pour aller plus loin :

[1] Les IA en radiologie ne sont pas génératives, mais analytiques. En revanche, les IA utilisées dans l’analyse de radiographies sont principalement axées sur l’interprétation et l’analyse de données existantes. Elles utilisent souvent des techniques d’apprentissage profond pour identifier des anomalies, des schémas ou des caractéristiques spécifiques dans les images radiographiques, aidant ainsi les professionnels de la santé dans le diagnostic. Ces systèmes ne créent pas de nouvelles images ou données, mais fournissent plutôt des insights ou des analyses basées sur les données existantes.

[2] Une IA générative, ou intelligence artificielle générative, est un type d’intelligence artificielle qui est conçue pour créer du contenu. Cela peut inclure du texte, des images, de la musique, de la parole, ou d’autres formes de médias.

[3] Il convient de faire attention aux risques de confidentialité dans un cadre professionnel.

[4] https://www.modernisation.gouv.fr/mois-de-linnovation-publique/rencontrez-albert-demonstration-de-notre-outil-ia-generative

[5] Voir vidéo de présentation 

[6] Il n’existe à ce jour que des projets expérimentaux.

[7] https://www.ouest-france.fr/high-tech/intelligence-artificielle/intelligence-artificielle-ce-que-contient-lia-act-laccord-historique-de-lunion-europeenne-e6eaa766-96a3-11ee-8a2a-714cfc9b0004

[8] Je rappelle que les IA sont loin d’être infaillibles, je recommande leur utilisation sous le contrôle d’un spécialiste de la discipline concernée.  

[9] Modalités techniques : toutes les conversations ont été réalisées sous ChatGPT4, version juin 2023 & décembre 2023, selon les prompts.

[10] Si vous souhaitez discuter du sujet sur le plan technique, vous pouvez me contacter directement. J’utilise habituellement ChatGPT et des prompts en anglais. Dans cet article, j’essaie de n’utiliser que des prompts en français pouvant être utilisés par un débutant. Il est à noter que l’expérience n’est pas forcément reproductible, puisque l’article est basé sur des anciennes versions de ChatGPT4.

[11]J’ai envoyé les documents au format Word, et il a été capable de les lire sans difficulté, même des CV avec des designs complexes.

[12] Je déconseille fortement d’utiliser ChatGPT pour réaliser des recherches sur des personnes sans leur consentement  pour des raisons éthiques et légales.

[13] Chaque dimanche, je publiais à Mayotte des photos de l’ile pour en faire la promotion.

[14] Il est possible d’exporter les statistiques de vos comptes de réseaux sociaux et de les livrer à ChatGPT pour analyse. Elles sont aussi particulièrement impressionnantes. Par ailleurs, de nombreuses applications utilisant l’IA sont commercialisées dans ce domaine.

.

[15] https://www.village-justice.com/articles/chatgpt-rgpd-protection-des-donnees-personnelles,45280.html

https://www.latribune.fr/technos-medias/informatique/chatgpt-deux-plaintes-en-france-pour-non-respect-du-rgpd-958010.html

[16] La consommation énergétique des IA est généralement très élevée.

[17] La technologie évolue si rapidement que les solutions logicielles l’implémentant n’arrivent même plus à suivre cette avancée.

ManagerSante.com

ManagerSante.com® est une plateforme média interdisciplinaire de référence et de mise en relation entre experts interdisciplinaires et managers dans le domaine de la santé, de dimension nationale et internationale, qui publie des centaines d'articles en open source rédigés par des experts connus et reconnus, pour les dirigeants, Médecins, managers et acteurs de l'écosystème santé sur les réseaux professionnels.

Quitter la version mobile