DÉPISTAGE du CANCER du SEIN : Quelle pertinence de ChatGPT ?

L’étude a consisté à poser 25 questions portant sur le dépistage du cancer du sein à ChatGPT. Chaque question a été posée à ChatGPT 3 fois afin de vérifier aussi la concordance des réponses générées, car le chatbot est connu pour faire varier sa réponse à chaque fois qu'une question est posée. L’équipe constituée de 3 radiologues formés en mammographie a évalué les réponses. Cette analyse conclut que :

• les réponses sont « appropriées » pour 22 des 25 questions ;

• une des réponses apportées était basée sur des données obsolètes : ainsi le Chatbot a donné le conseil de retarder une mammographie de 3 à 6 semaines après un vaccin COVID-19, ce qui n’est pas en ligne avec les directives actuelles, qui ne recommandent pas d'attendre ;
• 2 questions ont reçu des réponses incohérentes et pour ces questions, les réponses du chatbot variaient considérablement (chaque fois que la même question était posée).

Dans cette étude et sur ce sujet,

• ChatGPT répond correctement aux questions environ 88 % du temps
• ChatGPT a répondu correctement aux questions sur les symptômes du cancer du sein, sur qui est à risque et aux questions portant sur le coût, la plage d’âge et la fréquence des mammographies.

« Ce qui est assez étonnant », commente l’un des auteurs, le Dr Paul Yi, professeur de radiologie diagnostique et de médecine nucléaire et directeur du centre d'imagerie médicale intelligente de l'UM.  « Le chatbot a également l'avantage de résumer les informations sous une forme facilement assimilable pour que les utilisateurs les comprennent facilement ».

Moins complet que Google ? Les chercheurs concluent en effet que ChatGPT est moins complet dans ses réponses qu’une recherche Google : « ChatGPT n'a fourni qu'un seul ensemble de recommandations sur le dépistage du cancer du sein, émises par l'American Cancer Society, mais n'a pas mentionné les autres recommandations émises par les Centers for Disease Control and Prevention (CDC) ou le US Preventative Services Task Force (USPSTF) », précise ainsi l'auteur principal, le Dr Hana Haver, radiologue à l’UM.

Des réponses parfois « fictives » : ChatGPT invente parfois de faux articles de journaux ou de faux consortiums de santé pour étayer ses affirmations. Ce qui engage les usagers de santé à bien vérifier ces données avec leur médecin traitant.

L’analyse se poursuit sur la thématique du dépistage du cancer du poumon avec pour objectif à terme de participer à l’amélioration des recommandations apportées par ChatGPT afin qu'elles soient plus précises et plus complètes et toujours compréhensibles pour les personnes ayant un plus faible niveau d’études.