Le Dr Isaac Kohane, qui est à la fois informaticien à Harvard et médecin, s’est associé à deux collègues pour tester GPT-4, avec un objectif principal : voir comment le dernier modèle d’intelligence artificielle d’OpenAI fonctionnait dans un cadre médical.
« Je suis stupéfait de dire : mieux que de nombreux médecins que j’ai observés », déclare-t-il dans le livre à paraître, « The AI Revolution in Medicine », co-écrit par la journaliste indépendante Carey Goldberg et le vice-président de la recherche de Microsoft, Peter Lee. . (Les auteurs disent que ni Microsoft ni OpenAI n’ont exigé de supervision éditoriale du livre, bien que Microsoft ait investi des milliards de dollars dans le développement des technologies d’OpenAI.)
Dans le livre, Kohane dit que GPT-4, qui a été publié en mars 2023 pour les abonnés payants, répond correctement aux questions de licence d’examen médical américain plus de 90% du temps. C’est un testeur bien meilleur que les précédents modèles ChatGPT AI, GPT-3 et -3.5, et meilleur que certains médecins agréés également.
Cependant, GPT-4 n’est pas seulement un bon testeur et un chercheur de faits. C’est aussi un excellent traducteur. Dans le livre, il est capable de traduire les informations de sortie d’un patient qui parle portugais et de distiller un jargon technique bancal en quelque chose que les élèves de 6e année pourraient facilement lire.
Comme l’expliquent les auteurs à l’aide d’exemples frappants, le GPT-4 peut également donner aux médecins des suggestions utiles sur la manière de s’y rendre, en offrant des conseils sur la façon de parler aux patients de leur état dans un langage compatissant et clair, et il peut lire de longs rapports ou études et les résumer dans un clin d’oeil. La technologie peut même expliquer son raisonnement à travers des problèmes d’une manière qui nécessite une certaine mesure de ce qui ressemble à une intelligence de type humain.
Mais si vous demandez à GPT-4 comment il fait tout cela, il vous dira probablement que toute son intelligence est toujours « limitée à des modèles dans les données et n’implique pas une véritable compréhension ou intentionnalité ». C’est ce que GPT-4 a dit aux auteurs du livre, lorsqu’ils lui ont demandé s’il pouvait réellement s’engager dans un raisonnement causal. Même avec de telles limitations, comme Kohane l’a découvert dans le livre, le GPT-4 peut imiter la façon dont les médecins diagnostiquent les conditions avec un succès étonnant, bien qu’imparfait.
Comment GPT-4 peut diagnostiquer comme un médecin
Kohane passe par une expérience de pensée clinique avec GPT-4 dans le livre, basée sur un cas réel impliquant un nouveau-né qu’il a traité plusieurs années plus tôt. Donnant au bot quelques détails clés sur le bébé qu’il a recueillis lors d’un examen physique, ainsi que des informations provenant d’une échographie et des niveaux d’hormones, la machine a pu diagnostiquer correctement une condition de 1 sur 100 000 appelée hyperplasie congénitale des surrénales « tout comme je le ferais , avec toutes mes années d’études et d’expérience », a écrit Kohane.
Le médecin était à la fois impressionné et horrifié.
« D’une part, j’avais une conversation médicale sophistiquée avec un processus informatique », a-t-il écrit, « d’autre part, tout comme l’époustouflant était la réalisation anxieuse que des millions de familles auraient bientôt accès à cette impressionnante expertise médicale, et je n’arrivais pas à comprendre comment nous pourrions garantir ou certifier que les conseils du GPT-4 seraient sûrs ou efficaces. »
GPT-4 n’est pas toujours correct – et il n’a pas de boussole éthique
GPT-4 n’est pas toujours fiable et le livre est rempli d’exemples de ses erreurs. Elles vont de simples erreurs d’écriture, comme une déclaration erronée d’un IMC que le bot avait correctement calculé quelques instants plus tôt, à des erreurs mathématiques comme la « résolution » inexacte d’un puzzle Sudoku, ou l’oubli d’un terme au carré dans une équation. Les erreurs sont souvent subtiles et le système a tendance à affirmer qu’il a raison, même lorsqu’il est contesté. Il n’est pas exagéré d’imaginer comment un nombre mal placé ou un poids mal calculé pourrait entraîner de graves erreurs de prescription ou de diagnostic.
Comme les GPT précédents, GPT-4 peut également « halluciner » – l’euphémisme technique pour quand l’IA invente des réponses ou désobéit aux demandes.
Interrogé à ce sujet par les auteurs du livre, GPT-4 a déclaré: « Je n’ai pas l’intention de tromper ou d’induire en erreur qui que ce soit, mais je fais parfois des erreurs ou des hypothèses basées sur des données incomplètes ou inexactes. Je n’ai pas non plus le jugement clinique ou la responsabilité éthique d’un médecin ou d’une infirmière humaine. »
Source: www.insider.com