Dans nos vies de tous les jours, nous prenons en permanence des tas de décisions pour résoudre des problèmes immédiats, ou d’autres dont l’horizon est plus lointain. La mécanique évolutive qui explique comment le cerveau pèse le pour et le contre de ces nombreuses décisions quotidiennes ainsi que le rôle de neurotransmetteur que joue la sérotonine demeurent cependant voilés de mystère.
Toutefois, une nouvelle étude menée par une équipe interdisciplinaire de la Faculté de médecine de l’Université d’Ottawa a produit des conclusions fascinantes sur cette question fondamentale, et vient éclaircir un aspect caché de l’action merveilleusement complexe de la sérotonine dans le cerveau, cet organe si énigmatique qu’abrite le crâne.
L’étude, publiée dans la revue Nature, est le fruit d’une collaboration internationale de premier plan. Selon l’une des personnes expertes ayant évalué la recherche, cette dernière a « de vastes implications en neurosciences, en psychologie et en psychiatrie, car elle améliore notre compréhension du rôle de la sérotonine dans la régulation de l’humeur, de l’apprentissage et de la motivation. »
Le travail innovateur de l’équipe fusionne des concepts provenant de la théorie de l’apprentissage par renforcement (utilisée dans les neurosciences pour mieux comprendre l’apprentissage, le comportement et la prise de décision) avec des connaissances récentes et durement acquises sur les propriétés de filtration du noyau dorsal du raphé dans le cerveau. C’est une région du tronc cérébral des mammifères riche en neurones qui sécrètent de la sérotonine.
La sérotonine est souvent présentée comme une « molécule de plaisir ». Bien connus, les antidépresseurs appartenant à la catégorie des inhibiteurs sélectifs de la recapture de la sérotonine (ISRS) ciblent le système sérotoninergique; ils font partie d’une industrie qui vaut plusieurs milliards de dollars. Toutefois, le rôle précis de la sérotonine est confus et ambigu : elle est présente partout, dans la régulation de l’humeur et du mouvement en passant par l’appétit et les cycles veille-sommeil. Son activation autant par la douleur, que par le plaisir et la surprise est depuis longtemps un casse-tête de la recherche sur le cerveau.
Dans la présente étude, l’équipe, dirigée par des scientifiques de l’Université d’Ottawa, a adopté une théorie unificatrice sur la sérotonine, baptisée « code de valeur prospectif », c’est-à-dire un code biologique expliquant la manière dont le cerveau attribue une certaine valeur aux récompenses à venir. Essentiellement, ce code définit les raisons pour lesquelles le cerveau active les neurones producteurs de sérotonine, tant pour répondre à la récompense qu’à la punition, avec une préférence pour les récompenses inattendues.
« Nous nous sommes posé la question suivante : quel message la sérotonine transmet-elle au cerveau? En gros, il correspond à l’anticipation d’une récompense future », précise Richard Naud, auteur principal de l’étude, professeur agrégé au Département de médecine cellulaire et moléculairede la Faculté de médecine, ainsi qu’au Département de physiquede l’Université d’Ottawa.
Jean-Claude Béïque, co-auteur et professeur au Département de médecine cellulaire et moléculaire, résume ainsi les principaux constats de l’étude : « Le cerveau a besoin de calculer la valeur attendue des actions que vous envisagez ou posez lorsque vous interagissez avec le monde, qui change tout le temps. Il doit donc établir la valeur de cette décision par rapport à une autre dans ce contexte donné. C’est un problème difficile. Nous pensons que le rôle de la sérotonine dans le cerveau est, en fait, d’encoder la valeur attendue pour un contexte ou une série d’actions dans le but de guider les décisions du quotidien. »
Les professeurs Béïque et Naud sont tous les deux membres du Centre de neurodynamique et d’intelligence artificielle de l’Institut de recherche sur le cerveau de l’Université d’Ottawa.
L’étincelle qui a tout déclenché
L’idée a germé il y a plusieurs années, à la Faculté de médecine de l’Université d’Ottawa, lorsque le premier auteur, Emerson Harkin, alors étudiant au doctorat dans le laboratoire du professeur Naud, a commencé à simuler des modèles d’apprentissage par renforcement dans son travail sur les propriétés biophysiques des neurones producteurs de sérotonine. M. Harkin, qui a terminé son doctorat à l’Université d’Ottawa à la fin de 2023 et reçu son diplôme en mars 2024, raconte que l’idée de départ est apparue « comme par hasard ou presque ».
Après avoir investi beaucoup de temps et d’effort dans l’étude des propriétés électriques des cellules cérébrales sécrétrices de sérotonine, il a, avec les personnes qui supervisaient ses recherches à la Faculté de médecine, commencé à analyser en profondeur les résultats d’études menées dans d’autres laboratoires pour mesurer l’activité des neurones produisant de la sérotonine chez les animaux soumis à des situations de récompenses et de punitions. Le portrait général était extrêmement curieux, mais selon M. Harkin, c’est à ce moment-là que le réel potentiel de leur approche s’est imposé.
« Personne ne semblait avoir envisagé la possibilité que les neurones qui sécrètent la sérotonine soient activés par les changements dans l’environnement de l’animal, comme un signal indiquant que la récompense arrivera bientôt ou que la punition a pris fin », explique Emerson Harkin, en mentionnant des expériences réalisées sur des modèles de souris. « Lorsque nous avons examiné ces résultats antérieurs à la lumière de nos propres observations, faites à l’aide de microscopes et d’électrodes, une logique est soudain apparue dans des données qui semblaient pourtant déroutantes ou contradictoires. »
Selon Emerson Harkin, qui fait actuellement un postdoctorat en Allemagne à l’Institut Max-Planck de cybernétique biologique, ces résultats prouvent qu’une bonne partie du rôle de la sérotonine est d’envoyer un message au cerveau qui ressemble à ceci : « L’avenir proche est-il positif? Voici la meilleure estimation possible de la situation et la vitesse à laquelle cette même estimation s’améliore. »
Richard Naud, spécialiste en neurosciences computationnelles qui a mis au point les mathématiques complexes de cette théorie, explique que l’idée de départ a beaucoup évolué au cours des dernières années au fur et à mesure que l’équipe interdisciplinaire raffinait son approche grâce à « de nombreuses lectures, discussions et réflexions ».
Les prochaines étapes
Pour la suite des choses, l’équipe de recherche souhaite étudier le rôle de la sérotonine sur le comportement pour tenter de comprendre comment le reste du cerveau traite le message envoyé par le neurotransmetteur. Selon Richard Naud, il sera sans doute utile d’appliquer la théorie de l’apprentissage par renforcement aux cadres de travail.
Fait intéressant, les recherches en neurosciences du professeur Naud ont souvent des répercussions sur les théories de l’apprentissage et de la mémoire, et pourraient orienter les futures avancées de l’intelligence artificielle; selon lui, l’étude qui vient tout juste d’être publiée dans la revue Nature montre à quel point le système nerveux est extraordinaire.
« Dans un sens, j’ai l’impression que nous avons prouvé que le fonctionnement du cerveau diffère de celui des machines. Si nous interférons avec le signal de récompense dans une machine, cela aurait des effets qui ne se produiraient pas dans le cerveau.