Mois : septembre 2021

« It is necessary, while formulating the problems of which in our further advance we are to find solutions, to call into council the views of those of our predecessors who have declared an opinion on the subject, in order that we may profit by whatever is sound in their suggestions and avoid their errors. »

Aristote, De anima, Livre 1, Chapitre 2

Les revues systématiques de la littérature et les méta-analyses constituent des outils indispensables à la synthèse des connaissances actuelles et à l’éclosion de nouvelles connaissances scientifiques. Leur utilisation dans l’industrie pharmaceutique est variée et est appelée à encore se diversifier. Cependant,  elles sont particulièrement limités par le manque de scalabilité de leurs méthodologies actuelles, extrêmement consommatrices en temps humain et aux coûts prohibitifs. A l’heure à laquelle les articles scientifiques sont disponibles au format numérique et à laquelle les algorithmes de Natural Language Processing permettent d’automatiser la lecture de textes, ne devrions-nous pas inventer des méta-analyses 2.0 ? Des méta-analyses boostées par l’intelligence artificielle, plus rapides et moins coûteuses, permettant d’exploiter davantage de données, d’une manière plus qualitative et à des fins différentes, constituent-elles un objectif atteignable à court terme ou un rêve irréaliste ?

La méta-analyse : méthodes et présentation

Une méta-analyse est basiquement une analyse statistique qui combine les résultats de nombreuses études. La méta-analyse, lorsqu’elle est bien réalisée constitue le gold-standard de la génération de preuves scientifiques et cliniques, en effet, l’agrégation d’échantillons et d’informations permet d’obtenir une puissance statistique importante. Cependant la manière dont est réalisée la méta-analyse peut affecter très profondément les résultats obtenus.

La réalisation d’une méta-analyse suit par conséquent une méthodologie très précise composée de différentes étapes :

• Dans un premier temps, un protocole de recherche sera mis en place afin de déterminer quelle est la question à laquelle l’étude doit répondre, quels sont les critères d’inclusion et d’exclusion des articles que nous allons retenir. C’est également à ce stade du projet que l’algorithme de recherche est déterminé et testé.
• Dans un second temps, la recherche est effectuée à proprement parler à l’aide de l’algorithme de recherche sur des bases de données d’articles. Les résultats sont exportés.
• Les articles sont sélectionnés à partir des titres et des abstracts. Les raisons de l’exclusion d’un article sont mentionnées et seront comptabilisées dans le rapport final de la méta-analyse.
• La validité des études sélectionnées est ensuite évaluée sur la base des caractéristiques des sujets, du diagnostic ainsi que du traitement.
• Les différents biais sont contrôlés de manière à éviter les biais de sélection, d’extraction des données ainsi que les biais liés aux conflits d’intérêt et aux sources de financement.
• Un test d’homogénéité sera réalisé afin de s’assurer que la variable évaluée est la même pour chaque étude. Il faudra également vérifier que les caractéristiques de collecte des données des études cliniques sont similaires
• Une analyse statistique ainsi qu’une analyse de sensibilité sont menées.
• Enfin, les résultats sont présentés dans une perspective quantitative et/ou qualitative dans le cadre d’un rapport de méta-analyse, d’une publication. Les conclusions sont discutées.

La revue systématique de la littérature (SLR), à l’inverse de la méta-analyse, dont elle partage un certain nombre d’étapes méthodologiques, n’a quant à elle pas de dimension quantitative mais a uniquement pour objet d’organiser et de décrire précisément un champ de la connaissance.

Le problème de scalabilité d’un outil puissant

Le problème de scalabilité est simple à mettre en équation et ne fera que s’empirer au fil du temps : l’augmentation du volume des données générées par des essais cliniques à traiter dans les revues de littérature est exponentielle alors que les méthodes utilisées pour l’extraction et le traitement de ces données n’ont que peu évolué et restent essentiellement manuelles. Les limites intellectuelles de l’homme sont ce qu’elles sont et l’humain ne peut se disrupter lui-même.

Ainsi qu’évoqué rapidement en introduction de cet article, les réalisations de méta-analyses sont relativement coûteuses en temps humain. On estime ainsi que 1000 heures de travail humain hautement qualifié sont nécessaires au minimum pour une simple revue de la littérature et que 67 semaines sont nécessaires entre le début du travail et sa publication. Ainsi les méta-analyses sont des outils ayant une inertie importante et dont la temporalité n’est à l’heure actuelle pas adaptée à certaines utilisations, comme la prise de décision stratégique qui nécessite parfois de disposer de certaines données rapidement. Des publications illustrent la réalisation de revues de la littérature complètes en 2 semaines et 60 heures de travail à l’aide d’outils d’automatisation utilisant l’intelligence artificielle.

« Le temps, c’est de l’argent » dit-on. Des universitaires ont ainsi calculé qu’en moyenne chaque méta-analyse coûte environ 141 000 dollars. Cette équipe a également déterminé que les 10 plus grandes entreprises pharmaceutiques dépensaient chacune environ 19 millions de dollars par an en méta-analyses. Même si ces sommes ne paraissent pas très importantes rapportées aux diverses autres dépenses de générations de preuves cliniques, elles ne sont tout de même pas négligeables et l’on peut envisager qu’un coût plus faible pourrait permettre la réalisation de davantage de méta-analyses ce qui permettrait notamment d’explorer la possibilité de réaliser des méta-analyses des données pré-cliniques et de potentiellement réduire le taux d’échec des essais cliniques – actuellement 90% des composés entrant en étude clinique échouent à démontrer une efficacité et une sécurité suffisantes pour atteindre la commercialisation.

Réduire la problématique de scalabilité de la méthodologie des revues de la littérature et des méta-analyses permettrait de travailler davantage et plus facilement avec des données issues d’essais pré-cliniques. Ces données présentent un certain nombre de spécificités qui complexifient leur utilisation dans le cadre des revues systématiques de littérature et des méta-analyses : les volumes de données sont extrêmement importants et évoluent particulièrement rapidement, les designs des études pré-cliniques ainsi que la forme des rapports et articles sont très variables et rendent les analyses ainsi que l’évaluation de la qualité des études particulièrement complexes. Cependant les revues systématiques de la littérature et autres méta-analyses portant sur les données pré-cliniques ont différentes utilisations : elles permettent d’identifier des trous dans les connaissances et d’orienter des recherches futures, d’informer le choix d’un design d’étude, d’un modèle, d’un critère de jugement ou encore la pertinence ou pas de démarrer un essai clinique. Différentes méthodologies d’exploitation des données précliniques ont été mises au point par des groupes universitaires et chacune d’elles s’appuie très largement sur des techniques d’automatisation faisant intervenir le text-mining et de manière générale l’intelligence artificielle.

L’un des autres problèmes récurrents des méta-analyses est qu’elles sont réalisées à un instant T et qu’elles peuvent devenir très rapidement obsolètes après leur publication, lorsque de nouvelles données ont été publiées et de nouveaux essais cliniques achevés. Autant de temps et d’énergie dépensés pour, dans certains cas après seulement quelques mois ou quelques semaines, présenter des conclusions imprécises ou partiellement fausses. Nous pouvons imaginer que la réalisation automatisée de méta-analyses permettrait de mettre à jour en temps réel leurs résultats.

Enfin, nous pouvons penser que cette automatisation permettrait également de contribuer à une évaluation davantage uniformisée de la qualité des études cliniques inclues dans les analyses. En effet, de nombreuses publications démontrent le fait que la qualité des études sélectionnées, ainsi que les biais qui peuvent les affecter, sont rarement évalués et que lorsqu’ils le sont, cela se fait selon des scores variés prenant peu de paramètres en compte – à titre d’exemple, la Jadad Score ne tient compte que de 3 caractéristiques méthodologiques – et cela est bien normal : le recueil des informations, même lorsqu’elles sont peu nombreuses, nécessite des efforts supplémentaires d’extraction et de traitement de données.

Les problèmes de scalabilité ainsi posés, quelles sont les solutions existantes ou envisageables ?

De nombreux outils déjà développés

L’automatisation des différentes étapes des méta-analyses est un champ de recherche de nombreux groupes universitaires et quelques outils ont été développés. Sans faire aucunement offense à ces outils, dont nous allons citer quelques exemples ci-dessous, il est permis de s’interroger sur les raisons pour lesquelles ils ne sont pas davantage utilisés actuellement. Le marché n’est-il pas assez mature ? Les outils, très fragmentés dans leur proposition de valeur, ne conviennent-ils pas à la réalisation complète d’une méta-analyse ? Ces outils, développés par des laboratoires de recherche, bénéficient-ils d’un marketing suffisant ? D’interfaces suffisamment user-friendly ?

Ainsi que mentionné plus haut, la plupart des outils et prototypes développés se focalisent sur une tâche bien précise de la méthodologie de la méta-analyse. Ainsi, nous pouvons mentionner par exemple Abstrackr spécialisé dans le screening des articles, ExaCT se focalisant quant à lui sur l’extraction des données ou encore RobotReviewer destiné à l’évaluation automatique des biais dans les rapports des essais cliniques contrôlés et randomisés.

Conclusion : une amélioration par l’automatisation ?

Lorsque nous tenons compte du champ d’exploration académique bourgeonnant concernant les méta-analyses automatisées ainsi que les différentes initiatives entrepreneuriales concernant ce domaine (nous pouvons notamment mentionner la toute jeune start-up : Silvi.ai), nous ne pouvons qu’acquérir la forte conviction que de plus en plus, la méta-analyse deviendra une tâche dédiée aux robots et que le rôle des humains se circonscrira à définir le protocole de recherche, en étant assisté par un logiciel nous permettant de faire les meilleurs choix possibles en termes de scope et d’algorithmes de recherche. Ainsi, en dehors des économies directes que permettra l’automatisation des méta-analyses, de nombreuses économies indirectes seront à prendre en compte, et notamment celles qui seront permises par les meilleures décisions qui seront prises, de débuter ou pas un essai clinique par exemple. Au total, l’automatisation des méta-analyses prendra part à l’invention de médicaments plus efficiente et plus rapide.

Resolving Pharma, dont le projet est de lier réflexion et action, s’investira dans les mois à venir dans l’élaboration concrète de solutions d’automatisation des méta-analyses.

Vous souhaitez discuter du sujet ? Vous souhaitez prendre part à la rédaction d’articles de la Newsletter ? Vous souhaitez participer à un projet entrepreneurial relatif à la PharmaTech ?

Contactez-nous à l’adresse hello@resolving-pharma.com ! Rejoignez notre groupe LinkedIn !

Pour aller plus loin :

• Marshall, I.J., Wallace, B.C. Toward systematic review automation: a practical guide to using machine learning tools in research synthesis. Syst Rev 8, 163 (2019). https://doi.org/10.1186/s13643-019-1074-9
• Clark J, Glasziou P, Del Mar C, Bannach-Brown A, Stehlik P, Scott AM. A full systematic review was completed in 2 weeks using automation tools: a case study. J Clin Epidemiol. 2020 May;121:81-90. doi: 10.1016/j.jclinepi.2020.01.008. Epub 2020 Jan 28. PMID: 32004673.
• Beller, E., Clark, J., Tsafnat, G. et al. Making progress with the automation of systematic reviews: principles of the International Collaboration for the Automation of Systematic Reviews (ICASR). Syst Rev 7, 77 (2018). https://doi.org/10.1186/s13643-018-0740-7
• Lise Gauthier, L’élaboration d’une méta-analyse : un processus complexe ! ; Pharmactuel, Vol.35 NO5. (2002) ; https://pharmactuel.com/index.php/pharmactuel/article/view/431
• Nadia Soliman, Andrew S.C. Rice, Jan Vollert ; A practical guide to preclinical systematic review and meta-analysis; Pain September 2020, volume 161, Number 9, http://dx.doi.org/10.1097/j.pain.0000000000001974
• Matthew Michelson, Katja Reuter, The significant cost of systematic reviews and meta-analyses: A call for greater involvement of machine learning to assess the promise of clinical trials, Contemporary Clinical Trials Communications, Volume 16, 2019, 100443, ISSN 2451-8654, https://doi.org/10.1016/j.conctc.2019.100443
• Vance W. Berger, Sunny Y. Alperson, A general framework for the evaluation of clinical trial quality; Rev Recent Clin Trials. 2009 May ; 4(2): 79–88.
• Une start-up spécialisée dans les méta-analyses augmentées par l’Intelligence Artificielle : https://www.silvi.ai/
• Et enfin, la bible absolue de la méta-analyse : The handbook of research synthesis and meta-analysis, dirigé par Harris Cooper, Larry V. Hedges et Jefferey C. Valentine