Meta-analyses of randomized trials in oncology: pros and cons

Catherine Hill; Jean-Pierre Pignon

Une méta-analyse est la synthèse quantitative de l'ensemble des résultats des essais étudiant une même question. Cette synthèse est utile quand le simple examen de l'ensemble des résultats de chaque essai ne permet pas clairement de conclure, ce qui arrive le plus souvent quand les effets du traitement à l'étude sont modestes.

Pour faire une méta-analyse, il faut en principe identifier tous les essais correctement randomisés étudiant la question à laquelle on s'intéresse. On inclut donc tous les essais identifiés, qu'ils aient été publiés ou non, car il faut éliminer les biais de publication qui font que les essais « positifs » sont plus souvent publiés que les autres [1]. Ce travail nécessite une recherche dans les bases bibliographiques aujourd'hui facilement disponibles sur le web, qui ne doit pas être limitée à la littérature anglophone, ce qui est une source de biais répertoriée [2, 3]. La qualité de la recherche des essais dans Medline est facilitée par le travail de la Cochrane Collaboration qui a entrepris d'examiner systématiquement et rétroactivement le contenu d'un très grand nombre de revues afin d'identifier les publications d'essais pour améliorer, voire introduire leur indexation dans Medline en précisant « essai randomisé » dans le type d'étude [4]. Il faut aussi faire des recherches dans les actes des congrès et interroger un maximum d'investigateurs et d'industriels susceptibles de connaître des essais non publiés.

On peut faire une méta-analyse à partir de données résumées, telles qu'on les trouve dans les publications, ou retourner aux données individuelles patient par patient. Cette seconde façon de procéder permet des vérifications approfondies et des corrections. On peut ainsi procéder à une série de vérifications simples sur la comparabilité des groupes constitués par le tirage au sort, sur les dates de tirage au sort qui doivent correspondre plus souvent à des jours travaillés qu'à des jours chômés et sur la cohérence entre les dates de tirage au sort et les numéros dans l'essai [5].
La vérification systématique des données permet des corrections, notamment par réintroduction dans l'analyse de patients exclus à tort ; elle permet donc une analyse en intention de traiter qui évite le biais de sélection des patients traités selon le protocole prévu. On peut aussi prendre en compte le facteur temps dans les données de survie, et mettre ces données à jour.

Une méta-analyse présente les résultats de chacun des essais. Ainsi, chaque investigateur veut voir comment le résultat de son essai s'inscrit dans l'ensemble des résultats. Un investigateur peut aussi, à partir des données présentées, refaire des analyses en supprimant, par exemple, les essais dont les résultats lui sont suspects, les essais faits dans certains pays, etc. Ce type d'analyse post hoc et probablement partisan est cependant fortement déconseillé. Il est en revanche tout à fait licite de soumettre une hypothèse et de suggérer une analyse complémentaire aux gestionnaires de la méta-analyse.

Une méta-analyse permet de répondre à la question « le traitement est-il efficace ? » au moyen d'un unique test statistique. Contrairement à ce que l'on entend souvent, ce test global ne mélange pas les résultats observés chez des patients traités dans des essais différents. Au contraire, il compare les patients à l'intérieur d'un même essai, et fait ensuite une synthèse quantitative de ces comparaisons dans une analyse stratifiée sur chaque essai Le poids accordé à chaque essai dans la synthèse correspond à la quantité d'information apportée par cet essai. Comme pour un essai, il faut s'intéresser à la valeur du p, et non pas seulement chercher à savoir s'il dépasse ou non la valeur magique de 5 %. Des valeurs de p de 4,3 % ou de 5,7 % nous donnent à peu près la même indication sur l'efficacité du traitement. La figure 1 montre les données de la méta-analyse des essais de tamoxifène chez les femmes ayant un cancer du sein opérable d'emblée, pour les essais ayant comparé un traitement prolongé pendant une durée médiane de 5 ans à l'absence de tamoxifène [6]. Ces essais ont réuni plus de 8 300 femmes, dont plus de 2 600 ont rechuté. Le nombre de rechutes observé dans le groupe tamoxifène est inférieur au nombre attendu, et la différence O E = 336,4 est significativement différente de zéro. Pour calculer p, on calcule :

et on regarde dans une table de la loi normale la valeur de p correspondant à cette valeur de z. On trouve p = 0,00001.

Une méta-analyse, comme un essai d'ailleurs, ne fournit pas seulement une valeur de p, mais fournit aussi une estimation de l'efficacité moyenne. Il est en effet essentiel de compléter l'information donnée par la valeur de p, en donnant une estimation de l'efficacité moyenne, avec une évaluation de la précision de cette estimation.
Les statisticiens résument en général par un risque relatif ou une réduction du risque. Le risque relatif est égal à

et vaut donc, pour les données de la figure 1 : exp ( 336,4/616,5) = 0,58. La réduction du risque vaut 1 moins le risque relatif soit : 1 0,58 = 0,42 = 42 %.

La précision de l'estimation de la réduction du risque r est mesurée par son écart type (ET) qui vaut : r/z = 0,42/13,5 = 0,03 = 3 %.

Le résultat d'une méta-analyse ne se limite pas à l'estimation d'un effet moyen accompagné de son degré de signification p. En effet, ayant à grand peine accumulé une grande quantité d'informations, on dispose d'un matériel unique pour étudier d'autres questions. La première de ces questions est celle de l'homogénéité des résultats entre les essais. Pour tester cette hypothèse d'homogénéité, on calcule un khi² dont le nombre de degrés de liberté est égal au nombre d'essais moins un. La figure 2 montre les résultats pour les essais de tamoxifène, regroupés selon la durée du traitement. La figure 1 détaillait les essais correspondant à une durée médiane de 5 ans, en regroupant les résultats de 6 petits essais sous le nom d'essai D. On observe une hétérogénéité significative entre les 55 essais (khi² à 54 degrés de liberté 108,4, p = 0,00002). Il reste alors à essayer d'expliquer cette hétérogénéité.

Pour explorer une hétérogénéité observée entre les essais, on peut regrouper ces essais selon certaines caractéristiques communes et scinder le khi² d'hétérogénéité en deux composantes : un terme mesurant l'hétérogénéité entre les groupes et un terme résiduel mesurant celle-ci à l'intérieur de chaque groupe. La figure 2 donne les résultats du regroupement des essais en fonction de la durée du traitement. On voit que l'hétérogénéité est complètement expliquée par la durée, puisque le khi² d'hétérogénéité à l'intérieur des sous-totaux vaut 60,0 avec 52 degrés de liberté (non significatif). Ce khi² s'obtient en faisant la différence du khi² d'hétérogénéité global (108,4) et du khi² d'hétérogénéité entre durées (48,4). Les degrés de liberté s'obtiennent de même par différence.

Une évaluation de l'homogénéité des résultats entre sous-groupes de patients

La méta-analyse des données individuelles permet d'explorer les variations de l'efficacité du traitement en fonction de diverses caractéristiques des patients comme le sexe et l'âge ou divers facteurs pronostiques : stade, détail de la localisation du cancer, etc. La quantité d'informations importantes rassemblées donne à ces analyses exploratoires une relative stabilité, par rapport à la même exploration de l'homogénéité entre sous-groupes réalisée dans un petit essai. Le test d'homogénéité de l'efficacité du traitement entre n catégories et un test de khi² à n 1 degrés de liberté. Si la caractéristique à étudier correspond à des classes ordonnées comme des classes d'âge, on peut tester l'homogénéité contre une alternative de variation régulière de l'effet en fonction de la caractéristique, ce test de tendance a un seul degré de liberté et est donc plus puissant. La figure 3 présente les résultats de la méta-analyse du tamoxifène en fonction des récepteurs aux œstrogènes. La réduction du risque liée à la prescription de tamoxifène est plus importante chez les femmes dont les tumeurs contiennent des récepteurs aux œstrogènes, et moins importante chez celles dont les tumeurs n'ont pas ou peu de récepteurs aux œstrogènes.

Le risque relatif ou la réduction du risque ne sont pas des indicateurs directement utilisables par les cliniciens. Ils doivent donc être convertis en différence de survie sans rechute. Cette conversion se fait à partir de la survie dans le groupe témoin S_T et du risque relatif RR à l'aide de la relation [7] :

Différence = exp(RR x In S_T) S_T

Ainsi, une réduction du risque de 25 % observée avec le tamoxifène correspondant à un risque relatif de 0,75 se traduit par une différence de survie à 10 ans égale à 10 % chez les patientes N⁺ (de 50 à 60 %), car on a :

10 % = exp [0,7 x In (0,50)] 0,50.

Chez les patients N, dont la survie à 10 ans est d'environ 75 % sans tamoxifène, le gain de survie est d'environ 5 % (de 75 à 80 %) car on a :

5 % = exp [0,75 x In (0,75)] 0,75.

Les méta-analyses les plus intéressantes sont celles qui rassemblent les résultats d'essais portant sur la même question, avec une définition large de la question. Ainsi, le Early Breast Cancer Collaborative Trialists' Group réunit tous les essais de traitement locorégional ou adjuvant dans le cancer du sein opérable d'emblée. De même le groupe de la Méta-Analysis of Chemotherapy in Head and Neck-Cancer (MACH-NC) réunit tous les essais de chimiothérapie dans les cancers ORL non métastatiques [8]. Cette vision large des problèmes permet de faire des comparaisons indirectes qui sont source d'inspiration pour des essais futurs. Ainsi dans la méta-analyse de l'EBCCTG, l'observation d'un effet du tamoxifène plus important dans les essais comparant 5 années de tamoxifène à 0 que dans les essais comparant 2 années à 0 a conduit à des essais comparant directement 2 ans de tamoxifène à 5 ans de tamoxifène.

Les résultats d'une méta-analyse sont ainsi une aide pour la définition des essais ultérieurs. La méta-analyse des essais de chimiothérapie dans les cancers bronchiques non à petites cellules [9] a conduit à plusieurs essais de chimiothérapie adjuvante dont l'International Adjuvant Lung Trial qui a déjà inclus 1 200 à 3 300 patients prévus [10].
Il y a eu, en 1997, toute une discussion dans le New England Journal of Medicine autour d'un article qui comparait les résultats de 12 méta-analyses avec les résultats des 12 grands essais réalisés à la suite de chacune de ces méta-analyses [11]. Les auteurs concluaient que, dans 35 % des cas, les résultats de l'essai n'étaient pas prédits correctement par la méta-analyse réalisée auparavant, ce qu'ils considéraient comme discréditant le principe même des méta-analyses. Cette conclusion a été très critiquée, certaines des méta-analyses citées n'étaient pas exemptes de biais et, plus grave, si on avait pu prédire à coup sûr la réponse de l'essai futur sur la base d'une méta-analyse antérieure, l'essai serait devenu inutile et même non éthique.

La qualité d'une méta-analyse dépend de l'exhaustivité du recensement des essais, se limiter aux essais publiés risque de conduire à un résultat fortement biaisé, car les essais dits positifs sont beaucoup plus facilement publiés que les essais négatifs.

Les limites d'une méta-analyse sont les limites des essais qu'elle rassemble : l'addition d'essais mal conçus ou mal conduits ne peut produire qu'un mauvais résultat.

Si on réduit les résultats d'une méta-analyse à une valeur de p, ou plus encore à la dichotomie significatif/non significatif, on arrive aux mêmes incohérences répertoriées en considérant des méta-analyses successives de la même question que quand on avait la même attitude avec les essais successifs. En effet, au fur et à mesure que les données s'accumulent, les résultats peuvent parfaitement osciller pendant assez longtemps autour de la valeur seuil magique de p = 0,05. Par ailleurs, une méta-analyse, comme un essai, n'a pas pour seul objectif le test de l'efficacité du traitement, l'estimation de l'efficacité moyenne avec son intervalle de confiance est au moins aussi importante [12].

L'efficacité moyenne ne s'applique à aucun patient individuel ; par ailleurs, s'il y a hétérogénéité non expliquée entre essais, cet effet moyen n'est pas vraiment interprétable.

Les tests d'homogénéité sont notoirement peu puissants ; pour cette raison, certains recommandent la prise en compte de l'hétérogénéité entre essais dans l'analyse, en faisant une analyse à effet aléatoire. La description de la méthode statistique à utiliser dépasse l'objectif du présent article [13].

L'analyse de l'hétérogénéité est limitée par l'ignorance des facteurs de variabilité de l'effet du traitement étudié. Si l'efficacité du traitement dépend de caractéristiques non enregistrées qui varient d'un essai à l'autre, la méta-analyse ne pourra que mettre en évidence une hétérogénéité sans pouvoir l'expliquer. Une chimiothérapie pourrait par exemple n'être efficace que dans les centres ayant su résoudre des problèmes de toxicité majeure. Sans information sur la toxicité observée et sur la façon de la traiter, la méta-analyse ne pourra que détecter une hétérogénéité inexplicable.

L'étude de la variabilité de l'effet du traitement entre différents sous-groupes de patients est limitée par la fiabilité et par l'homogénéité de la mesure des caractéristiques définissant les sous-groupes. Ainsi, le dosage des récepteurs hormonaux dans les tumeurs du sein n'est certainement pas fait de la même manière dans tous les essais. Cependant, l'analyse en fonction du dosage est stratifiée sur chaque essai, donc on ne compare que des patientes à l'intérieur d'un même essai.

Le résultat d'une comparaison indirecte, comme la comparaison des durées du tamoxifène dans la figure 2, n'a pas la solidité des résultats d'un essai comparant directement 2 ans à 5 ans de tamoxifène. En effet, il est possible que les populations étudiées dans les essais comparant 2 ans de tamoxifène à l'absence de tamoxifène aient été différentes des populations des essais ayant comparé 5 ans de tamoxifène à l'absence de tamoxifène.

1. Dickersin K, Min YI, Meinert CL. Factors influencing publication of research results. JAMA 1992 ; 267 : 374-8.

2. Egger M, Smith GD. Meta-analysis, bias in location and selection of studies. Br Med J 1998 ; 316 : 61-6.

3. Moher D, Fortin P, Jada AR, Jüni P, Klassen T, Le Lorier J, et al. Completeness of reporting of trials published in languages other than English : implications for conduct and reporting of systematic reviews. Lancet 1996 ; 347 : 363-6.

4. Haugh MC, Boissel JP, Pignon JP, Chalmers I. La collaboration Cochrane : la nécessité d'une collaboration internationale. Thérapie 1996 ; 51 : 253-6.

5. Stewart LA, Clarke MJ. Practical methodology of meta-analysis (overview) using updated individual patient data. Statistics in Medicine 1995 ; 14 : 2057-79.

6. Early breast cancer trialists' collaborative group. Tamoxifen for early breast cancer : an overview of the randomised trials. Lancet 1998 ; 351 : 1451-67.

7. Stewart LA, Parmar MKB. Meta-analysis of the literature or of individual patient data : is there a difference ? Lancet 1993 ; 34: 418-22.

8. Pignon JP, Bourhis J, Domenge C on behalf of the MACH-NC Secretariat. Meta-analysis of chemotherapy in head and neck cancer : individual patient data vs literature data (letter). Br J Cancer 1995 ; 72 : 1062.

9. Stewart LA, Pignon JP and the Non-Small Cell Lung Cancer Collaborative Group. Chemotherapy in non-small cell lung cancer : a meta-analysis using updated individual patient data from 56 randomised clinical trials. Br Med J 1995 ; 311 : 899-909.

10. Le Péchoux C, Cojean I, Arriagada R, Pignon JP, Auquier A, Tarayre M, et al. From the results of the meta-analysis evaluating the role of chemotherapy in non-small cell lung cancer (NSCLC) to the IALT project. ECCO 8, Paris, 1995. Eur J Cancer 1995 ; 31A (suppl. 5) : S221.

11. LeLorier J, Gregoire G, Benhaddad A, Lapierre J, Derderianj F. Discrepancies between meta-analyses and subsequent large randomized, controlled trials. N Engl J Med 1997 ; 337 : 536-42.

12. Gardner MJ, Altman DG. Confidence intervals rather than p-values : estimation rather than hypothesis testing. Br Med J 1986 ; 292 : 746-50.

13. DerSimonian R, Laird N. Meta-analysis in clinical trials. Controlled Clinical Trials 1986 ; 7 : 177-88.

14. Clarke M, Stewart L, Pignon JP, Bijnens L. Individual patient data meta-analyses in cancer. Br J Cancer 1998 ; 77 : 2036-44.