Prise en compte de l’effet du hasard

Point essentiel

  • Il faut tenir compte de « l’effet du hasard » en évaluant la confiance que l’on peut accorder à la qualité et à la quantité des preuves disponibles

Introduction:  L’effet du hasard et la loi des grands nombres

Les preuves fiables concernant les effets des traitements reposent sur la prévention des biais (et la gestion de ceux qui n’ont pas pu être évités). Sauf à ce que ces caractéristiques soient respectées pour les essais contrôlés, aucune manipulation des résultats de recherche ne peut permettre de résoudre les problèmes qui demeureront, ainsi que leurs conséquences dangereuses, voire mortelles. Même lorsque les mesures prises pour réduire les biais ont été efficaces, il est encore possible d’être induit en erreur par l’effet du hasard.

Chacun sait qu’en tirant à pile ou face plusieurs fois, il n’est pas rare de tomber cinq fois ou plus sur pile ou sur face à la suite. Chacun sait également que plus on lance une pièce un grand nombre de fois, plus il est probable de tomber sur pile et sur face un nombre identique de fois.

Lorsque l’on compare deux traitements, les différences concernant les résultats peuvent simplement traduire cet effet du hasard. Supposons que 40 % des patients décèdent après le Traitement A, tandis que 60 % de patients semblables décèdent après avoir reçu le Traitement B. Le Tableau 1 montre ce que l’on pourrait attendre si 10 patients recevaient chacun des deux traitements. La différence concernant le nombre de décès entre les deux traitements est exprimée sous la forme d’un « risque relatif ». Le risque relatif, dans cet exemple, est de 0,67.

 

Traitement A Traitement B Risque relatif
Nombre de décès 4 6 (4:6 =) 0.67
Sur (total) 10 10
Tableau 1. Cette petite étude donne-t-elle une estimation fiable de la différence entre le Traitement A et le Traitement B ?

 

Serait-il raisonnable, d’après ces petits nombres, de conclure que le Traitement A a été plus efficace que le Traitement B ? Probablement pas. Le hasard pourrait expliquer pourquoi certaines personnes ont vu leur santé s’améliorer dans un groupe plutôt que dans l’autre. Si la comparaison était répétée dans d’autres petits groupes de patients, les nombres de décès dans chaque groupe pourraient être inversés (6 contre 4) ou être identiques (5 contre 5) ou donner un autre rapport, simplement du fait du hasard.

Que s’attendrait-on à observer si exactement les mêmes proportions de patients dans chaque groupe de traitement (soit 40 % et 60 %) décédaient après avoir administré chacun des traitements à 100 patients (Tableau 2) ? Bien que la différence mesurée (le risque relatif) soit exactement le même (0,67) que dans la comparaison présentée dans le Tableau 1, 40 décès comparés à 60, cela constitue une différence plus impressionnante que 4 comparés à 6 et, par ailleurs, cette différence est moins susceptible d’être le fruit du hasard.

 

Tableau 2. Cette étude de taille modeste donne-t-elle une estimation fiable de la différence entre le Traitement A et le Traitement B ?
Traitement A Traitement B Risque relatif
Nombre de décès 40 60 (40:60 =) 0.67
Sur (total) 100 100

 

Pour éviter d’être induit en erreur par l’effet du hasard en comparant des traitements, il faut donc fonder les conclusions sur l’étude d’un nombre suffisamment important de patients qui décèdent, dont l’état se détériore ou s’améliore, ou encore reste stable. On appelle parfois cela « la loi des grands nombres. »

  • S4BE

    The following review of this resource is written by Gareth Grant, a 3rd year medical student. You can view the comment on the Students 4 Best Evidence website here: http://www.students4bestevidence.net/taking-account-play-chance-testing-treatments/

    Roughly how long did it take you to read/complete?
    3 minutes

    What did you think of the resource? (e.g. was it clear or difficult to understand?)
    It was clear and easy to use as there is audio but also text and tables to follow along.

    Do you feel it improved your understanding?
    Yes, it’s short and concise but addresses the point and summarises the topic without wordy explanations. It features good examples, without getting too technical with numbers.

    What problems did you find with it (if any) / how do you think it could be improved?
    I did have to refresh the page to access the second recording but that may have just been me – related to cookies I think. I think the source itself was good and doesn’t need improvement.

    Overall, what would you score the resource out of 5? (and why?)
    5 – it clearly summarises the role of chance and was easy to understand. Also, it’s good if (like me) you prefer audio/video sources to reading.