When and how should we cluster and cross over: methodological and ethical issues Translated title: Quand et comment devons-nous utiliser les clusters et crossover : problèmes méthodologiques et éthiques

Abstract

Spence et al. describe the need for more randomized controlled trials to provide rigorous evidence of the real-world effectiveness of treatments and treatment strategies in anesthesia practice. This call is supported by evidence citing a large degree of individual practice variability among cardiac anesthesiologists regarding benzodiazepine use within the standard of care.1 They describe the cluster randomized crossover design as ideal for this purpose. In the proposed approach, they “seek to evaluate the impact of two different approaches to cardiac anesthesia, one where nearly all patients receive intraoperative benzodiazepines unless there are contraindications (routine benzodiazepine arm), and the other where nearly all patients receive no intraoperative benzodiazepines unless there are contraindications (benzodiazepine restricted arm)…during 12, four-week crossover periods”.1 The interventions are implemented as policies such that all eligible patients in the hospital during each period receive the allocated interventions by default without any patient recruitment or consent. While we do not dispute the need for rigorous evidence to inform policy and practice, we have concerns regarding the methodological and ethical issues raised in trials such as the B-Free trial. Methodological issues The authors make two claims in their arguments for this approach. First, they contend that individual randomization may be onerous, costly, and have limited external validity, while cluster randomization is the preferred method to evaluate questions of effectiveness because of their enhanced external validity and lower costs. Nevertheless, we suggest that individual (not cluster) randomization is the gold standard study design to evaluate questions of both efficacy and effectiveness. We further suggest the authors confuse the choice between individual and cluster randomization with the choice between an explanatory and pragmatic trial design. Differences between explanatory and pragmatic aims in trials were first highlighted in 1967.2 Investigators striving to generate real-world evidence of effectiveness in a cost-efficient manner need to make deliberate design choices to support their aims, regardless of the unit of randomization. The PRECIS-2 framework identifies nine domains in which investigators can make deliberate design choices to improve the external validity and applicability of their trials.3 For example, they can use liberal rather than restrictive eligibility criteria; they can include a full range of practitioners and settings encountered in the real world; they can limit the extent to which compliance is monitored and enforced; they can use simplified recruitment and consent procedures; and they can limit the intensity of follow-up and data collection. While cluster randomized trials can be designed to address questions of both efficacy and effectiveness, they often include only a small number of clusters that can severely limit their external validity, increase the risk of type I error, and lead to various forms of bias.4 Just as cluster randomization is not the key to designing a more pragmatic trial, it is also not the key to conducting more cost-efficient trials: cluster randomized trials require larger sample sizes than individually randomized trials, but may appear cost-efficient when cluster randomization is mistakenly used to avoid seeking informed consent. Second, the authors argue that the B-Free trial “is a situation in which an individually randomized clinical trial is impractical”1 and that the interventions evaluated within cluster crossover trials must necessarily be applied at the cluster level. We agree that cluster randomization is sometimes the only feasible design choice, but this applies only when interventions are not divisible at the individual level (e.g., mass media advertising campaign, waiting room posters, water fluoridation treatment, reorganization of services). When study interventions are administered directly to individuals (e.g., a drug, behavioural therapy, treatment strategy) individual randomization is possible, even if it is inconvenient for researchers. The CONSORT extension to cluster randomized trials,5 the MRC framework for complex interventions,6 and the Ottawa Statement for the Ethical Design and Conduct of Cluster Randomized Trials 7 all recommend that cluster randomization be avoided unless there is a clear justification for its use. First, cluster randomization is an inefficient study design: due to the presence of intracluster correlation, cluster randomization must necessarily expose a larger number of individuals to the trial compared with individual randomization. Second, cluster randomization is subject to multiple risks of bias not all of which are addressed by the use of a crossover design. For example, providers’ strong preferences and awareness of the assigned intervention can lead them to selectively opt patients out of the allocated treatments, contributing to baseline imbalances in patient characteristics. Biases can also arise from sequential randomization of an inadequate number of clusters contributing to confounding of treatment and period effects. The crossover design may even induce bias. For example, if an intervention indeed is a cluster-level intervention that consists of changing providers’ behaviours, there are significant risks of carry-over effects and contamination due to providers still applying (at least partly) the intervention from a previous period in the next period. Finally, one might expect providers’ lack of adherence to the interventions in cluster crossover trials to be greater than in individually randomized trials where physicians in a state of equipoise agree to offer enrolment to their patients. All these disadvantages need to be carefully weighed against the benefits of a robust, well-designed pragmatic trial randomizing a large number of individual patients to the interventions of interest. Ethical issues Cluster randomized trials raise complex ethical issues that confront researchers, research ethics committees, regulators, and sponsors. These issues are not considered (at all) in most national ethical guidelines, including Canada’s Tri-Council Policy Statement. Spence et al. neglect to reference any ethical guidance document specific to the design and conduct of cluster randomized trials,7,8 and this omission weakens their ethical analysis. First, Spence et al.’s focus on informed consent in the cluster crossover design is unduly narrow. While questions of informed consent are relevant to the ethics of any study, recent changes to the Council for International Organizations of Medical Sciences’ (CIOMS) International Ethical Guidelines for Health-related Research Involving Humans indicate that cluster designs pose other important ethical issues that must be addressed.8 There is also a high degree of concordance between CIOMS guidelines and the Ottawa Statement, which outlines six broad ethical issues that can arise in the design and conduct of cluster randomized trials, including: justifying the cluster randomized design; the need for research ethics committee review; the identification of research participants; obtaining informed consent; the role of gatekeepers in protecting group interests; the assessment of benefits and harms; and the protection of vulnerable participants.7 The Ottawa Statement provides a total of 15 specific recommendations for these ethical issues, some of which directly conflict with the ethical considerations in the B-Free trial. For instance, Spence et al. state that “consent to participate is…obtained at the cluster rather than the patient level”,1 whereas the Ottawa Statement states that gatekeepers—i.e., “individuals or bodies who may be called upon to protect group-based interests that are affected by enrolment”7—are “not in a position to provide… consent on behalf of individual cluster members”.7 Second, the authors claim, “to evaluate the impact of policy change broadly applied at the level of a cluster, a research ethics board waiver of the need for individual consent is key”.1 In cluster crossover trials, interventions may be applied at the cluster level or the individual level. It is important to note that cluster randomization per se does not obviate the need to seek patient informed consent. Informed consent generally refers to obtaining consent for randomization, study interventions, and data collection procedures. If it is not possible to obtain consent from participants before cluster randomization, researchers should seek patient consent for data collection and study interventions (unless conditions for a waiver of consent obtain). According to the Ottawa Statement, a waiver of consent may apply to cluster level interventions, provided they pose only minimal risk to participants.7 Generally, however, in the case of individual-level interventions, informed consent is required. After all, informed consent is not only about risk, but also about respecting patient autonomy: patients overwhelming prefer to be informed about participating in pragmatic trials.9 When individual interventions tested in an individually randomized design would surely require the informed consent of the participant, to suggest that informed consent for the same interventions is not required in a cluster crossover design implies, counter-intuitively, that the unit of randomization determines whether patient consent is required. The Ottawa Statement cautions investigators against employing cluster randomization based on the “mistaken belief that the need to seek informed consent can be avoided”.7 Hence, a low consent rate in an individually randomized pilot study is not a sufficient reason to justify adopting a cluster randomized design. Instead, investigators ought to consider carefully alternative models of informed consent when cluster trials involve individual-level interventions. For example, the “integrated consent” model is being increasingly used in clinical trials internationally.10,11 Unlike the standard research consent model, integrated consent permits the treating physician to seek verbal consent from participants and document it in the electronic health record. Thus far, recruitment rates achieved with integrated consent have been promising. For example, in the REaCT-TC study, 100 of 123 (89%) patients approached provided consent to participate in the trial.11 Finally, Spence et al. provide several reasons to justify the use of a waiver of consent broadly in cluster crossover trials. They claim that “it has been repeatedly demonstrated that patients who consent to participate in research are fundamentally different from those who do not”,1 so maximizing generalizability requires a waiver of consent. Furthermore, they claim that if a “waiver cannot be obtained, the efficiency gained by cluster randomization would be lost”,1 so a waiver is needed to reduce the cost and time associated with patient recruitment. But taken in isolation, these claims do not satisfy the requirements for a waiver of consent as set out in the Tri-Council Policy Statement or the Ottawa Statement. Indeed, taken as sufficient justifications, the authors’ assertions would justify the use of a waiver in all research (cluster randomized or not) that seeks to enhance generalizability and efficiency—and surely that is not right. While the need to generate high-quality evidence to inform policy and practice in anesthesia is pressing, the cluster crossover design—with interventions implemented as policies and the use of a waiver of consent—raises methodological and ethical concerns that must be carefully addressed. Spence et coll. décrivent la nécessité d’avoir davantage d’études contrôlées randomisées nous procurant des données probantes et rigoureuses qui démontrent l’efficacité des traitements et stratégies thérapeutiques en pratique anesthésique dans la population générale. Cet appel s’appuie sur des données montrant qu’il existe un grand degré de variabilité dans la pratique des anesthésiologistes cardiaques concernant l’utilisation des benzodiazépines.1 Selon ces auteurs, le concept de randomisation par clusters (grappes) avec crossover (permutation) est idéal dans ce cas. Dans la démarche proposée, ils « cherchent à évaluer l’impact de deux approches différentes en anesthésie cardiaque, l’une dans laquelle presque tous les patients reçoivent des benzodiazépines en peropératoire sauf en cas de contre-indications (bras benzodiazépines habituelles) et l’autre dans laquelle presque tous les patients ne reçoivent pas de benzodiazépines peropératoires sauf contre-indications (bras benzodiazépines limitées) […] pendant 12 périodes permutées de quatre semaines ».1 Les interventions sont mises en œuvre sous forme de politiques telles que tous les patients admissibles au cours de chaque période recevront les interventions assignées par défaut sans aucun recrutement ou consentement des patients. Nous ne remettons pas en cause le besoin de données probantes rigoureuses pour éclairer les politiques et les pratiques, mais nous sommes préoccupés par les questions méthodologiques et éthiques soulevées dans des essais tels que l’essai B-Free. Problèmes méthodologiques Les auteurs font deux revendications dans leurs arguments en faveur de cette démarche. Tout d’abord, ils affirment que la randomisation individuelle peut être onéreuse, dispendieuse, et n’avoir qu’une validité externe limitée, tandis que la randomisation par clusters est la méthode privilégiée de l’évaluation des questions d’efficience du fait d’une meilleure validité externe et de coûts moindres. Nous suggérons que la randomisation individuelle (et non par cluster) est la méthode de référence des études pour l’évaluation des questions d’efficacité et d’efficience. Nous suggérons en outre que les auteurs confondent entre choisir la randomisation individuelle ou par cluster et choisir entre un type d’étude explicatif ou pragmatique. Les différences entre les objectifs explicatifs et pragmatiques des essais ont été soulignées pour la première fois en 1967.2 Les investigateurs cherchant à générer des données probantes d’efficience dans la population générale, avec le meilleur rapport coût-efficacité possible, doivent faire des choix délibérés de plans d’étude soutenant leurs objectifs, indépendamment de l’unité de randomisation. Le cadre PRECIS-2 identifie neuf domaines dans lesquels les investigateurs peuvent faire des choix de plans pour améliorer la validité externe et l’applicabilité de leurs essais.3 Ils peuvent, par exemple, utiliser des critères d’admissibilité libéraux plutôt que restrictifs; ils peuvent inclure un éventail complet de praticiens et de contextes rencontrés dans la vie réelle; ils peuvent limiter le maintien et l’observation de la compliance; ils peuvent utiliser des procédures de recrutement et de consentement simplifiées; et ils peuvent limiter l’intensité du suivi et de la collecte de données. Bien que les essais randomisés par clusters puissent être conçus pour répondre aux questions d’efficacité et de l’efficience, ils n’incluent souvent qu’un petit nombre de clusters qui peuvent limiter sérieusement leur validité externe, augmente le risque d’erreur de type I et déboucher sur différentes formes de biais.4 Tout comme la randomisation par cluster n’est pas la clé pour concevoir un essai plus pragmatique, ce n’est pas non plus la clé pour mener des essais ayant un meilleur rapport coût-efficacité : les essais randomisés par clusters nécessitent des échantillons de plus grande taille que les essais avec randomisation individuelle, mais ils peuvent sembler avoir un bon rapport coût-efficacité quand la randomisation par cluster est utilisée de manière erronée pour éviter d’avoir à obtenir un consentement éclairé. Deuxièmement, les auteurs prétendent que l’essai B-Free « représente une situation dans laquelle il n’est pas possible, en pratique, de réaliser un essai avec randomisation individuelle » et que les interventions évaluées au sein des essais avec crossover de clusters doivent être nécessairement appliquées au niveau des clusters.1 Nous sommes d’accord sur le fait que la randomisation par cluster est parfois le seul choix de plan d’étude possible, mais cela s’applique uniquement aux cas où les interventions ne peuvent pas être individualisées (par exemple les campagnes publicitaires dans les grands médias, les affiches en salle d’attente, le traitement de l’eau par fluoration, la réorganisation des services). Quand les interventions à l’étude sont administrées directement aux personnes (par exemple, un médicament, une thérapie comportementale, une stratégie thérapeutique), la randomisation est possible même si elle est malcommode pour les chercheurs. L’extension de la déclaration CONSORT aux essais randomisés par clusters,5 le cadre d’évaluation du Medical Research Council pour les interventions complexes6 et la Déclaration d’Ottawa pour la conception éthique et la réalisation des essais randomisés par clusters 7 recommandent tous d’éviter la randomisation par clusters sauf si son utilisation peut être clairement justifiée. Premièrement, la randomisation par clusters est un plan d’étude inefficace : La randomisation par clusters doit nécessairement exposer à l’essai un plus grand nombre de sujets qu’une randomisation individuelle, car il peut exister des corrélations intra-cluster. Deuxièmement, la randomisation par clusters est soumise au risque de nombreux biais qui ne sont pas tous résolus par l’utilisation d’un plan avec crossover. Par exemple, les nettes préférences des prestataires et leur connaissance de l’intervention assignée peuvent les amener à retirer des patients des traitements prévus de manière sélective, contribuant à un déséquilibre des caractéristiques des patients à leur inclusion. Les biais peuvent également provenir de la randomisation séquentielle d’un nombre inadéquat de clusters, contribuant à un effet confondant sur l’effet des traitements et des périodes. Le plan avec crossover peut même induire des biais. Si, par exemple, une intervention se situe au niveau du cluster, consistant en un changement de comportement des prestataires, il y a un risque significatif d’effets de transferts et de contamination parce que les prestataires appliqueront encore (au moins partiellement) l’intervention d’une période précédente au cours de la nouvelle période. Enfin, on peut s’attendre à un manque d’observance de la part des prestataires à des interventions dans des essais avec crossover de clusters plus important que dans des essais avec randomisation individuelle où les médecins — dans un état d’équilibre clinique — acceptent de proposer le recrutement à leurs patients. Tous ces inconvénients doivent être soigneusement évalués contre les avantages d’un essai pragmatique solide et bien conçu, randomisant un grand nombre de patients individuels pour les interventions d’intérêt. Problèmes éthiques Les essais randomisés par clusters soulèvent des problèmes éthiques complexes qui questionnent les chercheurs, les comités d’éthique de la recherche, les régulateurs et les commanditaires. Ces problèmes ne sont pas (du tout) abordés dans la majorité des lignes directrices nationales en matière d’éthique, y compris dans l’Énoncé de politique des trois Conseils (EPTC) du Canada. Spence et coll. oublient de faire référence à un document d’orientation sur les questions d’éthiques spécifiques pour la conception et la réalisation des essais randomisés par clusters,7,8 et cette omission affaiblit leur analyse de l’éthique. Pour commencer, la vision du consentement éclairé par Spence et coll. dans le plan de crossover de clusters est indûment étroite. Alors que les questions concernant le consentement éclairé sont pertinentes pour l’éthique de n’importe quelle étude, des modifications récentes apportées aux Lignes directrices internationales d’éthique pour la recherche biomédicale impliquant des sujets humains du Conseil des Organisations internationales des Sciences médicales (CIOMS) indiquent que les plans par clusters posent d’autres problèmes éthiques qui doivent être résolus.8 Il y a aussi un haut degré de concordance entre les lignes directrices du CIOMS et la déclaration d’Ottawa, soulignant six grands problèmes éthiques pouvant être soulevés par la conception et la réalisation d’essais randomisés par clusters, notamment : la justification du plan de randomisation par clusters; la nécessité d’un examen par un comité d’éthique de la recherche; l’identification des participants à la recherche; l’obtention d’un consentement éclairé; le rôle de contrôleurs dans la protection des intérêts des groupes; l’évaluation des avantages et des préjudices; et la protection des participants vulnérables.7 La Déclaration d’Ottawa énonce un ensemble de quinze recommandations spécifiques pour ces problèmes éthiques dont certaines sont directement en conflit avec les considérations éthiques de l’essai B-Free. Ainsi, Spence et coll. déclarent que le « consentement à participer est […] obtenu au niveau du cluster plutôt qu’au niveau du patient »,1 tandis que la Déclaration d’Ottawa énonce que les contrôleurs (c’est-à-dire « les individus ou organismes qui peuvent être appelés à protéger les intérêts des groupes concernés par le recrutement »)7 ne sont « pas dans une position leur permettant de fournir […] un consentement au nom de chacun des membres de la cluster ».7 Ensuite, les auteurs affirment que pour « évaluer l’impact d’un changement de politique largement appliqué au niveau d’un cluster, il est essentiel qu’un comité d’éthique de la recherche renonce à la nécessité d’avoir le consentement de chaque participant ».1 Dans les essais avec crossover de clusters, les interventions peuvent être appliquées au niveau de du cluster ou au niveau individuel. Il est important de remarquer qu’une randomisation par clusters n’écarte pas en soi la nécessité d’obtenir le consentement éclairé du patient. Le consentement éclairé fait généralement référence à l’obtention du consentement pour la randomisation, les interventions de l’étude et les procédures de collecte de données. S’il n’est pas possible d’obtenir le consentement des participants avant la randomisation par clusters, les investigateurs doivent chercher à obtenir le consentement à la collecte des données et aux interventions de l’étude (sauf si les conditions sont réunies pour une dérogation à l’obtention du consentement). Conformément à la Déclaration d’Ottawa, une dérogation au consentement peut s’appliquer aux interventions au niveau d’un cluster, sous réserve qu’elles ne présentent qu’un risque minime pour les participants.7 Cependant, d’une manière générale, dans le cas d’interventions menées au niveau individuel, le consentement éclairé est requis. Après tout, le consentement éclairé ne concerne pas seulement le risque, mais aussi le respect de l’autonomie des patients : les patients préfèrent de très loin être informés d’une participation à un essai pragmatique.9 Quand des interventions individuelles testées dans un plan de randomisation individuelle nécessiteraient certainement le consentement éclairé du participant, suggérer que le consentement éclairé pour les mêmes interventions n’est pas requis dans un plan de crossover de clusters implique, de manière contre-intuitive, que l’unité de randomisation détermine si le consentement du patient est requis. La Déclaration d’Ottawa met les investigateurs en garde contre l’emploi d’une randomisation par clusters basée sur la « croyance erronée que le besoin de rechercher le consentement éclairé peut être évité ».7 Donc, un faible taux de consentement dans une étude pilote à randomisation individuelle n’est pas une raison suffisante pour justifier l’adoption d’un plan de randomisation par clusters. En revanche, les investigateurs devraient soigneusement envisager d’autres modèles de consentement éclairé quand les essais par clusters impliquent des interventions au niveau individuel. Le modèle de « consentement intégré » est, par exemple, de plus en plus utilisé pour des essais cliniques au niveau international.10,11 Contrairement au modèle de consentement pour les recherches habituelles, le consentement intégré permet au médecin traitant d’obtenir un consentement oral des participants et de le documenter dans le dossier de santé électronique. À ce jour, les taux de recrutements obtenus avec le consentement intégré ont été prometteurs. Ainsi, dans l’étude REaCT-TC, 100 patients sur les 123 (89 %) patients approchés ont consenti à participer à l’essai.11 Pour terminer, Spence et coll. donnent plusieurs raisons pour justifier la large utilisation d’une dérogation au consentement dans les essais avec crossover de clusters. Ils affirment qu’il « a été démontré de façon répétée que les patients qui consentent à participer à une recherche sont fondamentalement différents de ceux qui n’y consentent pas »,1 si bien que pour pouvoir atteindre le plus haut niveau de généralisation, il faut renoncer au consentement. Ils affirment de plus que si « une dérogation ne peut être obtenue, l’efficience acquise grâce à la randomisation par clusters pourrait être perdue »,1 de telle sorte qu’une dérogation est nécessaire pour réduire les coûts et le temps associés au recrutement des patients. Pris séparément, ces affirmations ne satisfont pas les exigences d’une dérogation au consentement établies dans l’Énoncé de politique des trois Conseils ou dans la Déclaration d’Ottawa. Prises comme justifications suffisantes, les arguments des auteurs justifieraient l’utilisation d’une dérogation dans toute recherche (randomisée par clusters ou non) qui chercherait à améliorer la généralisation des résultats et son efficience, mais cela n’est certainement pas correct. Alors que le besoin de générer des données probantes de grande qualité pour renseigner les politiques et pratique en anesthésie est pressant, le concept de crossover de clusters, avec des interventions mises en œuvre en tant que politiques et le recours à une dérogation du consentement, soulève des questions méthodologiques et éthiques qui doivent être abordées avec la plus grande prudence.