Fragen und Anmerkungen zu einigen statistischen Methoden in der Psychotherapieforschung A few questions and remarks concerning the application of specific statistical methods in psychotherapy research Questions et remarques concernant certaines méthodes statistiques utilisées dans le domaine de la recherche en psychothérapie

Die Beachtung der methodischen Grundsätze statistischer Verfahren entscheidet über Wert und Glaubwürdigkeit eines statistisch gewonnenen Ergebnisses und nicht der Inhalt des Ergebnisses. Auf der Grundlage dieses methoden-orientierten Standpunktes eines Statistikers werden die klassischen statistischen Verfahren der empirischen Psychotherapieforschung untersucht. Es wird aufgezeigt, an welch strenge Voraussetzungen die gängigen „harten“ Inferenzverfahren (vor allem statistische Tests) gebunden sind und daß in den meisten Fällen empirischer Studien der Einsatz „weicher“ Methoden deskriptiver oder explorativer Art angezeigt ist. Untersucht werden auch Prinzipien zur Evaluation, Prüfungen von Validität und Reliabilität und insbesondere statistische Probleme bei der empirischen Beurteilung der Therapiedauer.Schlüsselwörter: Evaluation, Validität, Reliabilität, geeignete statistische Methoden, multiple Signifikanztests, Therapiedauer. The value and credibility of a statistically obtained result is not judged by its content, but by the methodological principles of the statistical procedures by which the result was obtained. Based on this methodological point of view (as is usual in statistics) the classical statistical procedures in empirical psychotherapy studies are considered. It is pointed out, how restrictive the assumptions are on which the usual “hard” inference procedures (viz.: statistical tests) are based. It turns out that in most cases the use of “weaker” methods as developed in descriptive and explorative data analysis is more adequate. Methods of evaluation, measurements of validity and reliability, in particular statistical problems concerning the effect of the duration of a therapy are also inquired.Keywords: Evaluation, validity, reliability, proper statistical methods, multiple tests, duration of therapy. Ce n’est pas le contenu des résultats qui définit la valeur et la fiabilité des chiffres obtenus par le biais de méthodes statistiques, mais le respect de principes méthodiques fondamentaux. Partant du point de vue d’un statisticien axé sur la méthode, nous examinons les procédures statistiques classiques employées au niveau de la recherche par la psychothérapie: les principes permettant d’évaluer un type de thérapie, la vérification de la validité et de la fiabilité des données, les procédures “dures” d’inférence (les tests statistiques surtout) et (en particulier) les problèmes statistiques que présente l’évaluation empirique de la durée de la thérapie. Nous nous concentrons sur des indications ayant trait aux questions et rapports suivants:1) l’échelonnement de la “taille de l’effet (effect size)” (la répartition d’un item) est en général très libre et peut en partie être fixée arbitrairement. Dans quelle mesure les modifications (par la thérapie) subies par “l’importance de l’effet” sont-elles dépendantes de l’échelle choisie2) la validité de cette même variable est mesurée en règle générale par le calcul d’une corrélation, à savoir celle entre la taille de l’effet et un critère (quantité visée) permettant d’évaluer de manière absolue les effets d’une thérapie (validité du critère). Si un critère “idéal” de ce type existe, sa substitution par une variable “importance de l’effet” dans les études d’évaluation ne se justifie que si les données peuvent être collectées beaucoup plus aisément que si l’on employait un véritable critère. Souvent, ces études se contentent d’employer en tant que critère une autre variable, plus ou moins bien testée, sans en indiquer la validité; en effet la validité d’une nouvelle variable “taille de l’effet ” n’est que valeur relative.3) on mesure la fiabilité des résultats en enregistrant I plusieurs fois (en règle générale deux fois) la variable ? “taille de l’effet” (effect size) de l’instrument d’évaluation (re-test, test parallèle, division du test en deux) et on l’indique en tant que proportion de co-variance par rapport à la variance ou plus simplement, par l’alpha de Cronbach. Cette manière de procéder requiert certaines conditions (hypothèse d’une homogénéité de l’échantillon et d’un manque de corrélation entre les erreurs de mesure), dont la plupart des études d’évaluation négligent de vérifier la présence. Lorsque celles-ci sont absentes, l’alpha de Cronbach ne constitue plus forcément une mesure comparative de fiabilité; il peut arriver que deux valeurs alpha différentes ne soient plus comparables.4) du fait que la plupart des recherches en psychothérapie utilisent des variables “taille de l’effet” (et des critères) qualitatifs, il n’est pas possible d’utiliser l’habituel coefficient de corrélation selon Bravais-Pearson lorsque validité et fiabilité sont mesurées comme décrit plus haut. Il faut plutôt utiliser le coefficient de corrélation selon le rang de Spearman lorsque les variables sont échelonnées de manière ordinale et un coefficient de contingence lorsque les variables ne sont échelonnées que de manière nominale. Ces coefficients peuvent être influencés par une modification de la graduation choisie pour les cotes ordinal et nominal. Les mesures de validité et de fiabilité dépendent donc de l’exactitude de l’échelonnement de la variable “ taille de l’effet” (effect size) J étudiée (du nombre de réponses prévues pour un item i donné).5) les procédures “dures” d’inférence normalement utilisées, et surtout les tests statistiques, sont basées sur un échantillonnage aléatoire et des hypothèses liées à l’indépendance des variables; dans de nombreux cas elles ne peuvent se pratiquer qu’avec des variables échelonnées de manière cardinale ou même présentant une répartition normale - en règle générale, concernant la recherche empirique en psychothérapie ces conditions ne sont pas remplies. Il n’est donc pas possible d’utiliser ces procédures. Il est en particulier absurde (bien qu’en accord avec les conventions) de procéder à un test statistique et d’indiquer des valeurs p si l’on ne dispose pas d’un échantillonnage aléatoire.6) pour la plupart des études effectuées dans la domaine de la psychothérapie il est recommandé d’utiliser des procédures statistiques “molles ” : par ceci nous entendons les méthodes de l’analyse descriptive ou exploratrice des données. Elles permettent de confirmer des hypothèses, mais non de les démontrer statistiquement (preuve par le seuil de signification).7) l’utilisation de tests multiples (plusieurs tests étant effectués sur un même échantillon) doit s’accompagner d’un ajustement de l’alpha permettant de réduire nettement les alpha des différents tests (ajustement de Bonferroni).8) des problèmes (parfois statistiques) particuliers se manifestent par rapport à l’évaluation empirique des effets de la durée de la thérapie si l’on n’effectue pas une très nette distinction entre les deux questions suivantes: comment les changements provoqués par la thérapie chez un seul patient dépendent-ils en moyenne de la durée de la thérapie? Comment le nombre moyen de patients pour lesquels la thérapie a apporté une amélioration dépend-il de la durée de la thérapie? Chacune de ces deux questions requiert ses propres conditions d’étude. Des exemples sont présentés, qui permettent de débattre des problèmes qui se présentent. unknown publishedVersion