Wichtig: Die folgende kritische Auseinandersetzung auf hohem methodischen Niveau darf nicht mißverstanden werden. Es spricht für die Autoren und die psychologischen Organisationen, daß sie so schnell ein solch anspruchsvolles System auf die Beine stellen konnten, das man auch so differenziert kritisieren kann. Viele andere Verbände sind noch längst nicht so weit, sie reden und debattieren unentwegt, sie klagen und sie problematisieren, aber sie stellen nichts Fundiertes auf die Beine, das man weiter entwickeln kann. Obwohl teilweise herbe Kritik erfolgt, möge doch nicht vergessen werden, daß diese Kritik im Dienste unserer Arbeit steht, auf die Qualitätsicherung unserer Arbeit abzielt und damit in erster Linie unseren PatientInnen und ihren sozialen KostenträgerInnen dient. Aber auch die Autoren können davon profitieren, indem sie die Kritik dort, wo sie sie annehmen können, für ihre Weiterentwicklung nutzen können. Deshalb sollten wir uns in der Sache um unserer psychotherapeutischen Arbeit und unserer PatientInnen willen nichts schenken.  Grundlage meiner Kritik sind folgende QS-Prinzipien: (1)  Zentrales Kardinalkriterium muß immer an erster Stelle sein: Alle Instrumente oder Evalutionen zur QM- und QS-Systemem im Psychotherapiebereich müssen zuallererst dem psychotherapeutischen Setting angemessen sein, ihm dienen und nutzen. (2) Das System muß selbstverständlich zuerst seinen eigenen Kriterien genügen und selbst qualitätsgesichert und evaluiert sein. (3) Das QM- oder QS-System muß ordentlich dokumentiert sein, so daß es allgemeiner und besonders fachwissenschaftlicher Kritik zugänglich ist. (4) Das Programm muß therapierichtungs-, störungs- und zielspezifisch ausreichend und optimierbar sein. (5) Das Programm muß in den verschiedenen Erhebungssettings  (Computergestützt, Paper- & Pencilform, Explorationsleitfaden) anwend- und vergleichbar sein.

Überblick:  Zusammenfassung: Darstellung, Beurteilung, Bewertung KPD 2000
01  Vorbemerkung
02  Kosten, Rechte und Gewährleistung
03  Installation
04  Programmierkonzept und Gesamtgestaltung
05  Bedienungsoberfläche
06  Bedienungsführung, Bearbeitungshilfen und Erklärungen
07  Umfang und Zeitaufwand
08  Theoretische Grundlagen
09  Dokumentation der wissenschaftlichen Grundlagen
10  Meß- und Testtheorie (Itemtheorie, Itemauswahl, Itemzuordnung, Meßtheorie, Rohwertverrechnung und Scorierung,
      Verteilungen und Verteilungsvoraussetzungen, Testkennwerte, Normen, Korrelationen und multivariate
      Datenverarbeitung, Faktorenanalytische Dimensionsanalyse, Validität, Reliabilität, Stabilität, Utilität)
11  Auswertung und Darstellung im KPD 2000
12  Literaturangaben zum KPD 2000
13  Querverweise und Belege QBzz

• 13-QB00  Aus der Computerversion von mir extrahierte Paper- and Pencil-Version
• 13-QB01: Identische und mehrfach identische Items und Skalen im KPD 2000
• 13-QB02: Zusammenfassung Normen
• 13-QB03: Abkürzungen und Skalenbezeichnungen
• 13-QB04: Erläuterungen zur Standard-Matrix-Analyse (SMA): Übersichtsseite
• 13-QB04a   Schnellorientierung (FAQ) zur SMA für numerische Laien
• 13-QB04b   Erläuterungen zur SMA für professionell Interessierte
• 13-QB05:  Standard -Matrix-Analyse Krankheitsbezogene Beeinträchtigungen im RPD (1997)
• 13-QB06   Standard -Matrix-Analyse Seelische Gesundheit  im RPD (1997)
• 13-QB07:  Standard -Matrix-Analyse Krankheitsbezogene Beeinträchtigungen im KPD 2000
• 13-QB08 : Standard -Matrix-Analyse Seelische Gesundheit im KPD 2000
• 13-QB09 : Standard -Matrix-Analyse der 27 Gesamt-Skalen im KPD 2000
• 13-QB10:  Die im Internet veröffentlichten Korrelationstabellen zu KPD 2000: (von der Originalseite eingelesen)

01 Vorbemerkung
Die neue und letzte Version von KDP 2000, die mit den alten nicht kompatibel ist, wurde mir im September 2000 zugestellt,  nachdem die ersten beiden Versionen auf meinem Computersystem (Win 95 auf  Pentium, Win 95 auf Notebook, Win 98 auf Pentium 3-600) nicht zum arbeits- und untersuchungsfähigen zum Laufen zu bringen waren. Ausgeliefert wurde eine CD-Rom, auf der sich die Programme und ein Handbuch im PDF-Format (40 Seiten) befinden neben einem acrobat reader 4, der das Handbuch darstellen kann.
Die Darstellung, Beurteilung und Bewertung gilt bezüglich der ausgewiesenen Datenbasis und kann sich ändern, wenn neue Untersuchungen, Dokumentationen, Forschungsberichte und sonstige Veröffentlichungen vorgelegt werden.
Die Autoren erheben einen psychometrischen Anspruch (Handbuch Seite 5), daran orientiert sich mein Untersuchungsbericht.
Datenbasis für die Darstellung, Beurteilung, Bewertung:
CD-Rom (Posteingang 10.9.2000).Beginn der Untersuchung: 2/3 bis Ende November.
Anwenderhandbuch "Das Klinisch-Psychologische Diagnosesystem KPD 2000 (40 Seiten) mit folgenden Literaturangaben:

• Hünerfauth, T. (1999 a): Checkliste für das Qualitätsmanagement in der ambulanten Psychotherapie. Mitgliederrundbrief der Sektion Klinische Psychologie im BDP. Information 27. 14-15.
• Hünerfauth, T. (1999 b): Das Klinisch-Psychologische Diagnosesystem (KPD) als Alternative für die Qualitätssicherung in der Psychotherapie. Mitgliederrundbrief der Sektion Klinische Psychologie im BDP. Information 27. 16.
• Hünerfauth, T., Schwarz, M. (1997): Das Rehabilitationspsychologische Diagnosesystem (RPD). Entwicklung eines neuen Instruments für die psychologische Praxis. Erste Ergebnisse und Anwendungserfahrungen. Report Psychologie. Heft 5/6, 374-399.
• Hünerfauth, T., Schwarz, M. (2000): Das Klinisch-Psychologische Diagnosesystem (KPD). Theoretischer Hintergrund, Entwicklung und empirische Befunde. (in Vorbereitung)
• Schwarz, M., Hünerfauth, T. (1999): Stellungnahme zur Psychotherapeutischen Basisdokumentation Psy-BaDo der medizinischen Fachgesellschaften. Mitgliederrundbrief der Sektion Klinische Psychologie im BDP. Information 27. 15-16.
• Schwarz, M., Hünerfauth, T. (2000): Plädoyer für ein BDP-eigenes Qualitätsmanagement-System Mitgliederrundbrief der Sektion Klinische Psychologie im BDP. Information 31. 11-14.

02 Kosten, Rechte und Gewährleistung
Vorausetzungskosten:
Im Anwenderhandbuch wird ausgeführt:
"Das vorliegende Programmsystem wurde mit der Programmiersprache Java entwickelt und ist hinsichtlich des möglichen Einsatzes grundsätzlich platt-formunabhängig. Die vorliegende Version wird jedoch mit einer Java Runtime
Environment (JRE) ausgeliefert, die den Programmcode für die Betriebssysteme Windows 95/98 und NT interpretiert. Die Erprobung auf weiteren Be-triebssystemen ist noch nicht abgeschlossen. Folgende Systemvoraussetzungen müssen erfüllt sein:
1. Die Bildschirmauflösung muß mindestens dem Super-VGA Standard entsprechen (800x600 Pixel).
2. Für die Ergebnisdarstellung ist ein Farbdrucker erforderlich.
3. Ein Pentium Prozessor mit mindestens 200 Mhz und ausreichend Arbeitsspeicher (mindestens 32 MB) wird empfohlen.
4. Auf der Festplatte werden mindestens etwa 112 MB freier Speicherplatz benötigt. (Die akustische Unterstützung durch Audio-Dateien (*.wav) beansprucht hierbei etwa 82 MB. Ggf. kann das Programmsystems auch ohne diese Dateien betrieben werden.)
5. Für die akustische Unterstützung ist eine Soundkarte mit Lautsprechern erforderlich."
Hinzu kommen Raumkosten für die Abnahme.
Weiterhin wird für die Aufgabe ein Farbdrucker benötigt.
Erwerbskosten: (Quelle Homepage Sektion Klinische runtergeladen 6.12.2000):
"Die Vollversion auf CD erhalten Sektionsmitglieder UND VPP-Mitglieder (verlängert bis zum 31.03.00) zum Einführungspreis von nur DM 350.-, danach für DM 480.- Nichtmitglieder bezahlen DM 720.-, die Kliniklizenz kostet 799.-."
Folgekosten, Programmpflege und updates: keine Angaben.
Weiterhin müssen bei den Kosten noch folgende Faktoren berücksichtigt werden: Computeranschaffung, Raumkosten für die Computerabnahme,
Investitions- und weitere Aufwendungskosten:
Weiterhin muß man aber die TherapeutInnenbewertung, Verarbeitung der Auswertung, Interpretations-, Verwaltungs- und Betriebskostenaufwand hinzurechnen, so daß pro KPD2000 Testung oder Erhebung wenigstens 50 Minuten gerechnet werden sollten. Den Angaben der Hersteller von QS-Systemen müssen sehr kritisch bewretet werden, weil dieses ein Interesse daran haben, den Aufwand herunterzuspielen, was sich aber bei der Honorierung ("Punktwerte") .
Rechte und Gewährleistung:
"Copyright © 2000. Alle Rechte, insbesondere das Recht der Vervielfältigung, Verbreitung, Übersetzung und der
programmtechnischen Nachahmung, vorbehalten. "Dieses Testsystem genießt den Schutz des Urheberrechtsgesetzes und des internationalen Urheberrechtsabkommens. Das Verleihen, Vermieten, Vervielfältigen oder Kopieren der CD-ROM und des Handbuches ist nicht gestattet.
Gewährleistung:
Für einen Zeitraum von 90 Tagen wird gewährleistet , dass das Speichermedium und die Dokumentation frei von Material-und
Verarbeitungsfehlern sind, und dass das Programmsystem in seinen Grundfunktionen einsatzfähig ist. Eine weitere
Gewährleistung ist ausgeschlossen. So wird keine Gewähr für die Fehlerfreiheit und Richtigkeit der Software und der Do-kumentation
übernommen. Die Autoren und der Vertrieb übernehmen keine Haftung und keine juristische Verantwortung
für irgendwelche Störungen oder Schäden, die beim Gebrauch des Programms oder Teilen davon entstehen. Insbesondere
gilt dies für entgangenen Gewinn, für mittelbare oder unmittelbare Mangelfolgeschäden, durch fehlerhafte Benutzung, feh-lende
Benutzbarkeit der Software sowie der aufgrund des Testsystems getroffenen Entscheidungen.
Autoren:
Michael Schwarz, Imkerweg 4, 97769 Bad Brückenau, E-Mail: mi.schwarz@t-online.de
Thomas Hünerfauth, Hauptstrasse 147, 63897 Miltenberg, E-Mail: huenerfauth.thomas@t-online.de"
Internet Reprsäsentation (Homepage) KPD 2000: https://www.idq.de

03  Installation:
Auf Win95: Beim Acrobat Reader entpacken gibt es eine Fehlermeldung zu CAB Datei. Beim Kopieren ohne den Ordner Medien ist das Programm nicht startbar. Es fehlt der Hinweis, daß wenigstens ein leerer Ordner "medien" angelegt werden muß. Ohne diesen Ordner funktionierte das Programm bei mir nicht. Auf Win98: keine Probleme entdeckt (gleich  mit den Audio Dateien installiert).

04  Programmierkonzept und Gesamtgestaltung:
(1) KPD2000 wurde in Java geschrieben und ist damit weitgehend betriebssystem-unabhängig und kann auf vielen Rechnern laufen, was sehr positiv zu bewerten ist. (2) Die Abhängigkeit von einem Farbdrucker ist nicht günstig. (3) Überhaupt ist die Abhängigkeit auch der Darstellung der Ergebnisse durch farbige Punkte, die die erhobenen Differenzierungen wieder aufheben und verwischen, nicht gut. (4) Am gravierendsten ist aber die Nachlässigkeit, keine Paper- & Pencil-Version mit ausgearbeitet zu haben, um auch unabhängig von einem funktionierenden Computer KPD2000 anwenden zu können. Manche PsychotherapeutInnen haben keinen Computer oder auch nur keinen des entsprechenden Betriebssystems Windows der Firma Microsoft, das sich im Internet immer anfälliger gegen Spionage, Sabotage und destruktive Angriffe zeigt. (5) Sehr ungünstig ist ebenfalls zu bewerten, daß in der Computerversion nicht das Antwortverhaltensrepertoire realisiert wurde, das in Paper & Pencil-Versionen möglich und üblich ist. Damit ist diese Computerversion grundsätzlich nicht vergleichbar mit einer doch auch notwendigen Paper & Pencil-Version.

05  Bedienungsoberfläche:
(1) Die Bedienungsoberfläche und Darbietungsmasken sind sehr komfortabel und als gut gelungen zu bewerten. (2) Es wird Text und simultan das Sprechen der Items geboten, wobei nicht ganz klar ist, wozu der Text, wenn er schon zum Lesen angeboten wird, auch noch gesprochen werden muß, zumal die Audiodateien rund ¾ des Speicherbedarfs für KPD 2000 einnehmen (insgesamt rund 112 Megabytes). Es ist nicht belegt, welcher Vorteil sich der simultanen akustischen Darbietung für die Bearbeitung ergibt.

06  Bedienungsführung, Bearbeitungshilfen und Erklärungen:
(1) Eine Einführung in die Rohwert-Beantwortungs-Möglichkeiten erfolgt für die PatientInnen nicht. (2) Eine beschriebene Abbruchfunktion ist im Programm für die ProbandInnen nicht vorgesehen. (3) Algorithmen, wie ProbandInnen verfahren können, wenn sie Probleme mit der Bearbeitung haben, scheinen nicht vorzuliegen oder auch für überflüssig gehalten zu werden. (4) Man kann am Ende nicht zurückblättern und noch einmal alles prüfen und gegebenenfalls ändern. Das wird den ProbandInnen aber gar nicht mitgeteilt, so daß sie sich darauf einstellen könnten. (5) Das Datum wird offenbar über das Betriebssystem abgefragt und nicht explizit extern erhoben. (6) Bei dem Stammdatum Beruf wird keine Erläuterung, die vor allem für die Sondergruppen (SchülerInnen, StudentInnen, Arbeitslose, RentnerInnen, FrührentnerInnen (Erwerbsunfähigkeit, Berufsunfähigkeit), VorruheständlerInnen, Wehr- oder Zivildienstleistende, Hausfrauen, Hausmänner, ...) gegeben.
Bearbeitungsmöglichkeiten:  Grundsätzlich sind neben den regulären Itembearbeitungen durch die ProbandInnen folgende Abweichungen zu berücksichtigen: Vergesser, Nicht beantworten wollen (da zu intim oder persönlich empfunden), Weiß nicht, Versteh nicht, Persönliche Bemerkungen. Bei den 27 Skalen fehlt zudem die Möglichkeit teils-teils bzw. sowohl-als-auch und die 4 Antwortmöglichkeiten decken nicht den gesamten Beurteilungs- und Bewertungsbereich ab, das gesamte mittlere Quartil fehlt, es wird nur das obere und untere Quartil erzwungen abgefragt. Das ist ein sehr schwer schwerer methodologischer  Eingriff in das Spektrum der psychischen Wirklichkeit. Angesichts der Schwere dieses Eingriffs, verwundert es doch sehr, daß diese Entscheidung nicht ausführlich begründet wird.

07  Umfang und Zeitaufwand
(1)  Gesamtumfang. 8 Fragen zur Belastung in Kindheit und Jugend. 18 Fragen zu Belastungen in den vergangenen Jahren. 154 Fragen zu den 27 Skalen (Seite 12 im Handbuch gibt den Itemumfang irrtümlich mit 134 an). 10 (5 allgemeine, 5 freie, spezielle) KlientInnenfragen zum Therapiefortschritt. 10 (5 allgemeine, 5 freie, spezielle) entsprechende TherapeutInnenfragen zum Therapiefortschritt.
(2) Das Verhältnis der therapiezielspezifischen Fragen zu den allgemeinen Gesundheitsfragen ist damit 200 : 10, d. h. 95 % der Items sind für allgemeine klinisch-therapeutische Kriterien und nur 5 % sind für therapie(ziel)spezifische Kriterien. (3) Die Computerabnahme dauert nach Angaben der Autoren ca. 20-30 Minuten. Weiterhin muß man aber die TherapeutInnenbewertung, Verarbeitung der Auswertung, Interpretations-, Verwaltungs- und Betriebskostenaufwand hinzurechnen, so daß pro KPD2000 Testung oder Erhebung wenigstens 50 Minuten gerechnet werden sollten.

08  Theoretische Grundlagen
Es wird ein psychometrischer Anspruch erhoben, woran sich diese Besprechung orientiert. (1) Zur Psychotherapie-, Gesundheitstheorie - obschon ein bio-psycho-soziales Gesundheitsmodell ausgewiesen wird - und insbesondere zum Qualitätssicherungskonzept ambulanter Psychotherapie werden theoretische Grundlagen nicht mitgeteilt bzw. nicht fundiert erörtert. (2) KPD2000 geht auch nicht auf die unterschiedlichen Therapieschulen und ihre verschiedenen Ansätze oder Schwerpunkte ein. (3) Methodische Probleme der speziellen Eichstichproben-Erhebung werden nicht genannt und infolgedessen auch nicht erörtert, obwohl der dringende Verdacht besteht, daß mit unzulässigen Missing Data Lösungen oder unterschiedlichen Stichprobenumfängen gearbeitet wurde, wie die massiven negativen Eigenwerte der im Internet veröffentlichten indefiniten Korrelationsmatrizen sehr nahelegen. Die negativen Eigenwerte sind nämlich numerisch so groß, daß sie durch Kollinearität und Rundungsfehler - wie sie sich schon qua Konstruktion durch 19 identische Itempaare wahrscheinlich ergeben - alleine nicht erklärbar  sind. Im bio-psycho-sozialen Gesundheitsmodell wird die Vielfalt der therapeutischen Beziehung, der Therapieprozeß, die therapierelevanten Rahmen- und Metavariablen nicht erörtert, nicht problematisiert und eine explizite Auswahl wird nicht begründet.

09  Dokumentation der wissenschaftlichen Grundlagen: Liegt nur wenig vor, wobei vor allem der Zusammenhang zwischen RPD und KPD nicht aufgeklärt wird. Es hat den Anschein, als sei das KPD 2000 nur ein neues Etikett, ein bloßer neuer Name für das RPD.
Die Darstellung der Korrelationsmatrizen und Kennzeichnung der Variablen spottet im Kontext Qualitätssicherung jeder Beschreibung und ist ausserordentlich mühselig nachzuvollziehen:

1. Eine Übersicht und Legende der verschiedenen Kürzel und ihrer Umbenennungen wird nicht vorgelegt, auch in den Skalenbeschreibungen werden die Kürzel nicht aufgeführt, was KOntrolle und Prüfung der Angaben sehr erschwert.
2. Die Korrelationsmatrizen werden seitenverkehrt ohne die Hauptdiagonaleinsen dargestellt.
3. Die Hauptdiagonaleinsen muss man aus der Nebendiagonale erschliessen.
4. Die Kürzel werden in den RPD Matrizen nicht verwendet. Die RPD Matrizen sind anders dargestellt als die - gleichen - KPD-Matrizen

Die Kürzel für die Skalen wechseln mehrfach ihre Bedeutung:
5. ARBE wird zu SARB. SARB heisst ARBE in der Matrix Seelische Gesundheit. ARBE wird umbenannt in SARB im Mittelblock der Gesamtmatrix. ARBE kommt in der Gruppe Körperliche Beeinträchtigungen UND in unterschiedlicher Bedeutung in der Gruppe seelischer Gesundheit vor, was in der Gesamtmatrix  zu Verwirrung führt.
6. SOAB wird zu AOAB bzw. umgekehrt in der Matrix
7. ÄNGE wird zu ÄNGS
8. LEBE wird zu SINN bzw. umgekehrt
9. Handlungskompetenz (HAND) heisst an anderer Stelle Selbstwirksamkeit.
10. Fehlende Kontrollerwartungen heisst im Spaltenbereich KONT und im Zeilenbereich PROG und wird dann als Antizipierte Progredienz ausgegeben.

10  Meß- und Testtheorie:
Itemtheorie, Itemauswahl, Itemzuordnung, Meßtheorie, Rohwertverrechnung und Scorierung, Verteilungen und Verteilungsvoraussetzungen, Testkennwerte, Normen, Korrelationen und multivariate Datenverarbeitung, Faktorenanalytische Dimensionsanalyse, Validität, Reliabilität, Stabilität, Utilität.

Die Autoren erheben einen psychometrischen Anspruch, an dem sie hier auch gemessen werden. Eine Meß- und Testtheorie für den Fall des psychotherapeutischen Settings wird nicht vorgelegt . Die bloße Bezugnahme auf die Notwendigkeit von Psychometrie genügt nicht. Auch ein anspruchsvolles Verständnis von Testtheorie, wie es z. B. Jürgen Rost (1996). Testtheorie und Testkonstruktion. Bern: Huber, S. 20 „Die Testtheorie beschäftigt sich mit dem Zusammenhang von Testverhalten und dem zu erfassenden psychischen Merkmal" formuliert, trifft die Situation eines psychotherapeutischen Settings nicht, in dem wenigstens folgende Variablenklassen zu berücksichtigen wären: (1) Rahmen und Situation, (2) PatientInnenmerkmale, (3) TherapeutInnenmerkmale, (4) Arbeitsbeziehungsmerkmale, (5) Therapieprozeß,  (6) Therapieziele, (7) therapeutische Methoden (Verfahren und Techniken) und (8) Erfassungsinstrumente. [Genauere Ausführungen hierzu  findet man hier].

10.1 Itemtheorie: Eine Itemtheorie wird weder erörtert, noch problematisiert oder eine eigene vorgestellt.

10.2 Itemauswahl: wird nicht begründet (nicht für das ambulante psychotherapeutische Settung), nur für den Rahabiliationsbereich in der Veröffentlichung zum RPD (1997).

10.3 Itemzuordnung: wird nicht begründet, teilweise falsch bis fragwürdig ( Z. B. 06 („Schmerzen" zu speziell für allgemeine Persistenz), 07 und 08 (nicht persistierend wie in der Skala aus-gewiesen), 124 falsche Zuordnung (Entscheidungsprobleme zum Selbstwertgefühl); 112, 113; unter die Skala Erregbarkeit werden nicht durchgängig genuine Items aus Aktivation und Erregung subsummiert: 114, 115, 119; 115 und 119 gehören inhaltlich zu Anger In (Ärger, Wut).

10.4 Meßtheorie: wird nicht mitgeteilt. Es besteht der Verdacht, daß nicht vernünftig rohscoriert wurde. Die vier Skalenwerte werden weder begründet, noch problematisiert. Bei den 27 Skalen fehlt die Möglichkeit teils-teil bzw. sowohl-als-auch und die 4 Antwortmöglichkeiten decken nicht den gesamten Beurteilungs- und Bewertungsbereich ab, der gesamte mittlere Quartilsbereich fehlt, es wird nur das obere (Trifft eher zu, Trifft genau zu ) und untere Quartil  (Trifft nicht zu, Trifft weniger zu) erzwungen abgefragt. Damit werden Antwortartefakte erzeugt, die der Realität vielfach nicht entsprechen dürften. [Siehe oben].

10.5 Rohwertverrechnung und Scorierung: nicht mitgeteilt. Ich habe aber starke Zweifel, ob die Zahlenzuordnungen mit einfachen meßtheoretischen Grundüberlegungen in Einklang zu bringen sind. Es ist zu befürchten, obwohl die beiden oberen und unteren Quartile den bearbeitenden PatientInnen aufgezwungen werden, daß dies bei den Zahlenzuordnungen bei der Rohwertverrechnung nicht angemessen berücksichtigt und stattdessen unangemessene äquidistante Wahlen getroffen wurden. Leider läßt sich über diese fundamental wichtigen Grundlagen der meß- und testtheoretischen Konzeption des RPD bzw. des KPD keine und kritische Auseinandersetzung führen, weil eine entsprechend  fundierte wissenschaftliche Dokumentation fehlt.

10.6 Verteilungen und Verteilungsvoraussetzungen: nicht mitgeteilt und erörtert. Obwohl teilweise gar keine Normalverteilungen vorliegen, werden Mittelwerte und Standardabweichungen und darauf aufbauend Standardwerte und keine Prozentränge, wie es sinnvoll wäre, angewendet und ausgegeben. Siehe hierzu auch: Lienert (1961 ff). Testaufbau und Testanalyse. Weinheim: Beltz, S. 335: „Indem man von einer Verteilung M und s berechnet, impliziert man die Annahme einer Normalverteilung. Notwendigerweise geht diese Annahme auch in alle Normmaßstäbe mit ein, die über M und s berechnet werden. Das trifft für Standardwerte in vollem Umfange zu. .... Demgegenüber werden Prozentränge im allgemeinen über die kumulativen Frequenzen ermittelt und sind als solche keiner Hypothese über die Art der Verteilung unterworfen."

10.7 Testkennwerte: (Mittelwerte, Standardabweichungen,  Prozentränge) für das neue KPD nicht explizit mitgeteilt, Angaben wurden in der 1997iger Veröfentlichung zum RPD gemacht. Es bleibt unklar, ob die stationären Reha-Normen des RPD ebenso für das KPD 2000 in der spezifisch psychotherapeutischen Situation gelten sollen und durch welche Studien oder wenigstens Argumente dies begründet wird.

10.8 Normen: (1) Es wird nicht genau angegeben, wie, unter welchen Bedingungen und in welchem Setting die Normen erhoben / gewonnen wurden. (2) Es hat den Anschein, als lägen für das ambulante Psychotherapiesetting gar keine Normierungen vor. (3) Für die freien Itemwahlen können per definitionem keine Normen vorliegen. Es fragt sich dann, wie sie ausgewertet werden. (4) Es hat den Anschein, als wären die Normen aus dem medizinisch stationären Bereich (Medizin, Psychosomatik, Rehabilitation). Darstellung und Belege zu den Normen hier.

10.9 Korrelationen und multivariate Datenverarbeitung.
Von der Ausgangs- und Vorgängerversion und vom KPD 2000 wurden die beiden Korrelationsmatrizen "Körperliche Beeinträchtigung" (12 Subskalen) und "Seelische Gesundheit" (15 Subskalen) und im KPD 2000 noch die Gesamtmatrix (27 Subskalen) numerisch-mathematisch untersucht. Hierzu muß man wissen, daß Korrelationsmatrizen wenigstens positiv semidefinit sein müssen, höchstens dürfen Eigenwerte 0, aber nicht negativ werden. Sind ein oder mehrere Eigenwerte  0, dann ist die Matrix redundant und hat einen kleineren Rang als ihre Ordnungszahl). Eine nicht-redundante Korrelationsmatrix muß positiv definit sein, d. h. sie darf keinen negativen Eigenwerte enthalten, weil sonst die multivariaten Kennwerte entgleisen und zu völligem Unsinn führen können. Indefinite Matrizen, die also negative Eigenwerte enthalten, aber äußerlich aussehen wie Korrelationsmatrizen (quadratisch, symmetrisch, Hauptdiagonale 1, alle Werte <= | 1 | ), sind mathematisch betrachtet gar keine Korrelationsmatrizen mehr, es sind numerisch-mathematisch betrachtet Pseudo-Korrelationsmatrizen ("Monster-Korrelationsmatrizen"), die entgleisen und vielfältigen und gefährlichen Unsinn hervorrufen, z. B. multiple Korrelationskoeffzienten >1. Sind die negativen Eigenwerte klein (<= 0.05), dann kann die Matrix unter Umständen noch "therapiert" werden, was vor multivariater Weiterverarbeitung auf jeden Fall geschehen müßte. Kleine negativen Eigenwerte entstehen durch Kollinearitäten (gesetzmäßigen Zusammenhängen zwischen Variablen) und Rundungsfehler. Eine solche Indifenitheit ist also "gutartig" und bedeutet, daß man eine oder mehrere Gesetzmäßigkeiten gefunden hat und die Matrix um genau die Anzahl der Dimensionen, bei denen die Eigenwerte um die +- 0.05  herum liegen, reduziert werden kann (Gegensatz: in der Faktorenanalyse "beschließen Forscher", welchen Rang eine Matrix zu haben hat, was mit Wissenschaft nicht mehr das Geringste zu tun hat, sondern reine Numerologie ist).  Zu den Matrix-Analyse-Ergebnissen im einzelnen:

Korrelationsmatrix der Subskalen Krankheitsbezogene Beeinträchtigungen
In: Das Rehabilitationspsychologische Diagnosesystem (RPD).
Zusammenfassung: Die Korrelationsmatrix ist positiv definit und im Grenzbreich numerischer Stabilität (Determinante 0,000248 mit einer Konditionszahl von 66,5). Sie produziert also keine negativen Eigenwerte und kann multivariat verarbeitet werden. Die Matrix ist aber in einem empfindlichen Grenzbereich und es muß daher bei multivariaten Verarbeitungen sorgfältig kontrolliert werden, daß die Verarbeitungen durch Rundungsfehler nicht umkippen und entgleisen. (Einzelheiten und Belege)

Korrelationsmatrix der Subskalen Seelische Gesundheit
In: Das Rehabilitations-Psychologische Diagnosesystem RPD
Zusammenfassung: Die Korrelationsmatrix ist indefinit („psychotisch") und produziert einen massiv negativen Eigenwert am Variablenort 15 mit -.3573. Man beachte, daß aus dem Ort (Skala, Variable), an dem die negativen Eigenwerte auftreten, keine Schlüsse auf die Quelle der Entstehung gezogen werden kann, weil die Eigenwerte einer Korrelationsmatrix unabhängig von Zeilen- oder Spaltenvertauschungen gelten.  Die Matrix entgleist mit einem multplen KOrrelationskoeffizienten von r( 10.rest) = 1.474373721 (!).  Dies zeigt, zu welch unsinnigen Werten Korrleationsmatrizen führen können, wenn sie negative Eigenwerte enthalten. Der hohe negative Eigenwert kann nicht - allein - durch die eingebauten Kollinearitäten durch identische Itempaare erklärt werden, sondern es müssen schwerere Verarbeitungsfehler vorliegen, wahrscheinlich unzulässige und fatale Missing-Data-Lösungen oder/ und  Mixturen aus unterschiedlichen Stichproben mit unterschiedlichen Stichprobenumfängen.(Einzelheiten und Belege)

Korrelationsmatrix der Subskalen Krankheitsbezogene Beeinträchtigungen
In: Das Klinisch-Psychologische Diagnosesystem KPD2000
Zusammenfassung: Die Korrelationsmatrix ist positiv definit und im Grenzbreich numerischer Stabilität Determinante 0,000333263 mit einer Konditionszahl von 61,4). Sie produziert also keine negativen Eigenwerte und kann multivariat verarbeitet werden. Die Matrix ist aber in einem empfindlichen Grenzbereich und es muß daher bei multivariaten Verarbeitungen sorgfältig kontrolliert werden, daß die Verarbeitungen durch Rundungsfehler nicht umkippen und entgleisen. (Einzelheiten und Belege)

Korrelationsmatrix der Subskalen Seelische Gesundheit
In: Das Klinisch-Psychologische Diagnosesystem KPD2000
Zusammenfassung: Die Korrelationsmatrix ist hochgradig indefinit („psychotisch") und produziert zwei massive negative Eigenwerte am Variablenort  Nr. 14 mit -.29063 und am Ort Nr. 15 mit -1.00803  . Man beachte, daß aus dem Ort (Skala, Variable), an dem die negativen Eigenwerte auftreten, keine Schlüsse auf die Quelle der Entstehung gezogen werden kann, weil die Eigenwerte einer Korrelationsmatrix unabhängig von Zeilen- oder Spaltenvertauschungen gelten.  Die Matrix entgleist extrem, indem sie 4 multiple Korrelationskoeffizienten mit Werten über 1 produziert, der höchste davon mit dem sagenhaften Wert  multiple r(2.rest) = 3.542535782 (!). Dies zeigt, zu welch unsinnigen Werten Korrelationsmatrizen führen können, wenn sie negative Eigenwerte enthalten. Die hohen negativen Eigenwerte können nicht durch die eingebauten Kollinearitäten durch identische Itempaare erklärt werden, sondern es müssen massive Verarbeitungsfehler vorliegen, wahrscheinlich unzulässige und fatale Missing-Data-Lösungen oder/ und  Mixturen aus unterschiedlichen Stichproben mit unterschiedlichen Stichprobenumfängen. (Einzelheiten und Belege)

Gesamtmatrix Körperliche Beeinträchtigungen und Seelische Gesundheit
In: Das Klinisch-Psychologische Diagnosesystem KPD2000
Zusammenfassung: Die Korrelationsmatrix ist hochgradig indefinit („psychotisch") und produziert zwei negative Eigenwerte(am Ort  Variablen-Nr. 26. mit -.3093 und am Variablenort Nr. 27 mit -1.07956). Da die Matrix "Körperliche  Beeinträchtigungen" positiv definit war, muß die Quelle dieser Indefinitheit aus der Matrix "Seelische Gesundheit" herrühren. Man beachte, daß aus dem Ort (Skala, Variable), an dem die negativen Eigenwerte auftreten, keine Schlüsse auf die Quelle der Entstehung gezogen werden kann, weil die Eigenwerte einer  Korrelationsmatrix unabhängig von Zeilen- oder Spaltenvertauschungen gelten.  Die Matrix entgleist extrem, indem sie 4 multiple Korrelations-koeffizienten mit Werten über 1 produziert, der höchste davon mit dem sagenhaften Wert multiple r(26.rest)= 3.747093982 (!)). Dies zeigt, zu welch unsinnigen Werten Korrelationsmatrizen führen können, wenn sie negative Eigenwerte enthalten. Die hohen negativen Eigenwerte können nicht durch die eingebauten Kollinearitäten durch identische Itempaare erklärt werden, sondern es müssen massive Ver-arbeitungsfehler vorliegen, wahrscheinlich unzulässige und fatale Missing-Data-Lösungen oder/ und Mixturen aus unterschiedlichen Stichproben mit unterschiedlichen Stichprobenumfängen. (Einzelheiten und Belege)

Querverweise der ausführlichen Dokumentation zur Matrix-Analyse:  für Laien     für professionell Interessierte).
 

10.10 Faktorenanalytische Dimensionsanalyse: nicht mitgeteilt, nicht kontrollierbar, fragwürdig aufgrund der negativen Eigenwerte in den abgeleiteten Korrelationsmatrizen und der vielen mehrfach identisch verwendeten Items bis hin zu zwei vollkommen item-gleichen Subskalen. Die Itemkorrelationen und die daraus gewonnenen Faktorenanalysen werden auch in der Veröffentlichung zum Grundlagen und Vorgängersystem RPD nicht so mitgeteilt, daß eine wissenschaftliche Kontrolle und Überprüfung der Aussagen der Autoren möglich wäre.

10.11 Validität: Weshalb die 27 Subskalen für einen beliebig ambulanten Psychotherapiefall hinsichtlich der Qualität der Psychotherapie valide sein soll, wird nirgendwo erörtert, problematisiert oder gezeigt. Das Qualitätssicherungs- Programm ist selbst nicht qualitätsgesichert. Es bestehe darüberhinaus Zweifel, ob die Grundlage und Vorgängerversion RPD überhaupt empirisch validiert und evaluiert wurde. Untersuchungen und Forschungen hierzu werden nicht mitgeteilt.

10.12 Reliabilität: Es wird weder das Reliabilitätsproblem erörtert noch  problematisiert oder ein Modell, das sich für die Situation Qualitätssicherung in der Psychotherapie dieses Verfahrens (KPD) eignen soll, vorgestellt. Dadurch, daß zwei Subskalen mit identischen Items verwendet werden, ergibt sich ungewollt eine Reliabilitätsschätzung mit dem unverständlichen r=.80 (erwarten würde ich in diesem Fall r >.95). Für das RPD wurde zwar Cronbachs Alpha ermittelt. Aber der Zusammenhang zwischen RPD und KPD ist nirgendwo klar expliziert. Abgesehen davon ist die Reliabilitätslehre der sog. "klassischen Testtheorie" meßtheoretisch außerordentlich umstritten und weder für den Einzelfall fundiert abgeleitet und geeignet noch für die besondere interessengeleitete psychotherapeutische Situation mit ihren mannigfachen Erwartungs-, Wunsch- und Interesseneffekten. Hier versucht man unkritisch, der psychotherapeutischen eine technischen Formalismus überzustülpen, der aus einem anderen Zusammenhang stammt und darüber hinaus als höchst umstritten einzuschätzen ist.

10.13 Stabilität über die Zeit: nicht erörtert.

10.14 Utilität: der Anspruch wird erhoben, aber nicht eingelöst.
 

11 Auswertung und Darstellung:
Die anfängliche Differenzierung bei der Erhebung  von 0...7 wird bei der Auswertung wieder zurückgenommen und die Differenziertheit verwischt. Stattdessen wird eine Farbsymbolik gewählt, die für Farbenblinde oder die relativ häufig vorkommenden Farbenfehlsichtigen auch nicht angemessen ist. Folgende Zuordnungen wurden gewählt: Leerer Kreis  = 0; gelber Kreis = 1,2; orangener Kreis = 3,4,5 und roter Kreis = 6,7, wobei aufsteigende Zahlen eine höhere Belastung repräsentieren.
Bei der Darstellung des Vergleichs Testergebnisse erste und letzte Sitzung wird folgende Farbsymbolik verwendet: grüne Kreisumrandungen (leere Kreise) für Ressourcen, gelbe Kreisumrandungen (leere Kreise) für Durchschnittswerte und rote Kreisumrandungen (leere Kreise) für Defizite. Farblich ausgefüllte Kreise markieren den Standardwertbereich zu Beginn der Behandlung, Kreisumrandungen oder leere Kreise geben den Stand der letzten Testung, sofern insgesamt wenigstens zwei durchgeführt wurden, wieder. Soll man die GutachterInnen zur QS künftig mit der Angabe von Farbpunkten bedienen? AnwenderInnen sind davon abhängig, einen Farbdrucker zu haben. Die Darstellung des Therapieprozesses mit „allen" Skalen ist unübersichtlich.

Zum Anfang dieser Seite