Um Erkenntnisse und beobachtete Sachverhalte hinsichtlich ihres Wahrheitsgehaltes zu untermauern und kritischen Erwiderungen entgegen zu treten, wird eine unterstellte Signifikanz als Schwergewicht häufig in den Ring geworfen. Die ursprüngliche nicht belegte Vermutung gilt somit als bewiesen, Skeptiker werden geradezu mundtot gemacht. Schließlich ist es signifikant belegt worden, was quasi einem Beweis gleichkommt.
Ob es Kennzahlen sind, die einen bestimmten Sachverhalt angeblich belegen oder eine Erhebung z. B. in Form einer Befragung etwas als erwiesen erscheinen lässt – viel zu selten hinterfragen die Adressaten dieser Aussagen deren tatsächliche Bedeutung. Es lohnt sich also, genauer die Aussagekraft und das Bedeutungsgewicht von als signifikant postulierten Erkenntnissen zu betrachten.
Insbesondere in der Marktforschung sind signifikante Aussagen sehr gefragt und spielen in der Begründung und Argumentation von Strategien und Handlungsempfehlungen eine große Rolle. Als Marketingverantwortlicher betrachtet man die Ergebnisse aus Marketingstudien kritisch und möchte wohl differenzieren, ob es sich bei einzelnen Ergebnissen lediglich um zufällige Sachverhalte handelt, die dem geschuldet sind, dass man sich auf Teilerhebungen beschränken muss, oder ob es sich um bedeutsame, auf die interessierende Gesamtheit übertragbare Erkenntnisse handelt.
Unter Zuhilfenahme spezialisierter Statistikprogramme werden solche Signifikanzen (z.B. welcher Wert bei 98%iger Sicherheit signifikant ist) automatisiert mit „ausgeworfen“ und vom Marktforscher gerne unkommentiert weitergegeben. Dabei ist es höchst zweifelhaft, ob diese Größe tatsächlich die erwünschte Bedeutsamkeit der Ergebnisse widerspiegelt oder nur scheinbar das Sicherheitsbedürfnis zufriedenstellt.
Was bedeutet Signifikanz?
Signifikanz ist ein Ausdruck der statistisch mathematischen Theorie. Mit der statistischen Signifikanz wird ein Maß geliefert, das ausdrückt, in wie fern sich statistische Ergebnisse aus einer erhobenen Stichprobe auf die Gesamtheit übertragen und somit generalisieren lassen.
Es soll beispielsweise herausgefunden werden, ob sich die Nachfragegruppen zweier Marktsegmente (z.B. unterschiedliche Länder) hinsichtlich der Preisbereitschaft bezüglich eines bestimmten Produktes unterscheiden. Aus jedem Segment werden Zufallsstichproben gezogen und die Probanden befragt, welchen Preis sie maximal für das Produkt zu zahlen bereit wären. Zusammenfassend werden die Mittelwerte der beiden Stichproben verglichen, und es interessiert die Frage, ob der hier festgestellte Unterschied nur zufällig zustande gekommen ist, oder ob sich dieser Unterschied auf die Gesamtheit der beiden Segmente übertragen lässt.
Hier kommt das statistische Signifikanzniveau zum Tragen. Dieses gibt die Wahrscheinlichkeit wieder, einen Unterschied in den Stichprobenwerten zu erhalten, der mindestens so groß ist wie die erhobene Differenz, obwohl in der Realität kein Unterschied in den Segmenten besteht. Man spricht hier auch von Fehler- oder Irrtumswahrscheinlichkeit.
Statistische Signifikanz
„Die Statistisch Signifikanz gibt Aufschluss über die Übertragbarkeit statistischer Ergebnisse bezüglich einer erhobenen Stichprobe auf eine Grundgesamtheit. Ein statistisches Ergebnis gilt als signifikant (zu einem bestimmten Niveau), wenn das rein zufällige Auftreten dieses Ergebnisses, obwohl es für die Grundgesamtheit keine Gültigkeit hat, mit einer (dem Signifikanzniveau entsprechenden) geringen Irrtumswahrscheinlichkeit behaftet ist.“
Im allgemeinen Sprachgebrauch weicht die Begriffsauffassung etwas ab, da signifikant auch als groß oder bedeutsam interpretiert wird. Hier sollte aber sehr wohl differenziert werden.
Signifikanztest und Signifikanzniveau
Da der Begriff der Signifikanz untrennbar mit den Methoden der Statistik verbunden ist, muss ein Blick auf die Vorgehensweise bei statistischen Signifikanztests geworfen werden.
Zuerst müssen die Tests so gewählt werden, dass sie bezüglich der modellhaft unterstellten Wahrscheinlichkeitsverteilung des interessierenden Merkmals dem Datenmaterial und des zu testenden Parameters entsprechen. Beispielsweise gibt es unterschiedliche Testverfahren einmal in einer Situation, in der Anteile einer dichotomen Größe interessieren, und zum anderen, wenn es den Erwartungswert eines stetigen Merkmals betrifft.
Als nächstes sollte die interessierende Vermutung als These formuliert und damit der Test konkretisiert werden. Eine Beispielthese könnte zum Beispiel folgendermaßen lauten: Im Durchschnitt ist der akzeptierte Preis in Segment A höher als der entsprechende Durchschnittswert in Segment B. Um diese Hypothese (signifikant) zu überprüfen, ist sie als Gegen- bzw. Alternativhypothese im Test aufzunehmen. So formuliert man die Nullhypothese, dass die zu erwartende Preisbereitschaft in Segment A maximal so hoch ist wie in Segment B. Unter gewissen Annahmen, z.B. das Ziehen zufälliger Stichproben und approximativ unterstellter Normalverteilung, existieren wohlbekannte statistische Testverfahren zur Beantwortung der Frage, ob sich die ursprüngliche These (als Gegenthese formuliert) statistisch belegen lässt oder nicht (zu einem vorgegebenen Signifikanzniveau) bzw. bis zu welcher Signifikanz und somit akzeptierter Irrtumswahrscheinlichkeit der These zugestimmt wird.
Beispielsweise bedeutet ein unterstelltes Signifikanzniveau von 95%, dass mit einer Wahrscheinlichkeit von höchstens 5% eine fälschliche Annahme der ursprünglichen Vermutung (als Gegenhypothese formuliert) der Fall ist. Anders ausgedrückt: Wenn meine ursprüngliche Vermutung tatsächlich unzutreffend ist, wird das gewählte Testverfahren auch mit einer Wahrscheinlichkeit von mindestens 95% zu der korrekten Entscheidung führen. Weit verbreitet ist eine falsche Auffassung oder Interpretation, die in einer Aussage mündet wie: „Mit 95% Wahrscheinlichkeit ist die formulierte These richtig.“ Der Wahrheitsgehalt der These ist keine Zufallsgröße! Die These ist richtig oder eben nicht. Es ist der verwendete Test, basierend auf einer zufälligen Stichprobe, der mit etwa 95%iger Wahrscheinlichkeit zu wahren Aussage führen wird!
Mittels solcher Signifikanztests wird demzufolge die Präzision eines Stichprobenergebnisses und der damit verbundenen Entscheidung über die formulierte These bzw. Vermutung bestimmt. Offensichtlich ist der Umfang der Stichprobe maßgeblich für den Präzisionsgrad verantwortlich. Es ist leicht ersichtlich, dass eine Vollerhebung die Irrtumswahrscheinlichkeit gegen Null streben lässt.
Aussagekraft der statistischen Signifikanz in der Marktforschung
Es muss kritisch hinterfragt werden, ob das, was der Marktforscher hinsichtlich der Bedeutsamkeit bestimmter Effekte erfahren möchte, tatsächlich mittels der Signifikanz zum Ausdruck kommt. Es stellt sich die Frage, wie groß ein Effekt sein muss, um bedeutsam zu sein!
Die Signifikanz spiegelt eine statistische Bedeutsamkeit wieder, jedoch sagt sie nichts über die theoretische, inhaltliche Bedeutsamkeit des Befundes aus.
Z.B. welche Wertedifferenz beim Vergleich der Stichprobenmittelwerte ist für unser subjektives Empfinden und somit für unser Handeln bedeutsam? Durchaus denkbar, dass wegen einer sehr beachtlichen Stichprobengröße die zu überprüfende These bei einem strengen Signifikanzniveau angenommen wird (also dass die Mittelwerte in Segment A höher sind als in Segment B), aber der Unterschied so verschwindend gering ist, dass es eigentlich für eine segmentspezifische Bearbeitung zu unbedeutend ist. Ab welcher Stärke des Effektes lässt sich die Aussage „beweisen“, dass sich die Preisbereitschaften in den Segmenten so deutlich unterscheiden, dass eine Preisdifferenzierung lohnenswert ist?
Auch unter der Prämisse, dass die Ermittlung der statistischen Bedeutung korrekt durchgeführt wurde, ist es erforderlich, die Ergebnisse ebenso inhaltlich wie wissenschaftlich auf ihre Bedeutsamkeit hin zu überprüfen, bevor der Befund zu konkreten Handlungsempfehlungen für das Marketing führt. Auch wenn – um auf das obige kleine Beispiel zurückzukommen – der Signifikanztest zu einem Niveau von 99% die Vermutung zulässt und untermauert, dass die durchschnittliche Preisbereitschaft in Segment A (bei einem Stichprobenmittelwert von 205,- € in Segment A gegenüber eines Mittels von 210,- € in Segment B) geringer ist – die inhaltliche Bedeutsamkeit aufgrund der geringen Differenz erscheint dennoch zweifelhaft.
Wir beraten Sie zu den Möglichkeiten und Methoden der Marktforschung und begleiten Ihr Projekt! Sprechen Sie unseren Experten an:
Herr Bastian Foerster
Tel.: +49 (0)221 – 99 555 10 16
Fax: +49 (0)221 – 99 555 10 77
E-Mail senden
[/vc_cta]
#Signifikanz #Marktforschung #Signifikanztest #Signifikanzniveau
