Thema geschlossen
 
Themen-Optionen Ansicht
Alt 14.06.2007, 17:17   #1
Holger
Benutzer
Site Admin
 
Registriert seit: 04.01.2007
Beiträge: 55
Holger ist zur Zeit noch ein unbeschriebenes Blatt
Qualitätskorrektur?
Hallo zusammen,

hätte da mal ne Frage zur Qualitätskorrektur. Ich gehe davon aus, dass der entsprechende Abschnitt 13.12. im Handbuch noch aktuell ist. Dort steht ja

Zitat:
Antwortzeiten als Qualitätskriterium

Die Antwortzeiten der User bilden das Schlüsselkriterium für die Qualitätsindizierung der Umfrageteilnehmer. Für jeden Teilnehmer lässt sich die Zeit berechnen, die er für die Bearbeitung einer bestimmten Fragebogenseite benötigt hat. Für jeden Teilnehmer wird also zunächst ein Index gebildet, der Auskunft über seine durchschnittliche Bearbeitungszeit je Befragungsseite gibt. Hierbei ist zu beachten: Die Gesamtzeit, die ein Befragter für die Beantwortung des kompletten Fragebogens benötigt, wird nicht in die Berechnungen mit einbezogen. Denn je nach Fragebogenverlauf und Filterführung kann die Anzahl der Seiten, die ein Befragter zu sehen bekommt, stark variieren.

Anschließend wird für jede Seite getrennt ermittelt, wo sich bezüglich der Bearbeitungsdauer der Median der Befragungsteilnehmer befindet. Bei 100 Befragten entspricht der Median der Befragungszeit also beispielsweise der gemittelten Befragungsdauer des 50. und des 51. Befragungsteilnehmers, wenn diese nach ihrer Befragungszeit sortiert worden sind.
Ermittlung des Qualitätsindex für einzelne Nutzer

Um die "Qualität" einer Befragungsteilnahme zu ermitteln, wird seine individuelle Bearbeitungsdauer mit der durchschnittlichen Bearbeitungsdauer der gesamten Stichprobe in Beziehung gesetzt. Diese Beziehung lässt sich durch eine Zahl ausdrücken, die in der Variable quality festgehalten wird. Beispielsweise bedeutet ein Wert von 0.5, dass der entsprechende Nutzer exakt die durchschnittliche Zeit zur Bearbeitung der Fragebogenseiten benötigt hat. Bei einem Wert von 0,25 hat der Befragte halb so lange wie der Durchschnitt zur Bearbeitung benötigt.
Habe die Qualitätskorrektur nun durchgeführt und mich ein wenig gewundert. Nach der Darstellung im Handbuch müsste doch der Mittelwert für die Variable "quality" bei 0,5 liegen, oder täusch ich mich da? Der Mittelwert meiner 2141 gültigen Datensätze liegt bei 0,45. Steh ich auf dem Schlauch oder kann mir das einer erklären?

Und: Wie kommt es zu den Codes -77 in der Variable? Wesentlich sind dabei natürlich diejenigen Teilnehmer, die abgebrochen haben (Dispcode=20). Darüberhinaus gibt es aber noch 21, die unterbrochen haben (Dispcode=22). Viele andere "Unterbrecher" wurden aber korrekt bewertet. Wie kommt das zustande? Falls ich diesen Index als Kriterium hernehme, muss ich ja wissen, wie er tickt ... ;-)

Danke schon mal für die Info!

Viele Grüße,
Holger
Holger ist offline  
Alt 20.06.2007, 09:28   #2
Bjoern Pfennig
Neuer Benutzer
Site Admin
 
Registriert seit: 31.07.2006
Beiträge: 9
Bjoern Pfennig hat die Renommee-Anzeige deaktiviert
Median vs. Arithmetik
Hallo Holger,

===
Habe die Qualitätskorrektur nun durchgeführt und mich ein wenig gewundert. Nach der Darstellung im Handbuch müsste doch der Mittelwert für die Variable "quality" bei 0,5 liegen, oder täusch ich mich da? Der Mittelwert meiner 2141 gültigen Datensätze liegt bei 0,45. Steh ich auf dem Schlauch oder kann mir das einer erklären?
===

Es sieht so aus, dass wir bei der Berechnung nicht das arithmetische Mittel verwenden.Zur Berechnung des Qualitätsindex wird der MEdian-Wert verwendet. Dieser wird anderes berechnet als das arithmetische Mittel.
Das arithmetische Mittel beschreibt Summe aller Antwortzeiten geteilt durch die Anzahl der Teilnehmer, der Medianwert stellt die Grenze zwischen zwei Hälften dar.
Der Qualitätsindex (OI) ist (ungefähr) der Medianwert, gebrochen auf 0.5. Die anderen Werte orientieren sich am QI. Das Ergebnis beschreibt die Abweichungen.


Ein Beispiel:
1000 TN an der Umfrage haben teilgenommen.

Durchschnittliche Antwortzeiten sind :
Summe aller Antwortzeiten / 1000 = Durchschnitt (bsp. 60 Sec)

Medianer Mittelwert:
Sortierung der Anwortzeiten.
Die Zeit zwischen 1000 und dem 1001 wird genommen und auf 0.5 gesetzt.
(bsp. 58 sec )

Der TN Manfred Mustermann hat Antwortzeiten von Durchscnittlich 50 Sec was ungefähr einer quality von 0.47 entspricht ...

Die 0.5 entspricht einer vordefinierten Vergleichsgrösse. Sie entspricht nicht der durchschnittlichen oder tatsächlichen Antwortzeiten.

Zitat: Wikipedia:
====
Median (oder Zentralwert) bezeichnet eine Grenze zwischen zwei Hälften. In der Statistik halbiert der Median eine Stichprobe. Gegenüber dem arithmetischen Mittel, auch Durchschnitt genannt, hat der Median den Vorteil, robuster gegenüber Ausreißern (extrem abweichenden Werten) zu sein und sich auch auf ordinal skalierte Variablen anwenden zu lassen.


* Messwerte 3, 5, 7, 10, 11, 17, 24: Ungerade Anzahl. Der Median ist der Wert an der mittleren Stelle, also 10. Das arithmetische Mittel dagegen ist 11.
* Messwerte 1, 1, 2, 3, 4, 37: Gerade Anzahl. Der Median ist die Hälfte der Summe der beiden mittleren Zahlen, also ½ (2 + 3), also 2,5. Das arithmetische Mittel dagegen ist 8.
===

Den Algorithmus, der zur Berechnung der 'quality'-Variablen verwendet wird, kann ich dir leider nicht mitteilen.


===============

===
Und: Wie kommt es zu den Codes -77 in der Variable? Wesentlich sind dabei natürlich diejenigen Teilnehmer, die abgebrochen haben (Dispcode=20). Darüberhinaus gibt es aber noch 21, die unterbrochen haben (Dispcode=22). Viele andere "Unterbrecher" wurden aber korrekt bewertet. Wie kommt das zustande? Falls ich diesen Index als Kriterium hernehme, muss ich ja wissen, wie er tickt ... ;-)
===

Der Dispositionscode -77 ist, wie im Handbuch beschrieben, der Vordefiniert Wert einer Intergervaliablen (Radio-/Select-Boxen).
Wird eine Variable angelegt, so bekommt Sie den Defaultwert -77 (bei Textvariablen -66). Sie ein TN die Frage mit der Variablen und wählt die Antwort NICHT aus, so bekommt sie den Wert 0. Wählt ein TN die Variable, bekommt Sie die Ausprägung 1,2, ... .
Sieht ein TN die Frage nicht, bei Ausblendbedingungen beispielsweise, so bleibt der Wert -77 bestehen.


Hoffe damit deine Fragen ausreichend beantwortet zu haben.

Viele Grüsse
Bjoern
Bjoern Pfennig ist offline  
Alt 20.06.2007, 11:38   #3
Holger
Benutzer
Site Admin
 
Registriert seit: 04.01.2007
Beiträge: 55
Holger ist zur Zeit noch ein unbeschriebenes Blatt
Ja, soweit klar...
Hallo Bjoern,

danke für die Erklärung. Klar, das hatte ich übersehen, dass ihr mit dem Median rechnet. Der Unterschied zwischen Median und Mittelwert ist mir klar.

Zitat:
Zitat von Bjoern Pfennig Beitrag anzeigen
===
Und: Wie kommt es zu den Codes -77 in der Variable? Wesentlich sind dabei natürlich diejenigen Teilnehmer, die abgebrochen haben (Dispcode=20). Darüberhinaus gibt es aber noch 21, die unterbrochen haben (Dispcode=22). Viele andere "Unterbrecher" wurden aber korrekt bewertet. Wie kommt das zustande? Falls ich diesen Index als Kriterium hernehme, muss ich ja wissen, wie er tickt ... ;-)
===

Der Dispositionscode -77 ist, wie im Handbuch beschrieben, der Vordefiniert Wert einer Intergervaliablen (Radio-/Select-Boxen).
Wird eine Variable angelegt, so bekommt Sie den Defaultwert -77 (bei Textvariablen -66). Sie ein TN die Frage mit der Variablen und wählt die Antwort NICHT aus, so bekommt sie den Wert 0. Wählt ein TN die Variable, bekommt Sie die Ausprägung 1,2, ... .
Sieht ein TN die Frage nicht, bei Ausblendbedingungen beispielsweise, so bleibt der Wert -77 bestehen.
Die Frage danach, wie die Missings (-77) zustande kommen, bezog sich nicht darauf, wie dies im Allgemeinen ist, sondern wie bei der quality-Variable eine -77 bei einem Dispcode von 22 zustande kommt.

*Ich habe einen Datensatz, bei dem der Teilnehmer nach 5 Seiten abgebrochen hat -> dieser hat keinen quality-Wert (-77)
* Ich habe einen Datensatz, bei dem der Teilnehmer nach 3 Seiten abgebrochen hat -> dieser hat einen quality-Wert (z.B. 0,54)

Wie kommt das zustande?


Viele Grüße,

Holger
Holger ist offline  
Alt 20.06.2007, 18:00   #4
Bjoern Pfennig
Neuer Benutzer
Site Admin
 
Registriert seit: 31.07.2006
Beiträge: 9
Bjoern Pfennig hat die Renommee-Anzeige deaktiviert
Export mit -77
Hallo Holger,

ich habe mir mal einen Export gezogen und 3 TN verglichen.

dispocode 22
quality 0.69
duration 42
p-history 231589,231592,
ts231589 42
ts231592 72

dispocode 22
quality -77
duration 0
p-history 231589,
ts231589 142
ts231592 --

dispocode 22
quality -77
duration 271
p-history 231589,231592,
ts231589 127
ts231592 271


So, der Wert für die duration wird immer dann auf 0 gesetzt, wenn der TN sich auf der ersten Seite bewegt hat, also gesehen, aber diese nicht abgeschickt hat. Die quality wird dann automatisch -77. (Fall 2)
Alle Ergebnisse, also Verweildauern, die über das 4-Fache der durchschnittlichen Zeit betragen, fließen nicht mehr in die Ergebnisse ein (Fall 3), und werden damit auf -77 gesetzt.
Der Reste ist klar.

Zur Berechnung kann und darf ich dir nichts sagen, dies faäät unter die Rubrik "sensible Daten" und wird nicht preisgegeben. Ob dies für dich unwissenschaftlich wirk, vermag ich nicht zu beurteilen ... kann ich aber leider auch nicht ändern.

Ich hoffe dir damit hinreichend Antwort gegeben zu haben.


viele Grüsse
Bjoern
Bjoern Pfennig ist offline  
Alt 29.06.2007, 16:22   #5
Holger
Benutzer
Site Admin
 
Registriert seit: 04.01.2007
Beiträge: 55
Holger ist zur Zeit noch ein unbeschriebenes Blatt
Hallo Bjoern,

erst mal danke für die Information und Erklärung der -77er Codes. So ist das transparent für mich.

Leider fehlt mir diese Transparenz nach wie vor für die Berechnung der quality-Variable insgesamt. Je länger ich mich mit dieser beschäftige, desto mehr würde ich deren Berechnung gern verstehen und vielleicht auch noch ein bisschen verbessern. Denn es gibt Fälle, wo das Ergebnis durchaus noch optimiert werden könnte.

Auf der Website von Globalpark heißt es "Das Ziel von UNIpark: Zusammen mit Hochschulen will Globalpark die Online-Marktforschung etablieren und weiterentwickeln. Für Globalpark steht der Know-how-Austausch im Vordergrund des Programms. Forscherinnen und Forscher können sich bei UNIpark ganz auf ihre inhaltlichen Themen konzentrieren, die Konzeption und Programmierung der Fragebögen erfolgt mit Hilfe des umfragecenters."

In diesem Fall hier würde ich mich tatsächlich über ein bisschen mehr "Zusammen" und "Know-how-Austausch" freuen. Natürlich würde ich mich gern auf meine inhaltlichen Themen konzentrieren, doch dies kann ich natürlich nur, wenn im Bereich der Methode (hier eben bei der Qualitätsvariable) alles von mir begründbar und stimmig ist. Ich kann nicht auf der Basis von einer mir unbekannten Berechnung Datensätze aussortieren, genausowenig wenn ich den Eindruck habe, dass diese Berechnung durchaus noch optimiert werden könnte. Das meine ich mit "unwissenschaftlich". Ich würde meinen, dass niemand der halbwegs ernsthaft Wissenschaft betreibt, an zentraler Stelle eine (sehr wichtige!) Variable verwendet, deren Zustandekommen er jedoch nicht nachvollziehen kann. Hier habe ich den Eindruck Globalpark schließt dabei gerade im Rahmen des Unipark-Programms ein wichtiges Klientel aus und vergibt sich damit eine wichtige Chance. Eine Methode wie die Online-Forschung lässt sich nicht dadurch weiterentwickeln und -verbreiten, wenn wichtige Hintergründe hinter Verschluss gehalten werden.

Deshalb möchte ich einfach noch einmal darum bitten, mir die Grundlage für diese Qualitätsvariable zur Verfügung zu stellen. Ich möchte damit kein Geld verdienen oder diese im Internet veröffentlichen, sondern einfach nur nachvollziehen können, worauf ich mich an zentraler Stelle meiner Untersuchung im Rahmen meiner Dissertation beziehe.

Ich würde mich freuen, wenn ihr intern noch mal prüfen könntet, ob dies nicht doch möglich ist.

Viele Grüße,

Holger
Holger ist offline  
Alt 03.07.2007, 09:04   #6
Bjoern Pfennig
Neuer Benutzer
Site Admin
 
Registriert seit: 31.07.2006
Beiträge: 9
Bjoern Pfennig hat die Renommee-Anzeige deaktiviert
Hallo Holger,

> Leider fehlt mir diese Transparenz nach wie vor für die Berechnung
> der quality-Variable insgesamt. Je länger ich mich mit dieser
> beschäftige, desto mehr würde ich deren Berechnung gern verstehen und
> vielleicht auch noch ein bisschen verbessern. Denn es gibt Fälle, wo
> das Ergebnis durchaus noch optimiert werden könnte.

für Verbesserungsvorschläge sind wir natürlich immer offen. Genau dafür
ist das Unipark-Programm ja gedacht. Innovative Verbesserungen von den
Nutzern selber.

> Auf der Website von Globalpark heißt es "Das Ziel von UNIpark:
> Zusammen mit Hochschulen will Globalpark die Online-Marktforschung
> etablieren und weiterentwickeln. Für Globalpark steht der
> Know-how-Austausch im Vordergrund des Programms. Forscherinnen und
> Forscher können sich bei UNIpark ganz auf ihre inhaltlichen Themen
> konzentrieren, die Konzeption und Programmierung der Fragebögen
> erfolgt mit Hilfe des umfragecenters."

Wie gesagt. Wir sind immer offen für neue Verbesserungsvorschläge und
auch innovative Vorschläge.

> In diesem Fall hier würde ich mich tatsächlich über ein bisschen mehr
> "Zusammen" und "Know-how-Austausch" freuen. Natürlich würde ich mich
> gern auf meine inhaltlichen Themen konzentrieren, doch dies kann ich
> natürlich nur, wenn im Bereich der Methode (hier eben bei der
> Qualitätsvariable) alles von mir begründbar und stimmig ist. Ich kann
> nicht auf der Basis von einer mir unbekannten Berechnung Datensätze
> aussortieren, genausowenig wenn ich den Eindruck habe, dass diese
> Berechnung durchaus noch optimiert werden könnte. Das meine ich mit
> "unwissenschaftlich". Ich würde meinen, dass niemand der halbwegs
> ernsthaft Wissenschaft betreibt, an zentraler Stelle eine (sehr
> wichtige!) Variable verwendet, deren Zustandekommen er jedoch nicht
> nachvollziehen kann. Hier habe ich den Eindruck Globalpark schließt
> dabei gerade im Rahmen des Unipark-Programms ein wichtiges Klientel
> aus und vergibt sich damit eine wichtige Chance. Eine Methode wie die
> Online-Forschung lässt sich nicht dadurch weiterentwickeln und
> -verbreiten, wenn wichtige Hintergründe hinter Verschluss gehalten
> werden.

Wenn du einen Vorschlag für eine verbesserte Berechnung hast, kannst du
uns diesen gerne mitteilen und wir geben diese Änderungen direkt an
unseren Produktmanager, der dann entscheidet, ob die Änderungen
eingebaut werden oder ob der bestehende Algorithmus verbessert /
angepasst wird.
Wir als Software-Support können diese Entscheidung jedoch nicht treffen,
was mit Sicherheit ja auch verständlich ist.

> Deshalb möchte ich einfach noch einmal darum bitten, mir die
> Grundlage für diese Qualitätsvariable zur Verfügung zu stellen. Ich
> möchte damit kein Geld verdienen oder diese im Internet
> veröffentlichen, sondern einfach nur nachvollziehen können, worauf
> ich mich an zentraler Stelle meiner Untersuchung im Rahmen meiner
> Dissertation beziehe.
>
> Ich würde mich freuen, wenn ihr intern noch mal prüfen könntet, ob
> dies nicht doch möglich ist.

Wie gesagt, dürfen wir als Supporter den Algorithmus selber nicht heraus
geben, zumal der Algorithmus nicht dokumentiert ist. Ich kann dir nur
soviel sagen, dass:
- für jeden Teilnehmer die Bearbeitungsdauer berechnet wird
- der Median für Bearbeitungsdauer ermittelt wird
- Teilnehmer, die 4 mal länger als der Median gebraucht haben, für die
weitere Berechnung verworfen werden
- die Bearbeitungszeit jedes Teilnehmers dann ins Verhältnis zu dem
Median gestellt wird und dieser Wert dann letztlich dem Exportwert
entspricht

Bitte habe Verständnis, wenn wir als Supporter dir keine weiteren
Informationen zum Algorithmus geben können. Wie gesagt, er ist nicht
ins Detail dokumentiert. Unser Geschäftsführer ist jedoch für Forschungen sehr offen. ggf. kannst du dich direkt an ihn wenden ... ?

Viele Grüße

Bjoern
Bjoern Pfennig ist offline  
Thema geschlossen


Themen-Optionen
Ansicht

Forumregeln
Es ist Ihnen nicht erlaubt, neue Themen zu verfassen.
Es ist Ihnen nicht erlaubt, auf Beiträge zu antworten.
Es ist Ihnen nicht erlaubt, Anhänge anzufügen.
Es ist Ihnen nicht erlaubt, Ihre Beiträge zu bearbeiten.

vB Code ist An.
Smileys sind An.
[IMG] Code ist An.
HTML-Code ist Aus.
Gehe zu


Alle Zeitangaben in WEZ +1. Es ist jetzt 09:34 Uhr.

unipark
© Copyright 2011 QuestBack GmbH - Unipark Forum Onlineforschung | Unipark Online-Umfrage Tool | kontakt | impressum |