Qualität der Antworten

Informationen zur Antwortqualität

Die ExpertReview-Antwortqualität ist eine Funktion auf der Qualtrics-Plattform, die die Gesamtqualität der von Ihnen erfassten Daten prüft, bevor Sie mit der Analyse beginnen. Die Lösung gibt Empfehlungen zur Verbesserung Ihre Umfrage aus, damit Sie Daten mit höchstmöglicher Qualität erfassen können. Unten stehend finden Sie mögliche Fehlermeldungen, die Sie eventuell über ExpertReview erhalten, sowie Methoden für die Fehlerbehebung.

Anweisungen zur Verwendung von ExpertReview in Data & Analysis finden Sie unter Response Quality Functionality.

Teilnehmer hat Umfrage ungewöhnlich schnell beendet

Teilnehmer, die Ihre Umfrage zu schnell abschließen, werden als Schnelldreher gekennzeichnet. Dies bedeutet, dass sie zufällig Antworten auswählen, um schnell durch die Umfrage zu gelangen, anstatt Ihnen qualitativ hochwertige Antworten zu geben.

Antworten werden gekennzeichnet, wenn es sich um mehr als zwei Standardabweichungen von der medianen Dauer handelt, die Ihre Teilnehmer benötigen, um an der Umfrage teilzunehmen, und Sie mindestens 100 Antworten in Ihrer Umfrage erfasst haben müssen. Screenout-, Vorschau- und Testantworten werden nicht auf die 100 Antworten angerechnet.

Möglicher Bot

Mit der unsichtbaren reCaptcha-Technologie von Google können wir die Wahrscheinlichkeit erkennen, dass eine Antwort von einem Bot und nicht von einem menschlichen Subjekt kam. Wenn die Bot-Erkennung aktiviert ist, wird jedem Antwortenden im eingebetteten Datenfeld Q_RecaptchaScore eine Punktzahl zugeordnet, die angibt, wie wahrscheinlich es ist, dass die Antwort von einem Bot stammt. Wenn diese Bewertung kleiner als 0,5 ist, wird die Antwort als Bot gekennzeichnet.

Bots verhindern

Es gibt mehrere Möglichkeiten, die Wahrscheinlichkeit zu verringern, dass ein Bot sich durch Ihre Umfrage bewegt.

• Verwenden Sie Q_RecaptchaScore in der Verzweigungslogik, um Bots an das Ende der Umfrage zu senden oder sie vollständig zu überprüfen.
• Verwenden Sie am Anfang Ihrer Umfrage eine Captcha-Verifizierungsfrage.
• Wenn Sie an ein Panel verteilen, schränken Sie mit einem Authentifizierer oder einem Kennwort ein, wer an der Umfrage teilnehmen darf.
• Passen Sie die Sicherheitsoptionen Ihrer Umfrage an.

Teilnehmer hat mehr als einmal an der Umfrage teilgenommen

Es kann vorkommen, dass Benutzer mehrmals versuchen, an Ihrer Umfrage teilzunehmen. Abhängig vom Ziel Ihrer Studie können Dubletten die Qualität Ihrer Daten verringern, indem sie die Ergebnisse auf das Feedback der wiederholten Täter verfälschen.

Je nachdem, welche Umfrageoption Sie aktiviert haben, gibt es zwei verschiedene Möglichkeiten, wie eine Antwort als Dublette gekennzeichnet werden kann:

• RelevantID ist aktiviert: Das Feld Q_RelevantIDDuplicateScore ist größer oder gleich 75.
• Mehrere Einreichungen verhindern ist auf “Antworten kennzeichnen:” gesetzt. Das Feld Q_BallotBoxStuffing ist gleich “true”.

Verhindern von wiederholten Antworten

Je nachdem, wie Sie Ihre Umfrage eingerichtet haben, können Sie doppelte Antworten verhindern, bevor Sie überhaupt mit dem Sammeln von Daten beginnen.

• Wenn Sie Ihre Teilnehmer kennen, senden Sie die Umfrage per E-Mail an die Teilnehmer.
  Tipp: Um sicherzustellen, dass niemand den anonymen Link verwenden kann, ändern Sie Ihren Umfragezugriff auf Nur auf Einladung.
• Wenn Sie Ihre Teilnehmer kennen oder Single Sign-On (SSO) in Ihrer Organisation verwenden, verwenden Sie einen Authentifizierer mit der Option, die Wiederaufnahme zu deaktivieren.
• Wenn Sie Mehrfachabgaben mit einem anonymen Link verhindern verwenden, wählen Sie eine Option zum Beenden der Umfrage oder zur Weiterleitung.
  Tipp: Wenn Sie einen anonymen Link verwenden, werden durch die Aktivierung von RelevantID Dubletten nicht sofort gelöscht, sondern Ihre Datenqualität verbessert, da Sie Dubletten nach Beendigung der Datensammlung löschen können.

Niedrige Abschlussquote

Wenn ein Umfrageteilnehmer seine Umfrage nicht innerhalb von 24 Stunden nach dem Start abschließt, ist es wahrscheinlich, dass er die Umfrage nicht abschließen wird. Je öfter dies geschieht, desto wahrscheinlicher ist es, dass etwas über die Art und Weise, wie die Umfrage geschrieben oder formatiert wird, die Teilnehmer wegbringt.

Ihre Umfrage kann erst dann als nicht vollständig abgeschlossen gekennzeichnet werden, wenn Sie mindestens 100 abgeschlossene Antworten gesammelt haben. (Dies schließt unvollständige Antworten und laufende Antworten aus.) Eine schlechte Abschlussrate wird ebenfalls nicht gekennzeichnet, wenn in den letzten 24 Stunden keine Antworten gestartet wurden. (Dazu gehören abgeschlossene Antworten, unvollständige Antworten und in Bearbeitung befindliche Antworten.) Dadurch wird sichergestellt, dass es kein falsch positives Ergebnis für den schlechten Abschluss gibt, wenn Ihre Studie vor Monaten mit dem Sammeln von Antworten aufgehört hat.

Wenn Erledigungsgrad 24 Stunden markiert ist

Eine Umfrage weist eine schlechte Abschlussrate auf, indem folgende Werte berechnet werden:

(Anzahl der Umfragen, die 24 Stunden nach der aktuellen Zeit gestartet und abgeschlossen wurden) / (Anzahl der Umfragen, die 24 Stunden nach der aktuellen Zeit gestartet wurden)

• Gering: Nur 1 bis 9 % der innerhalb der letzten 24 Stunden gestarteten Antworten wurden nicht abgeschlossen.
• Mäßig: 10 bis 20 % der innerhalb der letzten 24 Stunden gestarteten Antworten wurden nicht abgeschlossen.
• Schwerwiegend: 21 % oder mehr der innerhalb der letzten 24 Stunden begonnenen Antworten wurden nicht abgeschlossen.

Vorbereiten Ihrer Umfrage

Schlechte Abschlussraten können bedeuten, dass es ein Problem mit der Art und Weise gibt, wie die Umfrage erstellt wurde. Wenn Sie Ihre Umfrage überarbeiten, um die Abschlussrate zu verbessern, ist es wichtig, zu berücksichtigen, welcher iQ-Score-ExpertReview ursprünglich Ihrer Umfrage zugeordnet wurde. Die folgenden Seiten enthalten Hinweise zu allen ExpertReview-Flags zu allen Problemen.

• Umfragemethodik & Best Practices für Compliance
• Häufige Umfragenfehler
• Abfrage sensibler Daten

Niedrige Abschlussquote

Je schlechter die Abschlussrate einer Umfrage ist, desto wahrscheinlicher ist es, dass die Umfrageteilnehmer durch die Art und Weise, wie die Umfrage geschrieben oder formatiert wird, verdrängt werden.

Ihre Umfrage kann erst dann als nicht vollständig abgeschlossen gekennzeichnet werden, wenn Sie mindestens 100 abgeschlossene Antworten gesammelt haben. (Dies schließt importierte Antworten, unvollständige Antworten und laufende Antworten aus.)

Wenn Gesamtfertigstellungsgrad markiert ist

Eine Umfrage weist eine schlechte Abschlussrate auf, indem folgende Werte berechnet werden:

(Gesamtzahl der vollständigen Umfrageantworten) / (Gesamtzahl der erfassten Antworten + Gesamtzahl der laufenden Antworten)

• Gering: Nur 1 bis 9 % der innerhalb der letzten 24 Stunden gestarteten Antworten wurden nicht abgeschlossen.
• Mäßig: 10 bis 20 % der innerhalb der letzten 24 Stunden gestarteten Antworten wurden nicht abgeschlossen.
• Schwerwiegend: 21 % oder mehr der innerhalb der letzten 24 Stunden begonnenen Antworten wurden nicht abgeschlossen.

Vorbereiten Ihrer Umfrage

Schlechte Abschlussraten können bedeuten, dass es ein Problem mit der Art und Weise gibt, wie die Umfrage erstellt wurde. Wenn Sie Ihre Umfrage überarbeiten, um die Abschlussrate zu verbessern, ist es wichtig, zu berücksichtigen, welcher iQ-Score-ExpertReview ursprünglich Ihrer Umfrage zugeordnet wurde. Die folgenden Seiten enthalten Hinweise zu allen ExpertReview-Flags zu allen Problemen.

• Umfragemethodik & Best Practices für Compliance
• Häufige Umfragenfehler
• Abfrage sensibler Daten

Antworten mit sensiblen Daten

Manchmal enthält eine Antwort vertrauliche Informationen über einen Teilnehmer. Dabei kann es sich um eine beliebige Telefonnummer oder eine Sozialversicherungsnummer handeln. Jedes Unternehmen verfügt über einen eigenen Inhaltsstandard, der als sensibel betrachtet wird, und es gibt Fälle, in denen Sie diese Daten aus Ihrem Datenset ausschließen möchten, da die von den Teilnehmern bereitgestellten Informationen zu sensibel sind, um sie in Ihre Analyse einzubeziehen.

Abhängig von den Einstellungen Ihrer Marke können sensible Informationen auch aus der Antwort geschwärzt werden. In diesem Fall werden sensible Informationen durch Sternchen ersetzt, und Sie haben keine Möglichkeit, die sensiblen Informationen abzurufen. Ob Sie Antworten mit geschwärzten Informationen in Ihre Analyse einbeziehen, ist Ihnen überlassen.

Verhindern der Sammlung sensibler Daten

Auch wenn die Befragten vertrauliche Informationen in einer unbefristeten Antwort ohne Aufforderung bereitstellen können, besteht die beste Möglichkeit, Verstöße gegen sensible Daten zu verhindern, darin, sicherzustellen, dass Sie keine personenbezogenen Daten anfordern. Weitere Informationen zum Entfernen dieser Arten von Anfragen aus Ihrer Umfrage finden Sie unter Lösen von Problemen mit sensiblen Daten.

Wenn Sie ein Administrator sind, können Sie Ihrer Richtlinie zu sensiblen Daten eine Unkenntlichmachung hinzufügen. Dadurch kann sichergestellt werden, dass Ihre Umfrageersteller keinen Zugriff auf vertrauliche Informationen über ihre Teilnehmer haben. Sie können wählen, welche sensiblen Themen geschwärzt werden und welche nicht.

Mehrdeutiger Text

Teilnehmer, die mehrdeutigen Text in Texteingabefelder eingeben, werden gekennzeichnet. Mehrdeutiger Text enthält „unauffällig“ oder Fälle, in denen der Teilnehmer zufällige Buchstaben und/oder Symbole eingegeben hat, um auf eine Frage zu antworten. Mehrdeutiger Text kann auf Englisch (US, UK), Spanisch (ES, ES-ES), Französisch (FR, FR-CA), Deutsch (DE), Portugiesisch (PT, PT-BR) und Italienisch (IT) erkannt werden. Antworten, die in einer anderen Sprache bereitgestellt werden, und Antworten, die Akronyme enthalten (z.B. CX), werden nicht gekennzeichnet.

Vermeiden mehrdeutiger Antworten

Es gibt zwar keine Möglichkeit, dieses Verhalten vollständig zu verhindern, aber es gibt Möglichkeiten, Teilnehmer zu ermutigen, Antworten auf offene Fragen von höherer Qualität zu geben.

• Blenden Sie Fragen aus, die möglicherweise nicht für alle Teilnehmer gelten: Manchmal geben die Antwortenden mehrdeutigen Text ein, weil Sie die Antwort erzwungen haben, aber der Inhalt der Frage ist für sie nicht relevant. Wenn Sie beispielsweise eine allgemeine Bevölkerung befragen, aber beginnen, Ihren Teilnehmern Fragen zu ihren Kindern zu stellen, gibt es wahrscheinlich Personen, die an der Umfrage teilnehmen, auf die diese Fragen nicht zutreffen. Sie können Fragen zu Kindern im Haushalt ausblenden, wenn Sie mit einer allgemeinen Frage beginnen (Haben Sie Kinder?) und verwenden dann die Antwort des Antwortenden, um Verzweigungs-, Anzeige- oder Skip-Logik für die folgenden Fragen zu konfigurieren.
  
• Stellen Sie sicher, dass Ihre Frage nicht zu allgemein ist: Wenn Sie Teilnehmern ein Texteingabefeld zur Verfügung stellen, benötigen sie häufig Hilfestellung bei der Art der gesuchten Daten. Wenn die Eingabeaufforderung zu breit ist, wissen die Teilnehmer möglicherweise nicht, wie sie antworten sollen.
  Beispiel: „Gibt es zusätzliche Kommentare, die Sie eingeben möchten?“ ist nicht so spezifisch wie „Gibt es zusätzliches Feedback zu Ihrer Erfahrung mit dem Support?“ Letzteres besagt, dass Sie kein allgemeines Produkt- oder Unternehmensfeedback wünschen, sondern Feedback zu einer bestimmten Erfahrung mit Ihrem Supportteam.
• Falls zutreffend, müssen Antworten ein bestimmtes Format aufweisen: Wenn Sie beispielsweise eine E-Mail-Adresse anfordern, können Sie Ihrer Frage eine Inhaltsvalidierung hinzufügen.
  

Kennzeichnen von Antworten, die mehrdeutigen Text enthalten

Obwohl ExpertReview solche Antworten nicht standardmäßig markiert, können Sie dies mit den folgenden Schritten aktivieren:

1. Stellen Sie sicher, dass Sie sich auf der Registerkarte Daten und Analyse im Abschnitt Daten befinden.
   
2. Klicken Sie auf Antwortqualität.
3. Klicken Sie auf Vorschlag.
   
4. Aktivieren Sie Mehrdeutiger Text.

Wenn Sie Antworten, die auf dieser Metrik basieren, nicht kennzeichnen möchten, können Sie diese Einstellung mit denselben Schritten deaktivieren. Wenn Sie diese Analyse aktivieren, gilt sie nur für die Umfrage, in der Sie sich aktuell befinden, und nicht für alle Umfragen in Ihrem Konto, sodass Sie die Analyse der Antwortqualität nach Bedarf anpassen können.

Identifizieren von Fragen mit mehrdeutigen Antworten

Unabhängig davon, ob die Antwort markiert wurde, können Sie spezifischere Informationen darüber erhalten, ob es in einer Antwort mehrdeutigen Text und die betroffenen spezifischen Fragen gab. So zeigen Sie Ihre Daten direkt in Qualtrics an:

1. Stellen Sie sicher, dass Sie sich auf der Registerkarte Daten und Analyse im Abschnitt Daten befinden.
   
2. Klicken Sie auf Spaltenauswahl.
3. Wählen Sie Eingebettete Daten.
4. Markieren Sie die folgenden Felder:
   • Q_AmbiguousTextPresent: Gibt an, ob in der Umfrageantwort mehrdeutiger Text vorhanden war. Dies kann eine Antwort auf eine beliebige Frage mit offenem Ende in der Umfrage sein. 0 steht für „Nein“ und 1 für „Ja“.
   • Q_AmbiguousTextQuestions: Die spezifischen Fragen, die eine mehrdeutige Antwort erhalten haben. Diese wird als interne QID angegeben, nicht als bearbeitbare Fragennummer.
     Tipp: Um QIDs zu finden, nummerieren Sie Ihre Fragen automatisch mit Interne ID-Nummerierung. Sie können die Nummerierung jederzeit zu einem späteren Zeitpunkt ändern oder diese Änderungen nicht veröffentlichen.
5. Diese Spalten werden in Ihren Daten angezeigt.
   

Kein Muster für unbeantwortete Fragen

Antworten werden gekennzeichnet, wenn der Umfrageteilnehmer viele der Fragen nicht beantwortet hat, obwohl er sie gesehen hat. Antworten werden gekennzeichnet, wenn 30 % oder mehr der angezeigten Fragen nicht beantwortet wurden. Auf diese Weise werden kleine Fehler oder die vorsätzliche Entscheidung, eine irrelevante Frage zu überspringen, nicht gekennzeichnet.

Muster unbeantworteter Fragen verhindern

Wenn Teilnehmer für das Überspringen von Fragen gekennzeichnet sind, kann dies folgende Gründe haben:

• Ihre Fragen sind für das Publikum nicht relevant: Die Auswahl Ihrer Stichprobe ist ein äußerst wichtiger Schritt in der Forschung. Wenn Sie Ihre Umfrage an ein sehr allgemeines Publikum verteilen, stellen Sie möglicherweise Fragen, die das Publikum nicht beantworten kann. Wenn Sie beispielsweise eine Bevölkerung über die Ergonomie ihres Arbeitsbereichs befragen, sollten Sie Umfrageteilnehmer, die derzeit arbeitslos sind, wahrscheinlich nicht einbeziehen. Wenn Sie keine Kontrolle über Ihr Verteilungsbeispiel haben, sollten Sie Screenouts einrichten, um irrelevante Teilnehmer zu entfernen.
• Deine Fragen sind nicht klar: Du stellst vielleicht die richtigen Fragen, aber deine Formulierung mag für die Befragten etwas verwirrend sein. Versuchen Sie, diese Fragen umzuformulieren, um sie so kurz und deutlich wie möglich zu gestalten. Stellen Sie sicher, dass Sie anstelle der passiven Stimme die aktive Stimme verwenden.
• Der Umfrageteilnehmer versucht bewusst, die Umfrage so schnell wie möglich zu beenden: Dies lässt sich auch durch mehrdeutigen Text und unkompliziertes Klicken anzeigen. Um Teilnehmer zu ermutigen, alle Fragen der Umfrage zu beantworten, können Sie Ihren Fragen eine Validierung hinzufügen. Sie können Teilnehmer zwingen, jede Frage zu beantworten, oder eine Nachrichtenanforderung haben, dass sie zu unbeantworteten Fragen zurückkehren, wenn sie eine Seite der Umfrage beenden.
  Tipp: Es ist auch wichtig zu überlegen, ob die Müdigkeit der Befragten ein Faktor ist.

Kennzeichnen von Antworten mit einem Muster unbeantworteter Fragen

Obwohl ExpertReview solche Antworten nicht standardmäßig markiert, können Sie dies mit den folgenden Schritten aktivieren:

1. Stellen Sie sicher, dass Sie sich auf der Registerkarte Daten und Analyse im Abschnitt Daten befinden.
   
2. Klicken Sie auf Antwortqualität.
3. Klicken Sie auf Vorschlag.
   
4. Nicht beantwortete Fragen aktivieren.

Wenn Sie Antworten, die auf dieser Metrik basieren, nicht kennzeichnen möchten, können Sie diese Einstellung mit denselben Schritten deaktivieren. Wenn Sie diese Analyse aktivieren, gilt sie nur für die Umfrage, in der Sie sich aktuell befinden, nicht für alle Umfragen in Ihrem Konto, sodass Sie die Analyse der Antwortqualität nach Bedarf anpassen können.

Ermitteln von Fragen, die die Antwortenden nicht beantwortet haben

Sie können detailliertere Informationen darüber erhalten, welche Fragen übersprungen wurden und wie viel Prozent der Fragen in der Umfrage nicht beantwortet wurden, unabhängig davon, ob die Antwort markiert wurde. So zeigen Sie Ihre Daten direkt in Qualtrics an:

1. Stellen Sie sicher, dass Sie sich auf der Registerkarte Daten und Analyse im Abschnitt Daten befinden.
   
2. Klicken Sie auf Spaltenauswahl.
3. Wählen Sie Eingebettete Daten.
4. Markieren Sie die folgenden Felder:
   • Q_Nicht beantwortet in Prozent: Der Prozentsatz der Fragen in der Umfrage, für die der Umfrageteilnehmer keine Antwort gegeben hat. Nur Fragen, die sie gesehen haben, werden auf diesen Wert angerechnet. Dies wird als Verhältnis dargestellt. Beispiel: 100 % ist 1 und 66,7 % ist 0,667.
   • Q_Nicht beantwortete Fragen: Die spezifischen Fragen, die nicht beantwortet wurden. Diese wird als interne QID angegeben, nicht als bearbeitbare Fragennummer.
     Tipp: Um QIDs zu finden, nummerieren Sie Ihre Fragen automatisch mit Interne ID-Nummerierung. Sie können die Nummerierung jederzeit zu einem späteren Zeitpunkt ändern oder diese Änderungen nicht veröffentlichen.
5. Diese Spalten werden in Ihren Daten angezeigt.
   

Straightlining

Straightlining ist die Praxis, dieselben Antworten in einer Matrixtabelle bereitzustellen, um die Fragen schnell zu beantworten. Ein Teilnehmer kann beispielsweise immer die erste Antwort auf jede Anweisung auswählen, unabhängig davon, wie er sich fühlt.

Umfrageteilnehmer können geradlinig sein, weil sie ermüdet sind, insbesondere wenn sie kein Speeder oder Bot sind und ihre Antworten zu Beginn der Umfrage normal waren.

Kennzeichnen von Antworten, die unkompliziert sind

Obwohl ExpertReview solche Antworten nicht standardmäßig markiert, können Sie dies mit den folgenden Schritten aktivieren:

1. Stellen Sie sicher, dass Sie sich auf der Registerkarte Daten und Analyse im Abschnitt Daten befinden.
   
2. Klicken Sie auf Antwortqualität.
3. Klicken Sie auf Vorschlag.
   
4. Aktivieren Sie Straightlining.

Wenn Sie Antworten, die auf dieser Metrik basieren, nicht kennzeichnen möchten, können Sie diese Einstellung mit denselben Schritten deaktivieren. Wenn Sie diese Analyse aktivieren, gilt sie nur für die Umfrage, in der Sie sich aktuell befinden, nicht für alle Umfragen in Ihrem Konto, sodass Sie die Analyse der Antwortqualität nach Bedarf anpassen können.

Identifizieren von Fragen, bei denen die Befragten unkompliziert sind

Um als unkompliziert gekennzeichnet zu werden, muss ein Umfrageteilnehmer über Folgendes verfügen:

• Geradlinig durch mindestens 3 Likert-Matrixtabellen (keine Aussagen, sondern die gesamten Fragen)
• Geradlinige 80 % der Matrixtabellen in der Umfrage

Sie können jedoch die Anzahl der geradlinigen Matrizen bewerten und feststellen, welche Fragen unkompliziert beantwortet wurden, wenn Sie eine tiefere Analyse durchführen möchten. So überspringen Sie Ihre Daten direkt in Qualtrics:

1. Stellen Sie sicher, dass Sie sich auf der Registerkarte Daten und Analyse im Abschnitt Daten befinden.
   
2. Klicken Sie auf Spaltenauswahl.
3. Wählen Sie Eingebettete Daten.
4. Markieren Sie die folgenden Felder:
   • Q_StraightliningCount: Die Anzahl der Matrixfragen, die der Teilnehmer direkt beantwortet hat.
   • Q_StraightliningPercentage: Der Prozentsatz der Matrixtabellen in der Umfrage, den der Umfrageteilnehmer direkt angegeben hat. Dies wird als Verhältnis dargestellt. Beispiel: 100 % ist 1 und 66,7 % ist 0,667.
   • Q_StraightliningQuestions: Die spezifischen Fragen, die unkompliziert waren. Diese wird als interne QID angegeben, nicht als bearbeitbare Fragennummer.
     Tipp: Um QIDs zu finden, nummerieren Sie Ihre Fragen automatisch mit Interne ID-Nummerierung. Sie können die Nummerierung jederzeit zu einem späteren Zeitpunkt ändern oder diese Änderungen nicht veröffentlichen.
5. Diese Spalten werden in Ihren Daten angezeigt.