Qualità della risposta

Informazioni sulla qualità delle risposte

ExpertReview quality è una funzione della piattaforma Qualtrics che controlla la qualità complessiva dei dati raccolti prima di iniziare ad analizzarli. Fornirà suggerimenti su come pulire al meglio i dati per garantire un’analisi della massima qualità possibile. Di seguito sono riportati i possibili messaggi di errore che si possono ricevere durante l’analisi delle risposte e i modi per risolverli.

Per istruzioni su come utilizzare ExpertReview in Dati e analisi, vedere Funzionalità della qualità delle risposte.

L’intervistato ha terminato il sondaggio in modo anormalmente veloce

Gli intervistati che completano il sondaggio troppo velocemente saranno segnalati come “speeder”. Ciò implica che hanno scelto le risposte a caso per completare rapidamente il sondaggio, invece di fornire risposte di qualità.

Le risposte vengono segnalate quando si discostano di oltre due deviazioni standard dalla durata mediana di partecipazione al sondaggio dei vostri intervistati e dovete aver raccolto almeno 100 risposte nel vostro sondaggio. Le risposte escluse, quelle in anteprima e quelle del testnon vengono conteggiate ai fini del raggiungimento delle 100 risposte.

Possibile Bot

Utilizzando la tecnologia invisibile reCaptcha di Google, possiamo rilevare la probabilità che una risposta provenga da un bot piuttosto che da un soggetto umano. Quando il rilevamento dei bot è abilitato, a ciascun rispondente viene assegnato un punteggio nel campo dati integrati Q_RecaptchaScore, che indica la probabilità che la risposta provenga da un bot. Se questo punteggio è inferiore a 0,5, la risposta sarà contrassegnata come bot.

Prevenzione dei bot

Esistono diversi modi per ridurre la probabilità che un bot si faccia strada nel vostro sondaggio.

• Utilizzate il Q_RecaptchaScore nella logica diramazione per inviare i bot alla fine del sondaggio o per escluderli del tutto.
• Utilizzare una domanda di verifica codice captcha all’inizio del sondaggio.
• Se si distribuisce a un panel, utilizzare un autenticatore o una password per limitare chi può accedere al sondaggio.
• Provate a regolare le opzioni di sicurezza del sondaggio.

Il rispondente ha partecipato al sondaggio più di una volta

A volte gli utenti possono tentare di rispondere al sondaggio più di una volta. A seconda dell’obiettivo del vostro studio, i duplicati possono abbassare la qualità dei dati, in quanto i risultati sono orientati verso i feedback dei recidivi.

A seconda dell’opzione sondaggio attivata, ci sono due modi diversi in cui una risposta può essere segnalata come duplicata:

• RelevantID è abilitato: Il campo Q_RelevantIDDuplicateScore è superiore o uguale a 75.
• Evita invii multipli è impostato su “Flag risposte:” Il campo Q_BallotBoxStuffing è uguale a “true”

Prevenzione delle risposte duplicate

A seconda di come si imposta il sondaggio, si possono evitare risposte duplicate prima ancora di iniziare a raccogliere i dati.

• Se conoscete i vostri intervistati, inviate il sondaggio tramite e-mail.
  Consiglio Q: per assicurarsi che nessuno possa utilizzare il collegamento anonimo, cambiare il proprio nome in accesso al sondaggio Solo su invito al SONDAGGIO.
• Se conoscete i vostri rispondenti o utilizzate il single sign-on (SSO) nella vostra organizzazione, utilizzate un autenticatore con l’opzione di ripetizione disabilitata.
• Quando si usa evitare evita invii multipli con un collegamento anonimo, scegliere un’opzione di fine sondaggio o di reindirizzamento.
  Consiglio Q: Quando si utilizza un collegamento anonimo, l’attivazione di RelevantID non eliminerà immediatamente i duplicati, ma rafforzerà la qualità dei dati consentendo di eliminare i duplicati al termine della raccolta dei dati.

Scarso tasso di completamento nelle 24 ore

Se un intervistato non termina il sondaggio entro 24 ore dall’inizio, è probabile che non torni a completarlo. Più questo accade, più è probabile che qualcosa nel modo in cui il sondaggio è scritto o formattato stia allontanando i rispondenti.

Il sondaggio può essere segnalato come scarso tasso di completamento solo dopo aver raccolto almeno 100 risposte complete. (Questo esclude le risposte incomplete e le risposte in corso) Il tasso di risposta insufficiente non viene segnalato se non sono state avviate risposte nelle ultime 24 ore. (Questo include risposte complete, risposte incomplete e risposte in corso) In questo modo si evita un falso positivo per scarsa compilazione quando lo studio ha smesso di raccogliere risposte da mesi.

Quando viene segnalato il tasso di completamento di 24 ore

Per determinare se un sondaggio ha un tasso di completamento scarso, si calcola quanto segue:

(Numero di sondaggi iniziati a 24 ore dall’ora corrente e completati) / (Numero di sondaggi iniziati a 24 ore dall’ora corrente)

• Minore: Solo dall’1 al 9% delle risposte iniziate nelle ultime 24 ore non sono state completate.
• Moderato: il 10-20% delle risposte iniziate nelle ultime 24 ore non sono state completate.
• Grave: il 21% o più delle risposte iniziate nelle ultime 24 ore non sono state completate.

Revisione del sondaggio

Una scarsa percentuale di completamento può significare che c’è un problema nel modo in cui è stato costruito il sondaggio. Quando si rivede il sondaggio per migliorare il tasso di completamento, è importante tenere conto del punteggio iQ che ExpertReview ha assegnato inizialmente al sondaggio. Le pagine seguenti contengono consigli su tutti i problemi segnalati da ExpertReview.

• Metodologia del sondaggio e pratiche ottimali per la conformità
• Errori comuni nel sondaggio
• Richieste di dati sensibili

Tasso di completamento complessivo scarso

Quanto peggiore è il tasso di completamento di un sondaggio, tanto più è probabile che qualcosa nel modo in cui il sondaggio è scritto o formattato stia allontanando i rispondenti.

Il sondaggio può essere segnalato come scarso tasso di completamento solo dopo aver raccolto almeno 100 risposte complete. (Sono escluse le risposte importate, le risposte incomplete e le risposte in corso)

Quando il tasso di completamento complessivo è segnalato

Per determinare se un sondaggio ha un tasso di completamento scarso, si calcola quanto segue:

(Numero totale di risposte complete al sondaggio) / (Numero totale di risposte registrate + Numero totale di risposte in corso)

• Minore: Solo dall’1 al 9% delle risposte iniziate nelle ultime 24 ore non sono state completate.
• Moderato: il 10-20% delle risposte iniziate nelle ultime 24 ore non sono state completate.
• Grave: il 21% o più delle risposte iniziate nelle ultime 24 ore non sono state completate.

Revisione del sondaggio

Una scarsa percentuale di completamento può significare che c’è un problema nel modo in cui è stato costruito il sondaggio. Quando si rivede il sondaggio per migliorare il tasso di completamento, è importante tenere conto del punteggio iQ che ExpertReview ha assegnato inizialmente al sondaggio. Le pagine seguenti contengono consigli su tutti i problemi segnalati da ExpertReview.

• Metodologia del sondaggio e pratiche ottimali per la conformità
• Errori comuni nel sondaggio
• Richieste di dati sensibili

Le risposte contengono dati sensibili

A volte le risposte contengono informazioni sensibili sul rispondente. Può trattarsi di qualsiasi cosa, dal numero di telefono al codice fiscale. Ogni organizzazione ha un proprio standard di contenuti considerati sensibili e in alcuni casi è possibile escludere questi dati dal set di dati perché le informazioni fornite dagli intervistati sono troppo sensibili per essere incluse nell’analisi.

A seconda delle impostazioni del brand, anche le informazioni sensibili possono essere eliminate dalle risposte. In questo caso, le informazioni sensibili saranno sostituite da asterischi e non sarà possibile recuperare le informazioni sensibili. Sta a voi decidere se includere nella vostra analisi le risposte con informazioni ridotte.

Prevenzione della raccolta di dati sensibili

Anche se i rispondenti possono fornire informazioni sensibili in una risposta aperta senza essere sollecitati, il modo migliore per prevenire le violazioni dei dati sensibili è assicurarsi che non vengano richieste informazioni personali. Per ulteriori informazioni su come rimuovere questo tipo di richieste dal sondaggio, consultare la sezione Risoluzione dei problemi relativi ai dati sensibili.

Se siete un BRAND ADMINISTRATOR, prendete in considerazione l’aggiunta della redazione alla vostra Politica sui dati sensibili. Questo può aiutare a garantire che i creatori del sondaggio non abbiano accesso a informazioni sensibili sui loro rispondenti. È possibile scegliere quali argomenti sensibili vengono eliminati e quali no.

Testo ambiguo

Gli intervistati che inseriscono un testo ambiguo nei campi di immissione di testo saranno segnalati. Il testo ambiguo include il “randomizzatore”, ovvero i casi in cui l’intervistato ha digitato lettere e/o simboli a caso per rispondere a una domanda. Il testo ambiguo può essere rilevato in inglese (US, UK), spagnolo (ES, ES-ES), francese (FR, FR-CA), tedesco (DE), portoghese (PT, PT-BR) e italiano (IT). Le risposte fornite in un’altra lingua e quelle che contengono acronimi (ad esempio, CX) non vengono segnalate.

Prevenzione di risposte ambigue

Sebbene non sia possibile prevenire completamente questo comportamento, esistono modi per incoraggiare gli intervistati a fornire risposte di qualità superiore alle domande aperte.

• Nascondere le domande che potrebbero non applicarsi a tutti i rispondenti: A volte i rispondenti inseriscono un testo ambiguo perché avete forzato la risposta, ma il contenuto della domanda non è rilevante per loro. Ad esempio, se state facendo un sondaggio su una popolazione generale, ma iniziate a porre ai vostri intervistati domande sui loro figli, è probabile che ci siano persone che partecipano al sondaggio a cui queste domande non si applicano. È possibile nascondere le domande sui bambini nella famiglia se si inizia con una domanda generale (Ha figli?) e poi si usa la risposta dell’intervistato per configurare la logica di diramazione, visualizzazione o esclusione delle domande successive.
  
• Assicuratevi che la domanda non sia troppo generica: Quando si fornisce agli intervistati un campo di immissione di testo, spesso hanno bisogno di indicazioni sul tipo di dati che si stanno cercando. Se la richiesta è troppo ampia, gli intervistati potrebbero non sapere come rispondere.
  Esempio: “Ci sono ulteriori commenti che vorresti fornire?” non è altrettanto specifico di “Ci sono ulteriori feedback che vorresti fornire sulla tua esperienza con l’assistenza?” Quest’ultima specifica che non si sta cercando un feedback generale sul prodotto o sull’azienda, ma un feedback su un’esperienza specifica con il team di assistenza.
• Se è il caso, richiedete che le risposte rispondano a un determinato formato: Ad esempio, se si chiede un indirizzo e-mail, si può aggiungere la Convalida del contenuto alla domanda.
  

Segnalazione di risposte contenenti testo ambiguo

Sebbene ExpertReview non segnali questo tipo di risposte per impostazione predefinita, è possibile attivarlo con i seguenti passaggi:

1. Assicurati di trovarti nella sezione Dati della scheda Dati e analisi.
   
2. Fare clic su Qualità delle risposte.
3. Fare clic su Suggerimento.
   
4. Abilita il testo ambiguo.

Se non si desidera contrassegnare le risposte in base a questa metrica, è possibile disattivare questa impostazione utilizzando gli stessi passaggi. Quando si attiva questa analisi, essa riguarda solo il sondaggio a cui si sta partecipando, non tutti i sondaggi del proprio account, in modo da poter personalizzare l’analisi della qualità delle risposte in base alle esigenze.

Individuare le domande con risposte ambigue

Indipendentemente dal fatto che la risposta sia stata contrassegnata, è possibile ottenere informazioni più specifiche sulla presenza o meno di testo ambiguo in una risposta e sulle domande specifiche interessate. Per visualizzare i dati direttamente all’interno di Qualtrics:

1. Assicurati di trovarti nella sezione Dati della scheda Dati e analisi.
   
2. Fare clic sul selezionatore di colonne.
3. Selezionare Dati integrati.
4. Selezionare i seguenti campi:
   • Q_AmbiguousTextPresent: Se nella risposta al sondaggio era presente o meno un testo ambiguo. Può essere una risposta a qualsiasi domanda a risposta aperta del sondaggio. 0 indica no e 1 indica sì.
   • Q_Domande ambigue: Le domande specifiche che hanno ricevuto una risposta ambigua. Si tratta di un QID interno, non del numero della domanda modificabile.
     Consiglio q: per trovare i QID, numerare automaticamente le domande con la numerazione interna degli ID. È sempre possibile modificare la numerazione in un secondo momento o scegliere di non pubblicare queste modifiche.
5. Queste colonne appariranno nei dati.
   

Schema di domande senza risposta

Le risposte saranno segnalate se il partecipante al sondaggio non ha risposto a molte domande, pur avendole viste. Le risposte vengono segnalate quando il 30% o più delle domande viste sono rimaste senza risposta; in questo modo, piccoli errori o la decisione deliberata di saltare una domanda irrilevante non vengono segnalati.

Prevenire i modelli di domande senza risposta

Se i rispondenti vengono segnalati per la loro tendenza a saltare le domande, ciò potrebbe essere dovuto a quanto segue:

• Le domande non sono pertinenti per il pubblico: La scelta del campione è un passo estremamente importante nella conduzione di una ricerca. Se si distribuisce il sondaggio a un pubblico molto generico, si può finire per porre domande a cui il pubblico non ha modo di rispondere. Ad esempio, se si sta effettuando un sondaggio sull’ergonomia dell’area di lavoro, probabilmente non si dovrebbero includere gli intervistati che sono attualmente disoccupati. Se non avete il controllo sul vostro campione di distribuzione, prendete in considerazione la possibilità di impostare delle esclusioni per rimuovere i rispondenti non pertinenti.
• Le vostre domande non sono chiare: potreste porre le domande giuste, ma la vostra formulazione potrebbe essere un po’ confusa per i rispondenti. Provate a riscrivere queste domande per renderle più brevi e chiare possibile. Assicuratevi di usare la voce attiva invece di quella passiva.
• L’intervistato sta deliberatamente cercando di concludere il sondaggio il prima possibile: Questo può essere indicato anche dall’uso di testo ambiguo e di linearizzazioni. Per incoraggiare i rispondenti a rispondere a tutte le domande del sondaggio, considerate la possibilità di aggiungere una convalida alle vostre domande. È possibile obbligare i rispondenti a rispondere a ogni domanda, oppure far sì che un messaggio chieda loro di tornare alle domande non risposte quando terminano una pagina del sondaggio.
  Consiglio Q: è importante anche considerare se la stanchezza del rispondente è un fattore.

Segnalazione di Risposte con uno schema di domande senza risposta

Sebbene ExpertReview non segnali questo tipo di risposte per impostazione predefinita, è possibile attivarlo con i seguenti passaggi:

1. Assicurati di trovarti nella sezione Dati della scheda Dati e analisi.
   
2. Fare clic su Qualità delle risposte.
3. Fare clic su Suggerimento.
   
4. Abilitare le domande senza risposta.

Se non si desidera contrassegnare le risposte in base a questa metrica, è possibile disattivare questa impostazione utilizzando gli stessi passaggi. Quando si attiva questa analisi, essa riguarda solo il sondaggio a cui si sta partecipando, non tutti i sondaggi del proprio account, per cui è possibile personalizzare l’analisi della qualità delle risposte in base alle esigenze.

Identificare le domande a cui i rispondenti non hanno risposto

È possibile ottenere informazioni più specifiche su quali domande sono state saltate e su quale percentuale di domande del sondaggio è rimasta senza risposta, indipendentemente dal fatto che la risposta sia stata segnalata. Per visualizzare i dati direttamente all’interno di Qualtrics:

1. Assicurati di trovarti nella sezione Dati della scheda Dati e analisi.
   
2. Fare clic sul selezionatore di colonne.
3. Selezionare Dati integrati.
4. Selezionare i seguenti campi:
   • Q_Percentuale senza risposta: La percentuale di domande del sondaggio per le quali il rispondente non ha fornito una risposta. Solo le domande che hanno visto sono conteggiate per questo valore. Questo dato viene presentato come rapporto. Ad esempio, il 100% corrisponde a 1 e il 66,7% corrisponde a 0,667.
   • Q_Domande senza risposta: Le domande specifiche a cui non è stata data risposta. Si tratta di un QID interno, non del numero della domanda modificabile.
     Consiglio q: per trovare i QID, numerare automaticamente le domande con la numerazione interna degli ID. È sempre possibile modificare la numerazione in un secondo momento o scegliere di non pubblicare queste modifiche.
5. Queste colonne appariranno nei dati.
   

Semplificazione

L’allineamento è la pratica di fornire le stesse risposte lungo una tabella matrice per superare rapidamente le domande. Ad esempio, un intervistato può scegliere sempre la prima risposta a ogni affermazione, indipendentemente da come si sente.

I rispondenti possono rigare dritto perché sono affaticati, soprattutto se non sono velocisti o bot, e le loro risposte all’inizio del sondaggio erano normali.

Segnalazione delle Risposte che contengono linee guida

Sebbene ExpertReview non segnali questo tipo di risposte per impostazione predefinita, è possibile attivarlo con i seguenti passaggi:

1. Assicurati di trovarti nella sezione Dati della scheda Dati e analisi.
   
2. Fare clic su Qualità delle risposte.
3. Fare clic su Suggerimento.
   
4. Abilitare l’allineamento.

Se non si desidera contrassegnare le risposte in base a questa metrica, è possibile disattivare questa impostazione utilizzando gli stessi passaggi. Quando si attiva questa analisi, essa riguarda solo il sondaggio a cui si sta partecipando, non tutti i sondaggi del proprio account, per cui è possibile personalizzare l’analisi della qualità delle risposte in base alle esigenze.

Identificare le domande in cui gli intervistati hanno risposto in modo diretto

Per essere segnalato come straightlining, un intervistato deve avere entrambe le caratteristiche:

• Matrice di almeno 3 tabelle a matrice di likert (non le affermazioni, ma le domande intere)
• Ha regolato l’80% delle tabelle della matrice nel sondaggio

Tuttavia, se si desidera effettuare un’analisi più approfondita, è possibile valutare il numero di matrici rettilinee e quali domande sono state rettilineizzate. Per scremare i dati direttamente all’interno di Qualtrics:

1. Assicurati di trovarti nella sezione Dati della scheda Dati e analisi.
   
2. Fare clic sul selezionatore di colonne.
3. Selezionare Dati integrati.
4. Selezionare i seguenti campi:
   • Q_StraightliningCount: Il numero di domande della matrice che l’intervistato ha risposto in modo diretto.
   • Q_StraightliningPercentage: Percentuale di tabelle di matrici nel sondaggio che il rispondente ha rettificato. Questo dato viene presentato come rapporto. Ad esempio, il 100% corrisponde a 1 e il 66,7% corrisponde a 0,667.
   • Q_StraightliningQuestions: Le domande specifiche che sono state rettificate. Si tratta di un QID interno, non del numero della domanda modificabile.
     Consiglio q: per trovare i QID, numerare automaticamente le domande con la numerazione interna degli ID. È sempre possibile modificare la numerazione in un secondo momento o scegliere di non pubblicare queste modifiche.
5. Queste colonne appariranno nei dati.