Qualidade da resposta

Sobre a qualidade da resposta

A qualidade da resposta ExpertReview é um característica da plataforma Qualtrics que verifica a qualidade geral dos dados coletados antes de você começar a analisá-los. Ele fará sugestões sobre a melhor forma de limpar seus dados para garantir que você esteja analisando dados da mais alta qualidade possível. Abaixo estão as possíveis mensagens de erro que você pode receber ao analisar respostas e as maneiras de resolver cada uma delas.

Para obter instruções sobre como usar o ExpertReview em Dados & amp; Análise, consulte Funcionalidade de qualidade de resposta.

O respondente terminou Pesquisa forma anormalmente rápida

Os respondentes que concluírem seu pesquisa muito rapidamente serão marcados como aceleradores. Isso significa que eles escolheram as respostas aleatoriamente para concluir o pesquisa rapidamente, em vez de fornecer respostas de qualidade.

Respostas são marcadas quando estão a mais de dois desvios padrão da duração média que os respondentes levam para responder ao pesquisa, e é preciso ter coletado pelo menos 100 respostas no pesquisa. respostas triagem, visualização e testenão são contadas para o total de 100 respostas.

Possível bot

Usando a tecnologia reCaptcha invisível do Google, podemos detectar a probabilidade de uma resposta ter vindo de um bot em vez de um indivíduo humano. Quando a detecção de bots está ativada, uma pontuação é atribuída a cada respondente no campo dados integrados Q_RecaptchaScore, indicando a probabilidade de a resposta ter vindo de um bot. Se essa pontuação for menor que 0,5, a resposta será sinalizada como um bot.

Prevenção de bots

Há várias maneiras de diminuir a probabilidade de um bot passar pelo seu pesquisa.

• Use o Q_RecaptchaScore na lógica de ramificação para enviar os bots para o final do pesquisa ou excluí-los completamente.
• Use uma pergunta de verificação Captcha no início do pesquisa.
• Se estiver distribuindo para um painel, use um autenticador ou uma senha para restringir quem pode entrar no pesquisa.
• Tente ajustar as opções de segurança do pesquisa.

O entrevistado respondeu à Pesquisa mais de uma vez

Às vezes, os usuários podem tentar responder ao seu pesquisa mais de uma vez. Dependendo do objetivo do seu estudo, as duplicatas podem diminuir a qualidade dos seus dados, distorcendo os resultados em relação ao feedback dos reincidentes.

Dependendo da opção pesquisa que você ativou, há duas maneiras diferentes de uma resposta ser marcada como duplicar:

• O RelevantID está ativado: O campo Q_RelevantIDDuplicateScore é maior ou igual a 75.
• Impedir envios múltiplos está definido como “Sinalizar respostas:” O campo Q_BallotBoxStuffing é igual a “true”

Prevenção de Respostas Duplicar

Dependendo de como você configura o pesquisa, é possível evitar respostas duplicar antes mesmo de começar a coletar dados.

• Se você conhece os respondentes, envie o pesquisa por e-mail.
  Qdica: para garantir que ninguém possa usar o link anônimo, altere seu acesso à pesquisa somente convidados por convite .
• Se você conhece seus entrevistados ou usa o logon único (SSO) em sua organização, use um autenticador com a opção de retomar desativada.
• Ao usar impedir envios múltiplos com um link anônimo, escolha uma opção de fim de pesquisa ou redirecionamento.
  Qdica: ao usar um link anônimo, ativar o RelevantID não excluirá instantaneamente as duplicatas, mas fortalecerá a qualidade dos dados, permitindo que você exclua as duplicatas após o término da coleta de dados.

Baixa taxa de conclusão em 24 horas

Se um respondente não concluir o pesquisa dentro de 24 horas após o início, é provável que ele não volte para concluir o pesquisa. Quanto mais isso acontece, mais provável é que algo na forma como o pesquisa é escrito ou formatado esteja afastando os questionados.

Seu pesquisa só pode ser sinalizado como tendo uma taxa de conclusão ruim depois que você tiver coletado pelo menos 100 respostas concluídas. (Isso exclui respostas incompletas e respostas em andamento. ) A baixa taxa de conclusão também não será sinalizada se nenhuma respostas tiver sido iniciada nas últimas 24 horas. (Isso inclui respostas concluídas, respostas incompletas e respostas em andamento) Isso garante que não haverá um falso positivo de preenchimento insuficiente quando seu estudo parou de coletar respostas meses atrás.

Quando a taxa de conclusão de 24 horas é sinalizada

Para determinar se uma pesquisa tem uma taxa de conclusão ruim, calcule o seguinte:

(Número de pesquisas iniciadas 24 horas após a hora atual e concluídas) / (Número de pesquisas iniciadas 24 horas após a hora atual)

• Menor: Apenas 1 a 9% das respostas iniciadas nas últimas 24 horas não foram concluídas.
• Moderado: de 10 a 20% das respostas iniciadas nas últimas 24 horas não foram concluídas.
• Grave: 21% ou mais das respostas iniciadas nas últimas 24 horas não foram concluídas.

Revisando seu Pesquisa

Taxas de conclusão ruins podem significar que há um problema com a forma como a pesquisa foi elaborada. Ao revisar seu pesquisa para melhorar a taxa de conclusão, é importante levar em conta o iQ Score que ExpertReview atribuiu inicialmente ao seu pesquisa. As páginas a seguir contêm orientações sobre todos os problemas sinalizados ExpertReview.

• Metodologia Pesquisa e práticas recomendadas de conformidade
• Erros comuns Pesquisa
• Solicitações de dados confidenciais

Taxa de conclusão geral ruim

Quanto pior for a taxa de conclusão de uma pesquisa, mais provável é que algo na forma como a pesquisa foi escrita ou formatada esteja afastando os questionados.

Seu pesquisa só pode ser sinalizado como tendo uma taxa de conclusão ruim depois que você tiver coletado pelo menos 100 respostas concluídas. (Isso exclui respostas importadas, respostas incompletas e respostas em andamento)

Quando a taxa de conclusão geral é sinalizada

Para determinar se uma pesquisa tem uma taxa de conclusão ruim, calcule o seguinte:

(Número total de respostas completas pesquisa ) / (Número total de respostas registradas + Número total de respostas em andamento )

• Menor: Apenas 1 a 9% das respostas iniciadas nas últimas 24 horas não foram concluídas.
• Moderado: de 10 a 20% das respostas iniciadas nas últimas 24 horas não foram concluídas.
• Grave: 21% ou mais das respostas iniciadas nas últimas 24 horas não foram concluídas.

Revisando seu Pesquisa

Taxas de conclusão ruins podem significar que há um problema com a forma como a pesquisa foi elaborada. Ao revisar seu pesquisa para melhorar a taxa de conclusão, é importante levar em conta o iQ Score que ExpertReview atribuiu inicialmente ao seu pesquisa. As páginas a seguir contêm orientações sobre todos os problemas sinalizados ExpertReview.

• Metodologia Pesquisa e práticas recomendadas de conformidade
• Erros comuns Pesquisa
• Solicitações de dados confidenciais

A resposta contém dados confidenciais

Às vezes, uma resposta contém informações confidenciais sobre um respondente. Isso pode ser qualquer coisa, desde um número de telefone até um número de seguro social. Cada organização tem seu próprio padrão de conteúdo que considera sensível, e há ocasiões em que você pode querer excluir esses dados do seu conjunto de dados porque as informações fornecidas pelos entrevistados são muito sensíveis para serem incluídas na sua análise.

Dependendo das configurações de sua marca, as informações confidenciais também podem ser editadas na resposta. Nesse caso, as informações confidenciais serão substituídas por asteriscos e você não terá como recuperar quais eram as informações confidenciais. A inclusão de respostas com informações editadas em sua análise fica a seu critério.

Prevenção da coleta de dados confidenciais

Embora os respondentes possam fornecer informações confidenciais em uma resposta aberta sem solicitação, a melhor maneira de evitar violações de dados confidenciais é garantir que você não esteja solicitando informações pessoais. Consulte Resolução de problemas de dados confidenciais para saber mais sobre como remover esses tipos de solicitações de seu pesquisa.

Se você for um administrador Marca, considere adicionar a redação à sua política de dados confidenciais. Isso pode ajudar a garantir que os criadores pesquisa não tenham acesso a informações confidenciais sobre os respondentes. Você pode escolher quais tópicos confidenciais serão redigidos e quais não serão.

Texto ambíguo

Os entrevistados que digitarem texto ambíguo nos campos entrada de texto serão sinalizados. O texto ambíguo inclui “jargões” ou casos em que o entrevistado digitou letras e/ou símbolos aleatórios para responder a uma pergunta. O texto ambíguo pode ser detectado em inglês (US, UK), espanhol (ES, ES-ES), francês (FR, FR-CA), alemão (DE), português (PT, PT-BR) e italiano (IT). As respostas fornecidas em outro idioma e as respostas que contêm acrônimos (por exemplo, CX) não são marcadas.

Prevenção de Respostas ambíguas

Embora não haja como evitar completamente esse comportamento, há maneiras de incentivar os respondentes a dar respostas de maior qualidade às perguntas abertas.

• Oculte perguntas que talvez não aplicar a todos os questionados: Às vezes, os questionados inserem um texto ambíguo porque você forçou a resposta, mas o conteúdo da pergunta não é relevante para eles. Por exemplo, se estiver pesquisando uma população geral, mas começar a fazer perguntas aos entrevistados sobre seus filhos, provavelmente haverá pessoas que responderão à pesquisa às quais essas perguntas não aplicar. É possível ocultar perguntas sobre crianças no domicílio se você começar com uma pergunta geral (Você tem filhos?) e, em seguida, usar a resposta do entrevistado para configurar a lógica de ramificação, exibição ou ramificação nas perguntas seguintes.
  
• Certifique-se de que sua pergunta não seja muito genérica: Quando você fornece aos respondentes um campo entrada de texto, eles geralmente precisam de orientação sobre o tipo de dados que você está procurando. Se a solicitação for muito ampla, os entrevistados podem não saber como responder.
  Exemplo: “Há algum comentário adicional que você gostaria de fazer?” não é tão específico quanto “Há algum feedback adicional que você gostaria de fazer sobre sua experiência com o suporte?” A última especifica que você não está procurando feedback geral sobre o produto ou a empresa, mas feedback sobre uma experiência específica com a equipe de suporte.
• Se for o caso, exija que respostas se ajustem a um determinado formato: Por exemplo, se você estiver solicitando um endereço de e-mail, poderá adicionar validação de conteúdo à sua pergunta.
  

Marcação de Respostas que contêm texto ambíguo

Embora ExpertReview não sinalize esses tipos de respostas por padrão, você pode ativar essa opção com as etapas a seguir:

1. Verifique se você está na seção Dados da guia Dados e Análise.
   
2. Clique em Response Quality (Qualidade da resposta).
3. Clique em Sugestão.
   
4. Ativar texto ambíguo.

Se você não quiser sinalizar respostas com base nessa métrica, poderá desativar essa configuração usando as mesmas etapas. Quando você habilita essa análise, ela é feita apenas para o pesquisa em que você está atualmente, e não para todos os questionários da sua conta, para que você possa personalizar a análise da qualidade da resposta conforme necessário.

Identificação de perguntas com respostas ambíguas

Independentemente de a resposta ter sido sinalizada, você pode obter informações mais específicas sobre a existência ou não de texto ambíguo em uma resposta e as perguntas específicas afetadas. Para visualizar seus dados diretamente no Qualtrics:

1. Verifique se você está na seção Dados da guia Dados e Análise.
   
2. Clique em Seletor de colunas.
3. Selecione Embedded Data (Dados incorporados).
4. Selecione os seguintes campos:
   • Q_AmbiguousTextPresent: Se havia ou não texto ambíguo na resposta pesquisa. Isso pode ser feito em resposta a qualquer pergunta aberta da pesquisa. 0 indica não, e 1 indica sim.
   • Q_AmbiguousTextQuestions: As perguntas específicas que receberam uma resposta ambígua. Isso é fornecido como um QID interno, não como o número da pergunta editável.
     Qdica: para localizar QIDs, numere automaticamente suas perguntas com a Numeração de ID interna. Você sempre pode alterar a numeração novamente mais tarde ou optar por não publicar essas alterações.
5. Essas colunas aparecerão em seus dados.
   

Padrão de perguntas não respondidas

Respostas serão marcadas se o participante da pesquisa não responder a muitas perguntas, mesmo que as tenha visto. Respostas são marcadas quando 30% ou mais das perguntas vistas não foram respondidas; dessa forma, pequenos erros ou a decisão deliberada de ignorar uma pergunta irrelevante não são marcados.

Prevenção de padrões de perguntas não respondidas

Se os respondentes forem marcados por terem uma tendência a pular perguntas, isso pode ser devido ao seguinte:

• Suas perguntas não são relevantes para o público: A escolha da amostra é uma etapa extremamente importante na realização de pesquisas. Se você distribuir sua pesquisa para um público muito generalizado, poderá acabar fazendo perguntas que o público não tem como responder. Por exemplo, se estiver pesquisando uma população sobre a ergonomia de seu área de trabalho, provavelmente não deverá incluir entrevistados que estejam desempregados. Se você não tiver controle sobre a amostra distribuição, considere a possibilidade de configurar eliminados para remover respondentes irrelevantes.
• Suas perguntas não são claras: Você pode estar fazendo as perguntas certas, mas sua redação pode ser um pouco confusa para os respondentes. Tente reescrever essas perguntas para torná-las o mais curtas e claras possível. Certifique-se de usar a voz ativa em vez da voz passivo.
• O respondente está deliberadamente tentando encerrar a pesquisa o mais rápido possível: Isso também pode ser indicado pelo uso de texto ambíguo e linhas retas. Para incentivar os entrevistados a responder a todas as perguntas pesquisa, considere adicionar validação às suas perguntas. É possível forçar os questionados a responder a cada pergunta ou fazer com que uma mensagem solicite que eles voltem às perguntas não respondidas quando terminarem uma página do pesquisa.
  Qdica: também é importante considerar se a fadiga do respondente é um fator.

Marcação de Respostas com um padrão de perguntas não respondidas

Embora ExpertReview não sinalize esses tipos de respostas por padrão, você pode ativar essa opção com as etapas a seguir:

1. Verifique se você está na seção Dados da guia Dados e Análise.
   
2. Clique em Response Quality (Qualidade da resposta).
3. Clique em Sugestão.
   
4. Ativar perguntas não respondidas.

Se você não quiser sinalizar respostas com base nessa métrica, poderá desativar essa configuração usando as mesmas etapas. Quando você habilita essa análise, ela é feita apenas para o pesquisa em que você está atualmente, e não para todos os questionários da sua conta, para que você possa personalizar a análise da qualidade da resposta conforme necessário.

Identificação de perguntas que os entrevistados não responderam

Você pode obter informações mais específicas sobre quais perguntas foram ignoradas e qual porcentagem das perguntas do pesquisa ficou sem resposta, independentemente de a resposta ter sido sinalizada. Para visualizar seus dados diretamente no Qualtrics:

1. Verifique se você está na seção Dados da guia Dados e Análise.
   
2. Clique em Seletor de colunas.
3. Selecione Embedded Data (Dados incorporados).
4. Selecione os seguintes campos:
   • Q_UnansweredPercentage: A porcentagem de perguntas na pesquisa para as quais o respondente não forneceu resposta. Somente as perguntas que eles viram são contadas para esse valor. Isso é apresentado como uma proporção. Por exemplo, 100% é 1, e 66,7% é 0,667.
   • Q_UnansweredQuestions (Perguntas não respondidas): As perguntas específicas que não foram respondidas. Isso é fornecido como um QID interno, não como o número da pergunta editável.
     Qdica: para localizar QIDs, numere automaticamente suas perguntas com a Numeração de ID interna. Você sempre pode alterar a numeração novamente mais tarde ou optar por não publicar essas alterações.
5. Essas colunas aparecerão em seus dados.
   

Resposta direta

Straightlining é a prática de fornecer as mesmas respostas em uma tabela matriz para passar rapidamente pelas perguntas. Por exemplo, um respondente pode sempre escolher a primeira resposta para cada afirmação, independentemente de sua opinião.

Os entrevistados podem ir em linha reta porque estão cansados, especialmente se não forem um speeder ou um bot, e suas respostas no início da pesquisa foram normais.

Sinalização de Respostas que contenham straightlining

Embora ExpertReview não sinalize esses tipos de respostas por padrão, você pode ativar essa opção com as etapas a seguir:

1. Verifique se você está na seção Dados da guia Dados e Análise.
   
2. Clique em Response Quality (Qualidade da resposta).
3. Clique em Sugestão.
   
4. Habilitar Straightlining.

Se você não quiser sinalizar respostas com base nessa métrica, poderá desativar essa configuração usando as mesmas etapas. Quando você habilita essa análise, ela é feita apenas para o pesquisa em que você está no momento, e não para todos os questionários da sua conta, para que você possa personalizar a análise da qualidade da resposta conforme necessário.

Identificação de perguntas em que os entrevistados se manifestaram diretamente

Para ser marcado como straightlining, um respondente deve ter ambos:

• Diretamente em pelo menos 3 tabelas matriz likert (não declarações, mas as perguntas inteiras)
• Alinhou 80% das tabelas matriz da pesquisa

No entanto, você pode avaliar o número de matrizes com alinhamento direto e quais perguntas foram alinhadas se quiser fazer uma análise mais profunda. Para examinar seus dados diretamente no Qualtrics:

1. Verifique se você está na seção Dados da guia Dados e Análise.
   
2. Clique em Seletor de colunas.
3. Selecione Embedded Data (Dados incorporados).
4. Selecione os seguintes campos:
   • Q_StraightliningCount: O número de perguntas matriz que o respondente respondeu corretamente.
   • Q_StraightliningPercentage: A porcentagem de tabelas matriz na pesquisa que o respondente alinhou. Isso é apresentado como uma proporção. Por exemplo, 100% é 1, e 66,7% é 0,667.
   • Q_StraightliningQuestions: As perguntas específicas que foram alinhadas. Isso é fornecido como um QID interno, não como o número da pergunta editável.
     Qdica: para localizar QIDs, numere automaticamente suas perguntas com a Numeração de ID interna. Você sempre pode alterar a numeração novamente mais tarde ou optar por não publicar essas alterações.
5. Essas colunas aparecerão em seus dados.