Qualidade da resposta

Qualidade da resposta

A qualidade da resposta do ExpertReview é um recurso da plataforma Qualtrics que verifica a qualidade geral dos dados coletados antes de começar a analisá-los. Isso dará sugestões sobre a melhor forma de limpar seus dados para garantir que você esteja analisando os dados de mais alta qualidade possível. Abaixo estão possíveis mensagens de erro que você pode receber ao analisar respostas e formas de resolver cada uma delas.

Para obter instruções sobre como usar o ExpertReview no Data & Análise, consulte Funcionalidade de qualidade de resposta.

Pesquisa concluída anormalmente rapidamente pelo respondente

Os entrevistados que concluírem sua pesquisa muito rapidamente serão sinalizados como intensificadores. Isso implica que eles escolheram respostas ao acaso para obter rapidamente a pesquisa, em vez de fornecer respostas de qualidade.

As respostas são sinalizadas quando eles têm mais de dois desvios padrão da duração média necessária para que seus entrevistados respondam à pesquisa e você precisa ter coletado pelo menos 100 respostas em sua pesquisa. As respostas excluídas, de visualização e de teste não são contadas para as 100 respostas.

Bot possível

Usando a tecnologia reCaptcha invisível do Google, podemos detectar a probabilidade de que uma resposta veio de um bot em vez de um sujeito humano. Quando a detecção de bots está ativada, uma pontuação é atribuída a cada respondente no campo de dados integrados Q_RecaptchaScore, indicando a probabilidade de a resposta ter vindo de um bot. Se essa pontuação for inferior a 0,5, a resposta será sinalizada como um bot.

Impedindo bots

Existem várias maneiras de diminuir a probabilidade de um bot passar pela sua pesquisa.

• Use o Q_RecaptchaScore na lógica de ramificação para enviar bots para o fim da pesquisa ou exibi-los completamente.
• Use uma pergunta de verificação Captcha no início da sua pesquisa.
• Se você estiver distribuindo para um painel, use um autenticador ou uma senha para restringir quem pode inserir a pesquisa.
• Tente ajustar as opções de segurança da sua pesquisa.

O entrevistado já fez a pesquisa mais de uma vez

Às vezes, os usuários podem tentar responder à sua pesquisa mais de uma vez. Dependendo do objetivo do seu estudo, as duplicatas podem diminuir a qualidade de seus dados enviesando os resultados para o feedback repetido dos infratores.

Dependendo da opção de pesquisa que você ativou, há duas maneiras diferentes de uma resposta ser marcada como duplicada:

• RelevantID ativado: o campo Q_RelevantIDDuplicateScore é superior ou igual a 75.
• Impedir vários envios está definido como “Sinalizar respostas:” O campo Q_BallotBoxStuffing é igual a “true”.

Impedindo respostas duplicadas

Dependendo de como você configurou sua pesquisa, você pode evitar respostas duplicadas antes mesmo de começar a coletar dados.

• Se você conhece seus entrevistados, envie a pesquisa por e-mail para os entrevistados.
  Qdica: Para garantir que ninguém possa usar o link anônimo, altere seu acesso à pesquisa somente para Por convite.
• Se você souber seus participantes ou usar o início de sessão único (SSO) em sua organização, use um autenticador com a opção para retomar o desativado.
• Ao usar o para evitar vários envios com um link anônimo, escolha uma pesquisa final ou uma opção de redirecionamento.
  Qdica: Ao usar um link anônimo, a ativação de RelevantID não exclui duplicatas instantaneamente, mas fortalecerá a qualidade dos dados, permitindo que você exclua duplicatas após o término da coleta de dados.

Percentual de conclusão ruim em 24 horas

Se um entrevistado não concluir sua pesquisa dentro de 24 horas após o início, é provável que ele não volte para concluir a pesquisa. Quanto mais isso acontecer, mais provável é que algo sobre a forma como a pesquisa é escrita ou formatada esteja afastando os entrevistados.

Sua pesquisa só pode ser sinalizada como tendo uma taxa de conclusão ruim depois de você ter coletado pelo menos 100 respostas concluídas. (Isso exclui respostas incompletas e respostas em andamento.) O percentual de conclusão insuficiente também não será sinalizado se nenhuma resposta tiver sido iniciada nas últimas 24 horas. (Isso inclui respostas concluídas, respostas incompletas e respostas em andamento.) Isso garante que não haverá um falso positivo para conclusão insatisfatória quando seu estudo tiver parado de coletar respostas há meses.

Quando a taxa de conclusão de 24 horas está marcada

Uma pesquisa está determinada a ter uma taxa de conclusão ruim calculando o seguinte:

(Número de pesquisas iniciadas 24 horas a partir do momento atual e concluídas) / (Número de pesquisas iniciadas 24 horas a partir do momento atual)

• Menor: apenas 1 a 9% das respostas iniciadas nas últimas 24 horas não foram concluídas.
• Moderado: 10 a 20% das respostas iniciadas nas últimas 24 horas não foram concluídas.
• Grave: 21% ou mais das respostas iniciadas nas últimas 24 horas não foram concluídas.

Revisando a sua pesquisa

Taxas de conclusão insuficientes podem significar que há um problema com a forma como a pesquisa foi construída. Ao revisar sua pesquisa para melhorar a taxa de conclusão, é importante levar em conta o que o iQ Score ExpertReview atribuiu inicialmente à sua pesquisa. As páginas a seguir contêm conselhos sobre todos os sinalizadores do ExpertReview para problemas.

• Metodologia da pesquisa; melhores práticas de conformidade
• Erros comuns de pesquisa
• Solicitações de dados confidenciais

Percentual de conclusão total insuficiente

Quanto pior for a taxa de conclusão de uma pesquisa, mais provável é que algo sobre a forma como a pesquisa é escrita ou formatada esteja afastando os entrevistados.

Sua pesquisa só pode ser sinalizada como tendo uma taxa de conclusão ruim depois de você ter coletado pelo menos 100 respostas concluídas. (Isso exclui respostas importadas, respostas incompletas e respostas em andamento.)

Quando a taxa de conclusão geral é marcada

Uma pesquisa está determinada para ter um índice de conclusão ruim calculando o seguinte:

(número total de respostas completas à pesquisa) / (número total de respostas registradas + número total de respostas em andamento)

• Menor: apenas 1 a 9% das respostas iniciadas nas últimas 24 horas não foram concluídas.
• Moderado: 10 a 20% das respostas iniciadas nas últimas 24 horas não foram concluídas.
• Grave: 21% ou mais das respostas iniciadas nas últimas 24 horas não foram concluídas.

Revisando a sua pesquisa

Taxas de conclusão insuficientes podem significar que há um problema com a forma como a pesquisa foi construída. Ao revisar sua pesquisa para melhorar a taxa de conclusão, é importante levar em conta o que o iQ Score ExpertReview atribuiu inicialmente à sua pesquisa. As páginas a seguir contêm conselhos sobre todos os sinalizadores do ExpertReview para problemas.

• Metodologia da pesquisa; melhores práticas de conformidade
• Erros comuns de pesquisa
• Solicitações de dados confidenciais

A resposta contém dados confidenciais

Às vezes, uma resposta conterá informações confidenciais sobre um respondente. Isso pode ser qualquer coisa, desde um número de telefone até um número de Previdência Social. Cada organização tem seu próprio padrão de conteúdo que considera confidencial e há momentos em que você pode excluir esses dados do seu conjunto de dados porque as informações fornecidas pelos entrevistados são confidenciais demais para serem incluídas em sua análise.

Dependendo das configurações da sua marca, as informações confidenciais também podem ser ocultadas da resposta. Neste caso, as informações confidenciais serão substituídas por asteriscos e você não terá como recuperar qual era a informação confidencial. Se você inclui respostas com informações ocultas em sua análise, cabe a você.

Impedir a coleta de dados confidenciais

Embora os entrevistados possam fornecer informações confidenciais em uma resposta aberta sem solicitação, a melhor maneira de evitar violações de dados confidenciais é garantir que você não esteja solicitando informações pessoais. Consulte Resolvendo problemas de dados confidenciais para obter maiores informações sobre como remover esses tipos de solicitações de sua pesquisa.

Se você for administrador da marca, considere adicionar redação à sua Política de Dados Confidenciais. Isso pode ajudar a garantir que seus criadores de pesquisas não tenham acesso a informações confidenciais sobre seus entrevistados. Você pode selecionar quais tópicos sensíveis são ocultados e quais não são.

Texto ambíguo

Os entrevistados que inserirem texto ambíguo nos campos de entrada de texto serão sinalizados. O texto ambíguo inclui “giberish”, ou casos em que o respondente digitou letras aleatórias e/ou símbolos para responder a uma pergunta. O texto ambíguo pode ser detectado em inglês (EUA, Reino Unido), espanhol (ES, ES-ES), francês (FR, FR-CA), alemão (DE), português (PT, PT-BR) e italiano (IT). As respostas fornecidas em outro idioma e as respostas que contêm acrônimos (por exemplo, CX) não são sinalizadas.

Prevenção de respostas ambíguas

Embora não exista forma de prevenir completamente esse comportamento, há maneiras de incentivar os entrevistados a dar respostas de maior qualidade a perguntas abertas.

• Ocultar perguntas que podem não se aplicar a todos os entrevistados: às vezes, os entrevistados inserirão texto ambíguo porque você forçou a resposta, mas o conteúdo da pergunta não é relevante para eles. Por exemplo, se você estiver pesquisando uma população em geral, mas começar a fazer perguntas aos entrevistados sobre seus filhos, provavelmente haverá pessoas respondendo à pesquisa às quais essas perguntas não se aplicam. Você pode ocultar perguntas sobre crianças no domicílio se começar com uma pergunta geral (Você tem filhos?) e depois use a resposta do entrevistado para configurar a ramificação, exibição ou lógica de salto nas perguntas a seguir.
  
• Certifique-se de que sua pergunta não seja muito geral: quando você fornece aos entrevistados um campo de entrada de texto, eles geralmente precisam de orientação sobre o tipo de dados que você está procurando. Se o prompt for muito amplo, os entrevistados podem não saber como responder.
  Exemplo: “Há comentários adicionais que você gostaria de fornecer?” não é tão específico quanto “Há feedback adicional que você gostaria de fornecer sobre sua experiência com o suporte?” O último especifica que você não está procurando um produto geral ou feedback da empresa, mas feedback sobre uma experiência específica com sua equipe de suporte.
• Se aplicável, exigir que as respostas correspondam a um determinado formato: por exemplo, se você estiver solicitando um endereço de e-mail, poderá adicionar a validação de conteúdo à sua pergunta.
  

Marcação de respostas que contêm texto ambíguo

Embora o ExpertReview não marque esses tipos de respostas por padrão, você pode ativar isso com as seguintes etapas:

1. Verifique se você está na seção Dados da guia Dados & Análise.
   
2. Clique em Qualidade da resposta.
3. Clique em Sugestão.
   
4. Ativar texto ambíguo.

Se você não quiser marcar respostas com base nesta métrica, pode desativar esta configuração utilizando as mesmas etapas. Quando você ativa essa análise, é somente para a pesquisa em que você está atualmente, nem todas as pesquisas em sua conta, então você pode personalizar a análise da qualidade da resposta conforme necessário.

Identificando perguntas com respostas ambíguas

Independentemente de a resposta ter sido marcada, você pode obter informações mais específicas se houve ou não texto ambíguo em uma resposta e as perguntas específicas afetadas. Para visualizar seus dados diretamente na Qualtrics:

1. Verifique se você está na seção Dados da guia Dados & Análise.
   
2. Clique em Seleção de colunas.
3. Selecione Dados integrados.
4. Selecione os seguintes campos:
   • Q_AmbiguousTextPresent: texto ambíguo ou não na resposta da pesquisa. Isso pode ser uma resposta a qualquer pergunta de final aberto na pesquisa. 0 indica não e 1 indica sim.
   • Q_AmbiguousTextQuestions: As perguntas específicas que receberam uma resposta ambígua. Isso é fornecido como um QID interno, não o número da pergunta editável.
     Qdica: Para localizar QIDs, numere automaticamente suas perguntas com Numeração de ID interno. Você sempre pode voltar a numeração mais tarde ou optar por não publicar essas modificações.
5. Essas colunas serão exibidas nos dados.
   

Padrão de perguntas não respondidas

As respostas serão sinalizadas se o pesquisador não tiver respondido a muitas das perguntas, mesmo que elas as tenham visto. As respostas são sinalizadas quando 30% ou mais das perguntas vistas não foram respondidas; dessa forma, poucos erros ou a deliberada decisão de ignorar uma pergunta irrelevante não é sinalizada.

Impedindo padrões de perguntas não respondidas

Se os entrevistados forem sinalizados por terem a tendência de ignorar perguntas, isso pode ser devido ao seguinte:

• Suas perguntas não são relevantes para o público: escolher sua amostra é um passo extremamente importante na realização da pesquisa. Se você distribuir sua pesquisa para um público muito generalizado, poderá acabar fazendo perguntas que o público não tem como responder. Por exemplo, se você está pesquisando uma população na ergonomia do espaço de trabalho deles, provavelmente não deve incluir os entrevistados que estão desempregados no momento. Se você não tiver controle sobre sua amostra de distribuição, considere configurar eliminados para remover respondentes irrelevantes.
• Suas perguntas não estão claras: você pode estar fazendo as perguntas certas, mas o texto pode ser um pouco confuso para os entrevistados. Tente reescrever essas perguntas para torná-las o mais curtas e claras possíveis. Certifique-se de utilizar a voz ativa em vez da voz passiva.
• O respondente está deliberadamente tentando encerrar a pesquisa o mais rápido possível: Isso também pode ser indicado pelo uso de texto ambíguo e retângulo. Para incentivar os participantes a responder a todas as perguntas da pesquisa, considere adicionar validação às suas perguntas. Você pode forçar os participantes a responder a cada pergunta ou ter uma solicitação de mensagem informando que eles voltam para perguntas não respondidas quando concluírem uma página da pesquisa.
  Qdica: Também é importante considerar se a fadiga do respondente é um fator.

Marcando respostas com um padrão de perguntas não respondidas

Embora o ExpertReview não marque esses tipos de respostas por padrão, você pode ativar isso com as seguintes etapas:

1. Verifique se você está na seção Dados da guia Dados & Análise.
   
2. Clique em Qualidade da resposta.
3. Clique em Sugestão.
   
4. Habilitar perguntas não respondidas.

Se você não quiser marcar respostas com base nesta métrica, pode desativar esta configuração utilizando as mesmas etapas. Quando você ativa essa análise, ela é somente para a pesquisa em que você está atualmente, nem todas as pesquisas em sua conta, então você pode personalizar a análise da qualidade da resposta conforme necessário.

Identificando perguntas às quais os respondentes não responderam

Você pode obter informações mais específicas sobre quais perguntas foram ignoradas e qual porcentagem das perguntas na pesquisa foi deixada sem resposta, independentemente de a resposta ter sido marcada. Para visualizar seus dados diretamente na Qualtrics:

1. Verifique se você está na seção Dados da guia Dados & Análise.
   
2. Clique em Seleção de colunas.
3. Selecione Dados integrados.
4. Selecione os seguintes campos:
   • Q_Unresponse eredPercentage: A porcentagem de perguntas da pesquisa para as quais o respondente não respondeu. Somente as perguntas que eles viram são contabilizadas para esse valor. Isso é apresentado como uma razão. Por exemplo, 100% é 1 e 66,7% é 0,667.
   • Q_UnresponeredQuestions: As perguntas específicas que não foram respondidas. Isso é fornecido como um QID interno, não o número da pergunta editável.
     Qdica: Para localizar QIDs, numere automaticamente suas perguntas com Numeração de ID interno. Você sempre pode voltar a numeração mais tarde ou optar por não publicar essas modificações.
5. Essas colunas serão exibidas nos dados.
   

Resposta direta

Straightlining é a prática de fornecer as mesmas respostas em uma tabela matricial para rapidamente percorrer as perguntas. Por exemplo, um entrevistado sempre pode escolher a primeira resposta para cada afirmação, independentemente de como se sinta.

Os entrevistados podem ser simples porque estão fatigados, especialmente se não forem um acelerador ou um bot, e suas respostas no início da pesquisa eram normais.

Sinalizando respostas que contêm respostas diretas

Embora o ExpertReview não marque esses tipos de respostas por padrão, você pode ativar isso com as seguintes etapas:

1. Verifique se você está na seção Dados da guia Dados & Análise.
   
2. Clique em Qualidade da resposta.
3. Clique em Sugestão.
   
4. Ative o Straightlining.

Se você não quiser marcar respostas com base nesta métrica, pode desativar esta configuração utilizando as mesmas etapas. Quando você ativa essa análise, ela é somente para a pesquisa em que você está atualmente, nem todas as pesquisas em sua conta, então você pode personalizar a análise da qualidade da resposta conforme necessário.

Identificando perguntas em que os entrevistados se limitaram

Para ser sinalizado como direto, um respondente deve ter ambos:

• Realizadas por pelo menos 3 tabelas de matrizes likert (não declarações, mas todas as perguntas)
• 80% das tabelas matriciais alinhadas na pesquisa

No entanto, você pode avaliar o número de matrizes alinhadas e quais perguntas foram diretas se você quiser fazer uma análise mais profunda. Para nivelar seus dados diretamente na Qualtrics:

1. Verifique se você está na seção Dados da guia Dados & Análise.
   
2. Clique em Seleção de colunas.
3. Selecione Dados integrados.
4. Selecione os seguintes campos:
   • Q_StraightliningCount: O número de perguntas da matriz que o respondente alinhou.
   • Q_StraightliningPercentage: A porcentagem de tabelas matriciais na pesquisa que o respondente alinhou. Isso é apresentado como uma razão. Por exemplo, 100% é 1 e 66,7% é 0,667.
   • Q_StraightliningQuestions: As perguntas específicas que foram alinhadas. Isso é fornecido como um QID interno, não o número da pergunta editável.
     Qdica: Para localizar QIDs, numere automaticamente suas perguntas com Numeração de ID interno. Você sempre pode voltar a numeração mais tarde ou optar por não publicar essas modificações.
5. Essas colunas serão exibidas nos dados.