Criando workflows ETL

Sobre a criação de workflows ETL

A plataforma de fluxos de trabalho da Qualtrics contém uma série de tarefas para ajudar na importação de dados de destinos de terceiros para a Qualtrics ou na exportação de dados da Qualtrics para destinos de terceiros. Essas tarefas seguem o framework Extrair, Transformar, Carregar (ETL). Utilizando tarefas ETL, você pode criar fluxos de trabalho automatizados e programados para trazer dados de fontes de terceiros para o Qualtrics, bem como exportar dados da Qualtrics para destinos de terceiros.

Para criar um Fluxo de trabalho ETL, você deve criar 1 ou mais tarefas do extrator e 1 ou mais tarefas do carregador . Você está limitado apenas pelo limite geral para tarefas em 1 fluxo de trabalho .

Setup geral para tarefas de extrator e carregador

1. A partir da página Fluxos de trabalho independente ou da guia Fluxos de trabalho em um projeto, clique em Criar um fluxo de trabalho.
2. Selecione Extrair, transformar e carregar (ETL) dados.
3. Os fluxos de trabalho ETL geralmente são executados em uma programação recorrente. Selecione uma programação para seu workflow. Consulte Fluxos de trabalho programados para obter mais informações sobre a definição da programação de um fluxo de trabalho.
   
4. Clique em Salvar.
5. Clique em Fonte de dados (extrator ETL) para escolher uma tarefa do extrator a ser usada. Consulte Tarefas de extrator disponíveis para uma lista de tarefas que você pode utilizar. Você pode adicionar vários extratores em um fluxo de trabalho.
6. Se você quiser transformar os dados antes de carregá-los, clique em Transformação de dados. Esta etapa é opcional. Consulte Tarefa de transformação básica para obter mais detalhes.
7. Clique em Adicionar um destino de dados para escolher uma tarefa do carregador a ser usada. Consulte Tarefas de carregador disponíveis para obter uma lista de tarefas que você pode usar. Você pode adicionar vários carregadores em um fluxo de trabalho.
8. Esta etapa é opcional, mas útil para alertá-lo se algo der errado com seu workflow. Vá para Configurações para configurar notificações de workflow para ser notificado se seu workflow falhar.
9. Não se esqueça de ativar seu fluxo de trabalho.

Qdica: Depois de configurar seu fluxo de trabalho, clique em Executar imediatamente para testar seu fluxo de trabalho ETL e garantir que ele esteja funcionando.

Recarregando dados

Quando houver uma alteração de configuração entre tarefas ETL que dependem umas das outras, um botão aparecerá para recarregar todos os dados com a nova configuração. Clique Recarregar os dados se você quiser reprocessar os dados antigos.

Tarefas de extrator disponíveis

Aqui estão algumas das tarefas de extrator disponíveis neste momento:

• Tarefa Extrair dados do Serviço de arquivos Qualtrics: Use os dados armazenados no Serviço de arquivos Qualtrics e salve-os em outro lugar da plataforma, como o XM Directory.
• Tarefa Extrair dados de arquivos SFTP: extrair dados do seu servidor SFTP e importá-los para o Qualtrics.
• Tarefa Extrair dados do Salesforce: extrair dados da sua instância Salesforce e importá-los para a Qualtrics.
• Tarefa Extrair dados do Google Drive: extraia dados da sua conta do Google Drive e importe-os para o Qualtrics.
• Tarefa Importar dados de relatório do Salesforce: Extrair dados de um relatório do Salesforce para importar para a Qualtrics.
• Extrair respostas de uma tarefa de pesquisa: extrair dados de suas pesquisas Qualtrics e carregá-los em outro lugar, como um SFTP.
• Extraia funcionários da tarefa Workday: Extraia os dados dos funcionários do Workday para importá-los para seu diretório Qualtrics EX.
• Extraia dados da tarefa do projeto de dados: extraia dados do seu projeto de dados importados da Qualtrics e carregue-os em outro lugar, como seu próprio banco de dados externo.
• Extrair dados do colaborador da tarefa do SuccessFactors: extrair dados do colaborador de sua instância do SuccessFactors e importá-los para o Qualtrics.
• Extraia os dados de recrutamento da tarefa do SuccessFactors: Extraia seus dados de recrutamento do SuccessFactors para importá-los para o Qualtrics.
• Extrair dados da tarefa Snowflake: extraia os dados armazenados no Snowflake para importá-los para o Qualtrics.
• Extrair dados da tarefa Amazon S3 : Extraia dados armazenados no Amazon S3 para importar para o Qualtrics.
• Extrair relatórios de histórico de execução de tarefa de fluxos de trabalho : Extraia relatórios sobre execuções de fluxo de trabalho anteriores para importar em outro lugar, como um SFTP.
• Extrair dados da tarefa de tickets : Extraia dados de tickets do Qualtrics para importar para outra fonte, como um SFTP.

Tarefas de carregador disponíveis

Aqui estão algumas das tarefas de carregador disponíveis neste momento:

• Carregar dados da conta B2B na tarefa do XM Directory: salve os dados importados no XM Directory.
• Adicionar contatos e transações à tarefa XMD: salvar dados importados e transações em seu XM Directory.
• Carregar usuários na tarefa do diretório EX: salvar dados de empregados importados em seu diretório EX ou projeto EX.
• Carregar usuários na tarefa de diretório CX: salvar dados de usuário CX importados.
• Carregar dados em uma tarefa do projeto de dados: salvar dados importados de uma tarefa do extrator de dados em um projeto de dados importado.
• Carregar em uma tarefa de conjunto de dados: Salvar dados importados em um conjunto de dados para usar com uma tarefa de mesclagem.
• Carregar dados na tarefa SFTP: salvar dados importados em um servidor SFTP.
• Carregar dados para a tarefa Amazon S3 : Salve dados importados em um bucket do Amazon S3.
• Carregar respostas para a tarefa da pesquisa : Salve dados importados em um conjunto de dados de pesquisa da Qualtrics.
• Carregar para tarefa SDS : Salve os dados importados em uma fonte de dados suplementar do Qualtrics.

Tarefas de transformação de dados disponíveis

As seguintes tarefas estão disponíveis para você para transformar os dados que processa em seus workflows ETL:

• tarefa básica de transformação : Altere o formato de strings e datas, calcule a diferença entre datas, execute operações matemáticas em campos numéricos e muito mais.
• Tarefa de mesclagem: combinar vários conjuntos de dados em um único conjunto de dados.

Eliminação de erros de tarefas de extração e carregamento de dados

Workflows incompletos

As tarefas do extrator de dados e do carregador devem ser utilizadas em conjunto. Se faltar uma parte da configuração, o editor de workflows o alertará.

Exemplo: neste exemplo, estamos sem nossa tarefa de carregador de dados. O editor de fluxos de trabalho nos alerta de que nossa “tarefa de importação não tem um destino” no momento.

Exemplo: neste exemplo, estamos sem a tarefa do extrator de dados. O editor de tarefas nos alerta que “você precisa adicionar pelo menos uma tarefa de fonte de dados.”

Workflows com falha

Se suas tarefas estiverem falhando ou não forem despachadas corretamente, o primeiro lugar que você deve procurar será &Relatório de fluxos de trabalho; histórico. Isso conterá informações sobre cada vez que seu fluxo de trabalho for disparado e os resultados desse fluxo de trabalho.

No &amp de relatórios; histórico, cada parte do seu fluxo de trabalho terá sua própria entrada, facilitando a identificação de onde as coisas deram errado.

Exemplo: no exemplo abaixo, estamos usando uma tarefa de extração de dados de arquivos SFTP e uma tarefa de carregamento de dados de conta B2B no diretório XM. Podemos ver que a tarefa do extrator falhou, mas a tarefa de carregador teve êxito. Isso significa que a nossa tarefa de extrator está configurada incorretamente, mas a nossa tarefa de carregador está OK.

Depois de identificar o problema, você pode clicar em Visualizar em Detalhes para ver mais informações para ajudá-lo a diagnosticar como corrigir o problema. Isso irá chamar o payload JSON para a tarefa. Role para baixo até a seção Saída de tarefa para encontrar quaisquer erros.

Exemplo: neste exemplo, vemos que a tarefa falhou porque a conexão tinha parâmetros inválidos para uma tarefa de extração de dados de arquivos SFTP.

Depois de editar seu fluxo de trabalho e corrigir o problema, você pode retornar ao relatório & histórico e clicar em Repetir para executar novamente o fluxo de trabalho.

Perguntas frequentes