Extrair dados da Tarefa do Amazon S3
Sobre a extração de dados do Amazon S3
O Amazon Simple Storage Service (também conhecido como Amazon S3) é um serviço no qual você pode armazenar dados. Com os fluxos de trabalho, você pode automatizar facilmente a extração de dados do Amazon S3 para uso no Qualtrics.
Antes de começar
Antes de começar a extrair dados do Amazon S3, leve em conta as seguintes considerações:
- O que você deseja fazer com seus dados? Dê uma olhada nas tarefas do carregador disponíveis para obter uma lista de opções.
- Seus arquivos têm um formato consistente? Por exemplo, os arquivos que você espera importar no mesmo fluxo de trabalho devem ter os mesmos cabeçalhos/colunas/campos, mesmo que os valores sejam diferentes.
Conectando o Qualtrics ao AWS
Permissão S3 necessária para uma função de IAM
As funções do IAM devem ter as seguintes permissões do S3 para conectar sua conta do AWS. Para obter mais detalhes sobre o gerenciamento de acesso ao S3, consulte a documentação da AWS.
- s3:DeleteObject
- s3:GetObject
- s3:ListBucket
- s3:PutObject
- s3:AbortMultipartUpload
- s3:ListMultipartUploadParts
Exemplo: Abaixo está um amostra política de função. Para a ação “s3:ListBucket”, o recurso associado deve apontar para um bucket inteiro. Não pode haver uma barra final nem um curinga após o nome do bucket.
{
"Version": "2012-10-17",
"Statement": [
{
"Effect": "Allow" (Permitir),
"Action" (Ação): [
"s3:ListBucket"
],
"Resource": [
"arn:aws:s3:::s3bucketname"
]
},
{
"Effect": "Allow" (Permitir),
"Action" (Ação): [
"s3:DeleteObject",
"s3:GetObject",
"s3:PutObject",
"s3:AbortMultipartUpload",
"s3:ListMultipartUploadParts"
],
"Resource": [
"arn:aws:s3:::s3bucketname/QualtricsPrefix/*"
]
}
]
}
Exemplo: Abaixo está um amostra política de confiança:
{
"Version": "2012-10-17",
"Statement": [
{
"Effect": "Allow" (Permitir),
"Action" (Ação): "sts:AssumeRole",
"Principal": {
"AWS": "604163242721"
},
"Condição"): {
"StringEquals": {
"sts:ExternalId": "60ebef7bdexternalidc38d36bc2a6b75cd14f02c73"
}
}
}
]
}
RECURSOS S3 NECESSÁRIOS PARA UM USUÁRIO IAM
Os usuários do IAM devem ter os seguintes recursos do S3 para conectar sua conta do AWS. Para obter mais detalhes sobre o gerenciamento de acesso ao S3, consulte a documentação da AWS.
- arn:aws:s3:::bucket-name/*
- arn:aws:s3:::bucket-name
Adição de uma Conta AWS
Estas etapas abrangem como conectar sua conta pessoal do Qualtrics a uma conta do Amazon Web Services (AWS).
- Crie um fluxo de trabalho com uma tarefa Extrair dados do Amazon S3.
- Clique em Adicionar uma conta de usuário.
- Adicione um nome de exibição para a conta. Esse nome só será usado para se referir à conta internamente.
- Copie o ID Conta e o ID externo exibidos para você.
- No AWS, configure uma função de IAM usando o ID Conta e o ID externo. Consulte esta página de suporte do AWS para obter mais informações sobre as funções de IAM no AWS.
- Digite o Amazon Resource Name associado à função IAM que você criou.
- Digite sua região. Consulte esta página de suporte da AWS se precisar de ajuda para encontrar sua região.
- Clique em Conectar conta.
Qdica: a capacidade de autenticação usando uma chave de acesso e uma chave secreta foi descontinuada. Você ainda pode visualizar e usar credenciais anteriores, mas elas não podem mais ser editadas. Todas as novas credenciais devem ser configuradas usando uma função do AWS IAM, conforme descrito acima.
Conexão de uma Conta como administrador Marca
Como Administrador Marca, você pode adicionar uma conta AWS para compartilhar com vários usuários em sua licença. Para adicionar uma conta compartilhada do AWS, acesse a seção Extensões da guia Admin e pesquise a extensão do AWS à qual deseja adicionar uma conta.
Depois de selecionar sua extensão, siga as etapas acima para adicionar uma conta do AWS. Você também pode escolher quais usuários têm acesso à conta.
Configuração de uma Tarefa de extração de dados do Amazon S3
- Criar um fluxo de trabalho de ETL .
- Selecione Fonte de dados (extrator ETL).
- Selecione Extrair dados do Amazon S3.
- Escolha a conta do Amazon Web Services (AWS) para extrair os arquivos. Todas as contas adicionadas pelos administradores Marca, bem como as contas que você mesmo adicionou, serão listadas aqui.
- Se quiser adicionar novas credenciais conta do AWS, clique em Add a user conta (Adicionar uma conta de usuário) e siga as etapas na seção de conexão de uma conta do AWS.
- Clique em Seguinte.
- Digite o nome do bucket S3 do qual você deseja extrair os dados.
Qdica: para obter mais diretrizes de nomeação de buckets, consulte a documentação do AWS. - Digite um prefixo para o nome do arquivo. Todos os arquivos com o prefixo especificado serão processados. Se a função s3 só permitir o acesso a um prefixo de bucket S3 específico, você deverá incluir o prefixo aqui.
- Selecione um tipo de arquivo para processar. Você pode escolher entre as seguintes opções:
- CSV (valores separados por vírgulas)
- TSV (valores separados por tabulação)
- Em Processamento de arquivos após a importação, escolha entre o seguinte:
- Excluir os arquivos processados (padrão): Exclui os arquivos do AWS depois que eles são extraídos.
- Mover os arquivos processados: Mova os arquivos processados para outro bucket. Se escolher essa opção, você será solicitado a digitar o nome do bucket do S3 onde deseja armazenar os arquivos processados.
- Renomear os arquivos processados: Renomeie os arquivos depois que eles forem processados. Se selecionar essa opção, será solicitado que você forneça um prefixo que gostaria que fosse adicionado aos nomes dos arquivos depois de processados.
- Selecione essa opção se você quiser Usar PGP para criptografar seus arquivos.
- Em Carregar arquivo amostra, adicione um arquivo amostra que tenha os mesmos cabeçalhos dos arquivos que serão processados sempre que o fluxo de trabalho for executado. Clique em Choose file (Escolher arquivo ) para carregar o arquivo de seu computador.
Qdica: se desejar, baixe os arquivos amostra na tarefa ou baixe os arquivos na seção Arquivos de exemplo. O único formato de codificação de arquivo compatível é o UTF-8. Alguns softwares de planilha salvam arquivos como Unicode UTF-8, que é diferente de UTF-8, se você estiver recebendo erros inesperados. Verifique se você está exportando no formato UTF-8 e não no Unicode UTF-8. Consulte Problemas de upload de CSV e TSV para obter mais etapas de solução de problemas.
- Verifique os campos no arquivo. A tabela exibirá os cabeçalhos das colunas (que representam os campos individuais) e seus valores para as duas primeiras linhas de dados.
Qdica: se você quiser carregar um arquivo diferente ou fazer outras alterações, clique em Edit the setup (Editar a configuração). - Quando terminar, clique em Salvar.
- Termine de criar seu fluxo de trabalho de ETL. Ao escolher uma tarefa do carregador, você está decidindo o destino dos dados extraídos. Consulte as tarefas do carregador disponíveis para obter uma lista de opções.