記事テンプレート
Sftpファイルからのデータ抽出タスクについて
SFTPファイルからデータを抽出タスクでは、SFTPサーバーからデータをインポートしてクアルトリクスで使用することができます。このタスクを使って、一度に1つまたは複数のファイルだけを処理することができる。このタスクと他のタスク(Load data to XM DIRECTORYタスクなど)を組み合わせることで、クアルトリクス内の他の場所にデータをインポートすることができます。
SFTP の設定とトラブルシューティングの詳細については、「SFTP トラブルシューティング」を参照してください。
SFTP アカウントの接続
SFTPファイルからデータを抽出タスクを使用する前に、クアルトリクスがデータを抽出するためのSFTPアカウントを接続する必要があります。アカウントは、ブランド管理者がブランドの他のユーザーに使用させるために追加することも、個人ユーザーが個人的に使用するために追加することもできます。
認証機能は3種類あります:
- パスワード:ユーザー名とパスワードで認証すること。
- SSHキー:自分が用意したSecure Shell(SSH)キー、またはクアルトリクスが用意したキーを使って認証機能を行います。
- 暗号化された SSH 鍵:暗号化された SSH 鍵を使用して認証機能。
Qtip:SFTP接続を設定する際には、ITチームがクアルトリクスIPレンジを許可することをお勧めします。
ブランド管理者としてのアカウントの追加
ブランド管理者の場合は、このセクションの手順に従って、ライセンス内の一部またはすべてのユーザーが使用する SFTP アカウントを追加してください。
- 左上のナビゲーションメニューを使って、「Admin」に進みます。
- エクステンションに行く。
- Sftpファイルからデータを抽出]拡張子をクリックします。
- [アカウントを追加]をクリックします。
- アカウントに名前をつける。この名前は、組織上の目的およびアカウントの識別のために使用されます。
- 関連する SFTP サーバのホスト名を入力します。
例:一般的には、sftp.example.comの形式です。
- ポート番号を入力します。(通常はQ1です)
- 自分らしくいられることを認証機能を選択します。オプションは次のとおりです。
- パスワード:認証用のユーザー名とパスワードを入力します。
- SSHキー:認証のためにユーザー名と SSH キーを提供するか、クアルトリクスが生成した SSH キーを使用します。
- 暗号化されたSSHキー:自分らしくいられることを認証するために、パスフレーズ付きの暗号化されたSSHキーを提供します。
- passwordを選択した場合は、SftpアカウントのUsernameと Passwordを入力します。
- SSH鍵で認証する場合は、以下のいずれかを行う:
- クアルトリクスが生成したSSHキーを使用する場合は、「Username」を入力し、「Generate SSH keypair」をクリックします。
公開SSH鍵のダウンロード」をクリックすると、公開鍵を.pemファイルとしてコンピュータにダウンロードできます。関連する秘密鍵はクアルトリクスが保管します。Copy to clipboard(クリップボードにコピー)をクリックし、キーのフィンガープリントをクリップボードにコピーします。この2つを安全な場所に保存し、必要に応じて参照できるようにする。 - 自分の SSH 鍵を使用する場合は、「秘密鍵を提供する」をクリックします。
次に、ユーザー名とSSHキーを入力します。Qtip:このボックスには、パスワードで保護されていない秘密鍵を入力する必要があります。さらに、公開鍵が SFTP サーバで認証されている必要があります。例:
SSH鍵は通常このようになります(RSA鍵の開始行と終了行を含む):
—–BEGIN RSA PRIVATE KEY—–
a1b2c3d4…
—–END RSA PRIVATE KEY—–
- クアルトリクスが生成したSSHキーを使用する場合は、「Username」を入力し、「Generate SSH keypair」をクリックします。
- 暗号化SSH鍵で認証する場合は、鍵に関連付けられたユーザー名、暗号化SSH鍵、パスフレーズを入力します。
- 完了したら、アカウントの接続をクリックします。
個人ユーザーとしてのアカウントの追加
このセクションの手順に従って、個人用の SFTP アカウントを追加します。接続したアカウントは、あなただけが使用できます。
- 使用するアカウントを選択するステップまでは、「SFTPファイルからのデータ抽出タスクの設定」セクションのフォローアップ手順に従います。
- ユーザーアカウントの追加をクリックします。
- アカウント接続の詳細については、上記の「ブランド管理者としてアカウントを追加する」サブセクションの指示に従ってください。個人ユーザーとしてアカウントを追加する場合も、同じ認証オプションと設定が利用できます。
接続のテスト
アカウントを追加したら、Sftp ファイルからデータを抽出するタスクで接続をテストできます。タスクの下部で、Test connectionをクリックする。これは小さなテストファイルをサーバーにアップロードし、その内容を読み込んでからファイルを削除する。
公開SSH鍵のダウンロード
クアルトリクスが生成したSSHキーを使用している場合は、接続用の公開キーをダウンロードできます。使用する SFTP アカウントのリストを表示したら、アカウントの右側にある 3 つのドット メニューをクリックし、「Download public SSH key」を選択します。これで鍵が.pemファイルとしてあなたのコンピュータにダウンロードされます。
クアルトリクスが生成したSSHキーの更新
クアルトリクスが生成したSSHキーを使用している場合、必要に応じてキーを再生成することができます。これは、鍵が漏洩していると思われる場合や、会社で一定期間経過後に鍵のローテーションを義務付けられている場合に有効である。
- 使用する SFTP アカウントのリストを表示したら、アカウントの右側にある 3 つのドット メニューをクリックし、「Edit account(アカウントの編集)」をクリックします。
- ハイパーリンクをクリックして、新しいキーペアを生成します。
Sftpファイルからのデータ抽出タスクの設定
- ETLワークフローを作成する。
- データソース(ETL抽出器)を選択します。
- SFTP ファイルからデータを抽出するタスクを選択します。
- ファイルを抽出する SFTP アカウントを選択します。ブランド管理者が追加したアカウントや、あなた自身が追加したアカウントは、ここにリストアップされます。
- 新しい SFTP アカウント認証情報を追加する場合は、「Add a user account (ユーザアカウントの追加)」をクリックし、「connect an SFTP account (SFTP アカウントの接続)」セクションの手順に従ってください。
- [次へ]をクリックします。
- ファイル名のパターンを入力します。これは、ファイルの接頭辞を見て、処理するファイルを特定するために使用します。指定した接頭辞を持つすべてのファイルが処理されます。希望の接頭辞をボックスに入力します。
例例えば、クアルトリクス-DataImport.csvというファイルがあるとします。処理したいファイルがサーバー内にあるかどうかによって、接頭辞として「Q」または「クアルトリクス」を入力することができる。Qtip:ファイル名パターンに正規表現を使用する場合は、正規表現を使用するチェックボックスをクリックしてください。 - Pickupディレクトリまたはサーバー上のファイルを探すディレクトリパスを入力します。相対パスでも絶対パスでも入力できます。
Qtip:このディレクトリパスは大文字と小文字を区別し、既存のフォルダを指していなければワークフローは失敗します。クアルトリクスは、ピックアップディレクトリで指定されたディレクトリよりも上位のディレクトリにあるファイルにはアクセスできません。
例入力したパスによって、ピックアップ・ディレクトリの候補は以下のようになる:
- /ホーム/ユーザー名/マイフォルダ(絶対パス)
- myFolder (相対パス)
- ファイルが圧縮されている場合は、Are you extracting from a zip fileオプションを有効にしてください。次に、zipファイルからインポートする正しいファイルを見つけるために使用されるzip内のファイルのプレフィックスを入力します。
Qtip:.zip圧縮のみがサポートされています。.zipファイル内のファイルは暗号化できますが、.zipファイル自体は暗号化できません(例えば、filename.csv.pgp.zipはサポートされていますが、filename.csv.zip.pgpはサポートされていません)。
- ファイルタイプを選択します。
オプションは次のとおりです。- CSV
- TSV
- JSON
Qtip:JSONファイルは、その内容を角括弧[]で囲む必要があります。例:
[ { "fruit": "Apple", "size": "Large", "color": "Red" } ].
- Excel(.xslx または .xls)
- CSV を処理する場合は、ファイルの区切り文字を選択します。オプションには、コンマ、セミコロン、タブ、パイプがあります。
- 必要に応じて、PGPを使用してインポートする前にファイルを復号化するを選択します。この暗号化とデータ保護の追加手段について詳細を見るには、PGP暗号化をご覧ください。
qtip:インポートするファイルがクアルトリクスの公開鍵で暗号化されていることを確認してから、Sftpサーバーにアップロードしてください。そのためには、ITチームに相談する必要があるかもしれません。
- 処理できないファイルをスキップしたい場合は、Skip bad filesを選択してください。このオプションが選択されていない場合、ワークフロー全体が不良ファイルを処理しようとして失敗します。
Qtip:ファイルが処理できない理由はいくつかあります。最も一般的なのは、サイズが大きすぎるか、データが何らかの形で破損していることだ。
- ファイル処理後の処理を選択します。オプションは次のとおりです。
- 処理したファイルを削除します:処理後、クアルトリクスはSftpサーバーからファイルを削除します。このオプションはデフォルトで有効になっています。
- 処理したファイルを保持します:処理後、クアルトリクスはファイルをSftpサーバーに残します。
- 厳密な検証を使用するかどうかを決定します。厳密な検証を使用すると、特定のフォーマットに問題がある場合、抽出されたファイルは自動的に拒否されます。どのファイルが拒否されるかについての詳細はタスクのメッセージを読んでください。
Qtip:ファイルをアップロードし、書式に問題のある行を除外するには、不正な行をスキップするを有効にします。 - Choose fileをクリックし、サンプルファイルをアップロードします。これにより、インポートしたいフィールドがクアルトリクスに伝えられ、このタスクで使用できる後続タスクが決まります。アップロードするファイルには、このタスクの一部としてインポートするフィールドを含める必要があります。
Qtip:タスクのサンプルファイルをダウンロードするか、サンプルファイルのセクションにあるファイルをダウンロードして、ユースケースに基づいたデータ構造のテンプレートをご覧ください。サポートされているファイルエンコーディング形式はUTF-8のみです。表計算ソフトによっては、UTF-8とは異なるUnicode UTF-8として保存するものもあり、予期せぬエラーが発生する場合があります。UnicodeのUTF-8ではなく、UTF-8形式でエクスポートしていることを確認してください。
- ファイルが正しくデータをインポートしていることを再確認してください。設定を変更する必要がある場合は、タスクの一番上にある「戻る」をクリックする。
- データが正しければ、Saveをクリックします。
- ETLワークフローの構築を完了します。ローダータスクを選択するとき、抽出したデータの行き先を決めることになる。オプションのリストについては、利用可能なローダータスクを参照のこと。
ファイル例
以下は、インポートしたいデータの種類に応じた、インポートするためのデータ構造の例です。サンプルファイルをダウンロードするには、ファイル名をクリックしてください。