記事テンプレート
基本変形タスクについて
基本変換タスクでは、未加工データを互換性のある簡略化されたドキュメントに編集および検証することができます。データ変換は、パートナーやチームに送信したい形式にエクスポートするために、データセットを自動的に統一するのに役立ちます。
基本的な変換タスクの設定
- 左上のナビゲーションメニューをクリックします。
- ワークフローを選択します。
- ワークフローの作成」をクリックします。
- データの抽出、変換、ロード(ETL)をクリックします。
- 必要であれば、上部のワークフロー名をクリックしてワークフロー名を変更します。
- 抽出タスクを設定します。このタスクはこのワークフローで変換されるデータを提供する。 抽出タスクの設定方法については、ETLワークフローの構築を参照してください。
- データ変換をクリックする。
- メニューからBasic Transformを選択する。
- ドロップダウンからデータソースを選択します。
- [次へ]をクリックします。
- 抽出タスクのフィールドを編集します。各フィールドには4つの主要な要素がある:
- 必須:データが必要な場合は、フィールドの次へチェックボックスを選択します。フィールドがチェックされていても、そのフィールドにデータがない場合はスキップされる。
- ソースフィールド:抽出タスク内のファイルからのすべてのフィールド。新しいフィールドを追加したら、どのカラムからデータを取得するかをドロップダウンで選択します。
- 変換先フィールド名: 変換後のデータセットでフィールド名がどのように見えるか。ソースファイルのフィールド名を変更したい場合は、この欄の名前を編集する。
- フィールドタイプ:フィールドタイプ:抽出されたデータが変換後のデータセットでどのように解釈されるか。フィールドタイプによって、どの変換操作が利用できるかが決まります。
- データの変換、検証ルールの追加、条件フィールドの追加、データセットからのフィールドの削除を行うには、右側の3つのドットメニューをクリックします。これらのオプションの詳細については、以下のセクションを参照してください。
- データセットにフィールドを追加したい場合は、Add fieldをクリックする。
- 適用トランスフォーム]タブですべてのトランスフォームを評価します。各変換の詳細については、変換をクリックしてください。編集または削除するには、3つのドットメニューをクリックします。
Qtip: 操作は、適用されたトランスフォーメーションタブに表示される順番、つまり設定された順番で実行されます。同じフィールドに複数の演算が設定されている場合、後続の演算は前の演算の結果に基づいて計算される。 - 検証ルールタブですべての検証ルールを評価する。各検証ルールの詳細については、検証ルールをクリックしてください。編集または削除するには、3つのドットメニューをクリックします。
- [次へ]をクリックします。
- 変換と検証の概要を評価する。準備ができたらSaveをクリックします。
データ変換
フィールドで利用できる変換操作は、変換先のフィールドタイプによって異なります。
テキスト値、テキスト・セット、およびオープン・テキスト・フィールドでは、以下の変換が可能です:
- 連結:複数のフィールドの値を結合する。
- 分割する:元のフィールドを区切り文字で区切られた複数のフィールドに分割する。
- プレフィックスを追加する:各値の前にテキストを追加する。
- サフィックスを追加する。各値の末尾にテキストを追加する。
- 大文字と小文字のフォーマット:フィールド内のすべての値に大文字と小文字のフォーマット(例:UPPERCASE)を適用する。
- 値を置き換える:フィールド内の値を検索して置換します。
- 値をトリムする: フィールド内のテキストの先頭、末尾、または両端から指定した文字列または空白を削除する。
- 文字数で分割する:先頭または末尾からの文字数を指定して、テキストを2つのフィールドに分割します。
以下の変換は、数値フィールドと数値セットフィールドで利用可能です:
- 加算変換: フィールドの各数値に値を追加するか、2つのフィールドを足し合わせる。
- 減算変換:フィールドの各数値に値を引くか、あるフィールドから別のフィールドを引く。
- 乗算変換:フィールドの各数値に値を乗じるか、2つのフィールドを掛け合わせる。
- 部署変換:フィールドの各数をある値で区切ったり、あるフィールドを別のフィールドから区切ったりする。
- 整数の除算変換:フィールドの各数をある値で区切ったり、あるフィールドを別のフィールドから区切ったりする。整数(integer)のみを返す。
- 絶対値:フィールド内の各値の絶対値を取得する。
- 値を丸める:フィールド内のすべての値を上か下に丸める。
- 値の平均:各回答について、選択したフィールドの値の平均を取る。
- 値の中央値:各回答について、選択したフィールドの値の中央値を取ります。
- 値の合計:各回答について、選択したフィールドの値の合計を取ります。
- 値の最小値:各回答について、選択したフィールドの値の最小値を取ります。
- 値の最大値: 各回答について、選択したフィールドの値の最大値を取ります。
日付フィールドでは以下の変換が利用できます:
- 日付の計算:現在のソース日付から別の日付までの経過時間を返します。
- 日時のオフセット:指定した時間値で日時をオフセットする。例えば、対話の5日後の日付を提供することができる。
カスタムの日付/時刻フォーマットを入力する際、これらの書式オプションが使用できます:
- 年:YY、YYY
- 月m, mm, mmm, mmmm
- 日:d、dd
- 年曜日
- 半日の時間K, KK
- 時間HH
- 分:m、mm
- セカンド:s、ss
- 分数秒:S、SS、SSS
- タイムゾーンオフセット:ZZZZ、ZZ:ZZ(+/-を含むことができる)
- 半日:a
- 曜日E、EE
- タイムゾーン形式: z
データ検証
検証ルールを追加することで、フィールドのデータが同じフォーマットであることを保証する条件や条件を作成することができます。例えば、無効な電子メールアドレスのレコードを削除したい場合があります。
- 3つのドットメニューをクリックし、検証ルールの追加をクリックします。
- このフィールドが空の場合に応答を省略したい場合は、空でないレコードのみを含めるを選択します。このプリファレンスは、トランスフォーム・テーブルのRequiredカラムと同じ働きをする。
- データの形式に基づいて検証するために、指定された型にキャストできるレコードのみを含む、強制レコードデータ型を選択します。例えば、テキスト値の場合、そのデータを数値にするかテキスト形式にするかを選択できる。
- 失敗したときにスキップする代わりに警告する:このオプションを有効にすると、検証基準を満たさないレコードもデータセットに含まれるようになる。回答がこのルールに失敗したことを示す警告が行レポートに表示されます。このチェックを外すと、そのレコードはスキップされ、新しいデータセットには含まれなくなる。
- 検証ルールを追加する。詳細は以下のセクションを参照。
- [適用]をクリックします。
検証ルール
検証ルールを追加して、フィールドのデータを条件付きで検証することができます。建築条件については、建築条件の基本を参照。
- 条件不成立時に記録がどうなるかを選択します。そのレコードをスキップしてデータセットに含めないか、警告を表示して含めるかを選択できる。
- 条件を検証するために、すべてのルールが真である必要があるのか、いずれかのルールが真である必要があるのかを示す。
- 演算子のドロップダウンとテキストボックスを使って条件を作成します。これは、このフィールドのレコードが条件をパスするために何を満たす必要があるかを決定する。
Qtip: 別の条件を作成したり、既存の条件を削除するには、右側の3つのドットメニューをクリックします。 - 必要であれば、別の検証ルールを追加してください。
Qtip: 検証ルールを削除するにはごみ箱をクリックしてください。
- [適用]をクリックします。
条件フィールド
条件フィールドは、フィールドの作成方法を決定するために他のフィールドを使用する論理条件を設定することによって作成されます。ソースフィールドの右にある3つのドットメニューから条件フィールドを追加する。建築条件については、 建築条件の基本を参照。
条件フィールド
条件フィールドは、1つの論理条件に基づいて新しいフィールドを作成します。
- 新しいフィールド名を入力します。
- 条件に合ったオペレーターを選ぶ。
- 条件を満たすための値を入力します。
- ステップ2と3で作成したルールが真である場合に返される内容を入力する。
- ステップ2と3で作成したルールが偽の場合に返される内容を入力する。
- 完了したら適用を クリックします。
高度な条件フィールド
高度な条件フィールドは、複数の論理条件または条件セットに基づいて新しいフィールドを作成します。
- 新しいフィールド名を入力します。
- 条件を検証するために、ルールのいずれかまたはすべてが真である必要があるかどうかを示す。
- 条件を作る。詳細については、上記の条件フィールドのセクションを参照してください。
- 新しい条件セットを作成するには、Add branchをクリックします。
Qtip:分岐は4つまでです。
- 完了したら適用をクリックします。
変換ファイルとレポート
基本変換タスクは、変換されたデータセットを理解するのに役立つ2つのレポートとともに、変換されたファイルを生成します。ワークフローエディタの[実行履歴]タブで、ワークフロー実行内の[基本変換]タスクをクリックすると、右側にファイルが表示されます。これらのファイルは、右側にあるダウンロードアイコンをクリックしてエクスポートすることができます。
- 変換レポート:ソースファイル内のレコードに対して実行されたすべての変換と、その名前、行番号、ステータス、失敗理由などの詳細。
- 変換ファイル:すべての変換と検証が適用された新しいデータセットを含むデータ変換の結果。
- 検証レポート:レコードが除外されたかどうか、失敗した検証を含む、実行された検証のレポート。
トラブルシューティング
- 基本変換タスクによって生成されたファイルが1GBを超える場合、ワークフローは失敗します。
- どのようにデータを変換するかによって、基本的な変換タスクはファイルにデータを追加することができます。抽出するファイルがすでに1GBの制限に近い場合、変換によってファイルが大きくなりすぎて処理できなくなる可能性があることに注意してください。