digdag

digdag: schedule を設定していない workflow の last_session_time は未定義

schedule: を定義してない workflow を RUN ボタンクリックで実行した場合、session_time はボタンをクリックした日時で、last_session_time は未定義となる。 あと、schedule を定義してないと backfill はできない。どういうサイクル(日毎なのか時間毎な…

digdag の -X オプション

jcommander の dynamic option というやつらしい。 https://github.com/treasure-data/digdag/blob/v0.10.0/digdag-cli/src/main/java/io/digdag/cli/Command.java#L54 しかし、どこで参照しているのか分からなかった...

digdag 手動実行時の session time、last_session_time

workflow 画面の 「RUN」をクリックした場合の挙動 2021-01-10 に実行したとする。 cron を使った場合 schedule: cron>: 10 1 * * * 1時10分より前に実行した場合 session_time = クリックした日時 last_session_time= 2021-01-09 01:10:00 1時10分より後に…

digdag schedule 実行時の session time、last_session_time

cron でスケジュールすると session_time = cron の時刻 daily でスケジュールすると session_time = 実行日の0時0分 hourly の場合も同様。 例えば、 2021-01-10 のバッチを考える。 cron を使った場合 schedule: cron>: 10 1 * * * ↓ session_time = 2021-…