DAG default_args

DAG Parameters

Basic

• owner: 워크플로의 소유자를 지정할 수 있습니다.
• start_date: 워크플로의 시작 날짜 또는 시간을 지정합니다. 이 값을 지정하면, 앞으로 실행될 워크플로의 인스턴스는 이 날짜 이후에 발생합니다.
• end_date: 워크플로의 종료 날짜 또는 시간(선택 사항)을 지정합니다. 지정된 경우, 워크플로 인스턴스가 이 날짜 이전에 실행됩니다.
• default_on_past : DAG 내 작업들이 이전 실행의 성공, 실패에 의존하는지 여부, True로 설정하면 이전 작업이 실행 한 경우에만 다음 작업이 진행됨
• retries: 워크플로의 작업 별 최대 재시도 횟수입니다.
• retry_delay: 각 작업을 재시도하기 전에 대기해야 하는 시간 간격입니다.
• email_on_failure: 작업 실패시 이메일 알림을 설정하려면 이 값을 True로 설정하세요.
• email_on_retry: 작업 재시도시 이메일 알림을 설정하려면 이 값을 True로 설정하세요.
• email: 워크플로 이벤트 알림을 받을 이메일 주소를 지정할 수 있습니다.
• depends_on_past: 작업 실행 순서를 관리하려면 이 값을 설정하세요. True로 설정하면, 해당 작업은 이전 실행 완료를 확인 후 다음 작업을 실행합니다.

Advance

1. 'queue': 작업이 실행되기를 기다리는 큐를 지정할 수 있는 옵션입니다. 여러 개의 큐를 정의하고 작업들을 각각의 큐에 배치하여 병렬 실행을 제어할 수 있습니다.
2. 'pool': 작업이 실행될 풀(pool)을 지정할 수 있는 옵션입니다. 풀은 동시에 실행할 수 있는 작업의 수를 제한하여 리소스를 효율적으로 관리하는 데 사용됩니다.
3. 'priority_weight': 작업에 우선순위 가중치를 부여하는 옵션입니다. 낮은 숫자일수록 우선순위가 높습니다. 이를 통해 작업 간 우선순위를 지정하여 실행 순서를 제어할 수 있습니다.
4. 'end_date': DAG의 종료 날짜와 시간을 지정하는 옵션입니다. 이 시간 이후에는 새로운 실행이 예약되지 않습니다.
5. 'wait_for_downstream': 이 옵션을 False로 설정하면 현재 작업이 종료될 때 하위 작업들이 모두 완료되길 기다리지 않고 바로 실행됩니다.
6. 'dag': 작업이 속하는 DAG 객체를 지정하는 옵션입니다. 여러 개의 DAG를 정의할 때 사용됩니다.
7. 'adhoc': 이 옵션을 True로 설정하면 임시(ad-hoc) DAG로서 한 번만 실행됩니다.
8. 'sla': 작업의 SLA(Service Level Agreement)를 지정하는 옵션입니다. SLA는 작업이 완료되어야 하는 최대 시간을 의미하며, 이를 초과할 경우 알림이 발생합니다.
9. 'execution_timeout': 작업의 실행 시간 제한을 지정하는 옵션입니다. 작업이 이 시간을 초과하면 중지되고 실패로 표시됩니다.
10. 'on_failure_callback': 작업이 실패한 경우 호출되는 콜백 함수를 지정할 수 있는 옵션입니다. 실패 시 사용자 정의 로직을 실행하는 데 사용될 수 있습니다.
11. 'on_success_callback': 작업이 성공한 경우 호출되는 콜백 함수를 지정할 수 있는 옵션입니다. 성공 시 추가적인 작업이나 로깅 등의 작업을 수행하는 데 사용될 수 있습니다.
12. 'on_retry_callback': 작업이 재시도될 때 호출되는 콜백 함수를 지정할 수 있는 옵션입니다. 재시도 시 추가적인 로직을 실행하는 데 사용될 수 있습니다.
13. 'trigger_rule': 작업이 실행되어야 할 조건을 지정하는 옵션입니다. 예를 들어 'all_success'로 설정하면 이전 작업들이 모두 성공한 경우에만 현재 작업이 실행됩니다.