MySQL 데이터 복구하기 MySQL은 DDL, DML과 같이 DB에 변경을 주는 이벤트를 바이너리 형태로 기록하는 바이너리 로그가 있다 변경을 주는 이벤트만 남기기 때문에 ,show select 같은 쿼리문은 찾을 수 없다. 이전에 고객사에서 사원들 계정 관련 대규모 변경 건이 있었고, 해당 발생 사항들을 모두 DB에 저장을 해두고 있었다. 그런...

WINDOW func WINDOW 함수란 행과 행간의 비교, 연산을 정의하기 위한 함수이고 분석함수, 순위함수 라고도 부른다. 기본 문법 SELECT WINDOW_FUNCTION (ARGUMENTS) OVER([PARTITION BY 컬럼] [ORDER BY 컬럼] [WINDOWING 절]) FROM 테이블명; WINDOW functi...

Backfill & Clear Catch Up 공식문서 설명 Airflow DAG는 start_date, end_date, 그리고 비 데이터셋 일정으로 정의되어 스케줄러가 개별 DAG 실행 요소로 바꾸어 일련의 간격을 실행합니다. 스케줄러는 기본적으로 마지막 간격 이후 실행되지 않은 모든 데이터 간격에 대한 DAG 실행을 시...

version: '3' x-airflow-common: &airflow-common # In order to add custom dependencies or upgrade provider packages you can use your extended image. # Comment the image line, place your Doc...

DAG Parameters Basic owner: 워크플로의 소유자를 지정할 수 있습니다. start_date: 워크플로의 시작 날짜 또는 시간을 지정합니다. 이 값을 지정하면, 앞으로 실행될 워크플로의 인스턴스는 이 날짜 이후에 발생합니다. end_date: 워크플로의 종료 날짜 또는 시간(선택 사항)을 지정합니다. 지정된 경우, 워...

start_date : Dag가 시작되는 기준 시점 start_date='2023-04-29' 이고 하루에 한번 실행되는 DAG라면 2023-04-30 일에 처음 실행됨 즉 start_date는 시작 날짜가 아니라 읽어와야 하는 날짜로 DAG가 시작되는 기준 시점 현재 시간이 start_date 보다 이전...

Airflow 기본 구조 AirFlow는 Workflow를 정의하고 실행 가능한 플랫폼으로 반복 된 작업을 자동화 하기위해 사용한다. 주로 주기적으로 실행하는 ETL 작업에 주로 사용한다. AirFlow 기본 구조 Scheduler : AirFlow의 DAG, Task 들 모니터링 및 실행 순서 관리 Worker : 스케쥴러의 의해...

PyCon korea 2022 신동현 SQL을 이해하고 사용하는 Django ORM 1. 기본 SQL 💡 QuerySet은 하나의 쿼리를 통해 얻은 데이터이다 호출한 SQL 및 성능을 위한 실행 계획 확인 QuerySet에 의해 호출된 sql 확인 하는법 import sqlparse query =...

PyCon korea 2020 김성렬 Django ORM 구조와 원리 최적화 전략 QuerySet을 통해 알아보는 ORM 특징 1. Lazy Loading 정말 필요한 시점에 SQL을 호출함 QuerySet을 정의하고 사용하지 않으면 실제 SQL은 호출되지 않음 # 이 시점에는 ORM 정의만 되어있음 users : QuerySet = Use...

쉽게배우는 운영체제 CPU 아키텍처 ## 아키텍처 종류 x86 intel의 32bit cpu 가장 많이 쓰이는 아키텍처 Windows, Linux, Mac os(BigSur 버전 까지) x86_64(amd64) amd가 만든 intel 기반의 64bit cpu x86과 호환됨 Windows, Linux, Mac ...