[BQ] BigQuery partition limit

BigQuery의 파티션(partition) 최대 갯수는 4,000개이다.

파티션 제한 갯수가 있으므로 파티션을 나눈 기준에 따라 파티션 만료시간을 지정해 놓아야 파티션 초과 에러가 발생하지 않는다.

 

Update the partition limitation

 

BQ 명령어로 파티션 만료시간 지정하기

bq update --time_partitioning_expiration 14256000 --time_partitioning_type HOUR project_name:database_name.table_name

 

BigQuery console로 파티션 만료시간 지정하기

ALTER TABLE database_name.table_name
  SET OPTIONS (
    -- Sets partition expiration to 4000 days
    partition_expiration_days = 4000);

 

---

Reference

• https://cloud.google.com/bigquery/quotas?hl=ko#partitioned_tables
• https://cloud.google.com/bigquery/docs/managing-partitioned-tables#update_the_partition_expiration