본문 바로가기

반응형

Partition

(5)
[Linux] bin vs. sbin bin directory실행 파일이 들어 있는 바이너리 디렉토리이다.bin 디렉토리는 중요한 명령과 프로그램의 저장 위치 역할을 한다.바이너리라고 알려진 실행 파일을 저장하는 전용 영역이다.이 바이너리는 Linux 시스템에서 다양한 명령과 프로그램을 실행하는 데 필요하다.바이너리 폴더를 사용하면 실행 파일에 사용자가 쉽게 액세스 할 수 있다. bin 디렉토리에 포함되어 있는 시스템 기본 명령어를 아래 커맨드를 통해 확인해보자.ls /binsbin directory'시스템 바이너리'를 의미하는 sbin 디렉토리는 시스템 관리 및 유지 관리 작업에 필요한 바이너리가 포함되어 있다.bin 디렉토리와 달리 sbin 바이너리는 일반적으로 시스템 관리자나 루트 사용자가 사용한다.시스템을 관리 및 구성하고 복잡한 관..
[Linux] Linux Partition 리눅스 파티션리눅스 파티션은 디스크 공간의 분할을 의미한다.리눅스 운영 체제는 특정 기능을 수행하는 다양한 디렉토리가 있는 계층적 파일 시스템 구조를 사용한다.하드 디스크 드라이브의 공간을 별도의 데이터 영역으로 분할하여 관리할 수 있다.즉 하나의 물리 저장 장치를 시스템 내부에서 여러 디스크 공간으로 나누는 작업을 리눅스 파티셔닝이라고 한다.리눅스 파티션 종류Primary Partition (주 영역 파티션)물리적 파티션 최대 4개Extend Partition (확장 영역 파티션)논리적 파티션 최대 1개Logical Partition(논리 영역 파티션)Extend Partition 안에 만들 수 있는 파티션으로, SCSI 한 개 당 최대 15개 (12개 이상은 권하지 않음)리눅스 파티션 구성root 파..
[BQ] BigQuery partition partition? cluster? 파티셔닝(partitioning)과 클러스터링(clustering)은 성능을 높여 쿼리 비용을 최소화하는 기술이다. 더 적은 리소스를 사용하여 속도를 향상시키는 방법이다. 기본적으로 이 두 가지 방법은 쿼리를 실행할 때 스캔(scan)하는 데이터의 양을 제한하는 방법을 이용한다. partition 테이블 파티셔닝은 큰 테이블을 작은 테이블로 분할하는 것이다. BigQuery의 경우, 서로 다른 파티션을 물리적으로 다른 곳에 저장한다. 테이블을 분할하여 쿼리를 실행할 때 액세스할 파티션을 결정하고, 스캔할 데이터를 최소화한다. Time-unit column(시간 단위 열) timestamp 또는 날짜와 같은 시간 값을 기준으로 테이블 분할 Ingestion time(수집..
[BQ] BigQuery partition limit BigQuery의 파티션(partition) 최대 갯수는 4,000개이다. 파티션 제한 갯수가 있으므로 파티션을 나눈 기준에 따라 파티션 만료시간을 지정해 놓아야 파티션 초과 에러가 발생하지 않는다. Update the partition limitation BQ 명령어로 파티션 만료시간 지정하기 bq update --time_partitioning_expiration 14256000 --time_partitioning_type HOUR project_name:database_name.table_name BigQuery console로 파티션 만료시간 지정하기 ALTER TABLE database_name.table_name SET OPTIONS ( -- Sets partition expiration to..
[BQ] 쿼리 비용 Tip BigQuery 쿼리 비용 책정 https://cloud.google.com/bigquery/pricing.html?hl=ko#storage 가격 책정 | BigQuery: 클라우드 데이터 웨어하우스 | Google Cloud BigQuery 가격 책정 검토 cloud.google.com 주문형 쿼리 요금과 관련하여 다음 사항을 참고하세요. BigQuery는 열 형식 데이터 구조를 사용합니다. 따라서 선택한 열의 총 데이터 처리량을 기준으로 요금이 청구되며, 열별 총 데이터는 해당 열의 데이터 유형에 따라 계산됩니다. 데이터 크기 계산 방식에 대한 자세한 내용은 데이터 크기 계산을 참조하세요. 오류가 발생한 쿼리 또는 캐시에서 결과를 검색하는 쿼리에는 요금이 청구되지 않습니다. 스크립트 작업의 경우 이러..

반응형