본문 바로가기

분류 전체보기

(124)

[BQ] schema 생성 BigQuery에서 schema를 생성하는 방법을 정리한다. Google Cloud console 사용하기 CREATE TABLE SQL문 사용하기 bq 명령문 사용하기 JSON 형식으로 스키마 생성하기 Reference https://cloud.google.com/bigquery/docs/schemas?hl=ko

[BQ] BigQuery partition partition? cluster? 파티셔닝(partitioning)과 클러스터링(clustering)은 성능을 높여 쿼리 비용을 최소화하는 기술이다. 더 적은 리소스를 사용하여 속도를 향상시키는 방법이다. 기본적으로 이 두 가지 방법은 쿼리를 실행할 때 스캔(scan)하는 데이터의 양을 제한하는 방법을 이용한다. partition 테이블 파티셔닝은 큰 테이블을 작은 테이블로 분할하는 것이다. BigQuery의 경우, 서로 다른 파티션을 물리적으로 다른 곳에 저장한다. 테이블을 분할하여 쿼리를 실행할 때 액세스할 파티션을 결정하고, 스캔할 데이터를 최소화한다. Time-unit column(시간 단위 열) timestamp 또는 날짜와 같은 시간 값을 기준으로 테이블 분할 Ingestion time(수집..

[BQ] BigQuery partition limit BigQuery의 파티션(partition) 최대 갯수는 4,000개이다. 파티션 제한 갯수가 있으므로 파티션을 나눈 기준에 따라 파티션 만료시간을 지정해 놓아야 파티션 초과 에러가 발생하지 않는다. Update the partition limitation BQ 명령어로 파티션 만료시간 지정하기 bq update --time_partitioning_expiration 14256000 --time_partitioning_type HOUR project_name:database_name.table_name BigQuery console로 파티션 만료시간 지정하기 ALTER TABLE database_name.table_name SET OPTIONS ( -- Sets partition expiration to..

[BQ] 쿼리 비용 Tip BigQuery 쿼리 비용 책정 https://cloud.google.com/bigquery/pricing.html?hl=ko#storage 가격 책정 | BigQuery: 클라우드 데이터 웨어하우스 | Google Cloud BigQuery 가격 책정 검토 cloud.google.com 주문형 쿼리 요금과 관련하여 다음 사항을 참고하세요. BigQuery는 열 형식 데이터 구조를 사용합니다. 따라서 선택한 열의 총 데이터 처리량을 기준으로 요금이 청구되며, 열별 총 데이터는 해당 열의 데이터 유형에 따라 계산됩니다. 데이터 크기 계산 방식에 대한 자세한 내용은 데이터 크기 계산을 참조하세요. 오류가 발생한 쿼리 또는 캐시에서 결과를 검색하는 쿼리에는 요금이 청구되지 않습니다. 스크립트 작업의 경우 이러..

[Python] pymysql connection option pymysql.connections.Connection() class parameterclass pymysql.connections.Connection(*, user=None, password='', host=None,database=None, unix_socket=None, port=0, charset='', sql_mode=None,read_default_file=None, conv=None, use_unicode=True, client_flag=0,cursorclass=, init_command=None,connect_timeout=10, read_default_group=None, autocommit=False,local_infile=False, max_allowed_packet=16777216,..

네이버 쇼핑 EP(Engine Page) 제작 가이드 https://join.shopping.naver.com/misc/download/ep_guide.nhn 네이버 쇼핑 EP(Engine Page) 제작 가이드 문서를 통해 '네이버 쇼핑 상품정보연동 포맷 제작 가이드'를 알아본다.

파일 시그니처 모음 (Common File Signatures) 파일이 담고 있는 데이터를 사용하기 위해서는 관련된 소프트웨어가 필요하다. 소프트웨어는 각각 자신만의 고유한 파일 포맷을 만들어서 사용한다. 어떤 파일을 읽을 수 있다면 (실행할 수 있다면) 해당 파일 포맷을 해석할 수 있다는 의미이다. (텍스트 파일 제외) 그림 파일(jpeg, png, tiff, gif 등) 또한 파일 포맷 별로 고유한 포맷을 가진다. 알씨와 같은 그래픽 뷰어 소프트웨어를 통해 해당 파일을 볼 수 있는 이유는 알씨 소프트웨어에서 각 그림 파일 포맷을 해석할 수 있도록 프로그래밍되어 있기 때문이다. 이처럼 파일들은 각각 고유한 포맷을 가지는데, 포맷의 기본이 되는 내용이 '파일 시그니처(File Signature)'이다. 파일 시그니처는 파일의 가장 처음에 위치하는 특정 바이트들도 파일..

File format(파일 포맷) 파일 포맷 종류 JAR JAR(Java Archive, 자바 아카이브) JAR(Java Archive, 자바 아카이브)는 여러개의 자바 클래스 파일과, 클래스들이 이용하는 관련 리소스(텍스트, 그림 등) 및 메타데이터를 하나의 파일로 모아서 자바 플랫폼에 응용 소프트웨어나 라이브러리를 배포하기 위한 소프트웨어 패키지 파일 포맷이다. jar 확장자 파일에는 class와 같은 java 리소스와 속성 파일, 라이브러리 및 액세서리 파일이 포함되어 있다. 자바 프로젝트를 압축한 파일이다. 플랫폼에 귀속된다는 점만 제외한다면 win, zip 파일과 동일한 구조이다. JRE(Java Runtime Environment)만 가지고도 실행이 가능하다. WAR WAR(Web Application Archive) war ..

목록 더보기

티스토리툴바