분류 전체보기 (126) 썸네일형 리스트형 [Google] BigQuery에 대하여 BigQuery란? 대용량 데이터 셋(최대 몇 십억 개의 행)을 대화식으로 분석할 수 있는 웹 서비스 대규모 데이터 저장 및 분석 플렛폼으로 일종의 데이터 웨어하우스 (Data Warehous) Data Warehous : 축적된 데이터를 모아서 관리하는 곳 BigQuery 구성 Project : 데이터를 담는 최상위 개념으로, 하나의 프로젝트에 여러 개의 데이터 셋이 포함된다. Dataset : RDB에서의 DataBase 개념으로, 하나의 데이터 셋에 여러 개의 테이블이 포함된다. 주어진 클라우드 프로젝트 내에서는 BigQuery 데이터 셋이 고유하다. Table : RDB에서 테이블과 동일한 개념이다. 지정된 데이터 셋 내에서 BigQuery 테이블은 고유하다. Job : BigQuery 상의 모든.. [BigQuery] NET.HOST() NET.HOST BigQuery > Net 함수 (공식 문서) URL을 STRING으로 취해 호스트를 STRING으로 반환한다. 최상의 결과를 위해서는 URL 값이 RFC 3986 에 정의된 형식을 준수해야 한다. 함수에서 입력을 파싱하지 못랄 경우에는 NULL을 반환한다. NET.HOST 사용 NET.HOST(url) # domina 값 리턴 이 함수는 정규화를 수행하지 않는다. 리턴 값의 데이터 유형은 string 이다. 리턴 값은 url의 domain이다. [Python] Redis connection Redis 접속 후 리턴값 옵션 설정기본적으로 python에서 redis에서 정보를 get 해올 때, b''로 값이 출력된다.이때 b의 의미와 이걸 제거하고 값만 출력하도록 옵션 설정을 한다. def connect_redis(): redis_host = config['redis']['host'] redis_port = config['redis']['port'] redis_db = config['redis']['db'] rd = redis.Redis(host=redis_host, port=redis_port, db=redis_db, charset="utf-8", decode_responses=True) return rdReferencehttps://zedo.tistory.com/.. [Python] PID 의미 PID란?PID(ProcessID/Process IDentification number)는 운영체제에서 프로세스를 식별하기 위해 프로세스에 부여하는 번호를 의미한다.이때 Python으로 서비스 혹은 데몬을 구동할 때 구동되고 있는 PID값이 필요한 경우가 있다.해당 PID에 대한 메모리/CPU 사용량을 보거나 프로세스를 kill 할 수 있다.PPID란?PPID(Parent Process IDentification Number)는 Parent PID이다.PID, PPID 알아내기multiprocessing 방식으로 구동시 child process의 pid(process id)를 알아내기 위한 코드를 작성한다.# pid값 알아내기 (1)import multiprocessingprocess = multipro.. [DE] ETL과 ELT의 개념 (+ETLT) 1. ETL 1-1. 정의 ETL 프로세스란 여러 소스에서 데이터를 수집하고, 이를 표준화하여, 분석을 위한 데이터 웨어하우스 또는 저장을 위한 데이터베이스 또는 기타 유형의 데이터 소스에 적재하는 데이터 통합 프로세스이다. 1-2. 단계 E(Extract) : 추출 다양한 소스들(비즈니스 시스템, API, 센서 데이터, 데이터베이스 등)로부터 데이터를 추출(수집)한다. 변경 알림 기반 데이터 추출 증분 데이터 추출 전체 데이터 추출 T(Transform) : 변환 다양한 데이터를 표준화하기 위해 여러 기술(솔루션)을 적용한다. 표준화 정리 중복 제거 형식 수정 L(Load) : 적재 변환된 데이터를 저장한다. 전체 적재 증분 적재 1-3. 필요성 데이터는 조직의 가장 큰 자산 중 하나이다. 그러나 유용.. [Linux] 파일 권한 의미 리눅스 권한 번호 의미유닉스에서 파일 권한 번호 의미를 알아보자.예 : -rwxr-xr---rwxrwxrwx파일타입user 권한group 권한other 권한파일 타입- : 일반 파일(plain file), 실행 파일 포함d : directoryl : link다른 파일을 가리키는 링크 파일p : pipe두 개의 프로그램을 연결하는 파이프 파일b : block device블럭 단위로 하드웨어와 반응하는 파일c : character device스트림 단위로 하드웨어와 반응하는 파일파일의 3가지 권한세 권한 그룹을 'UGO'라고 표현한다.User(유저) : 파일의 소유자Group(그룹) : 파일이 포함된 그룹Other(모든 사용자) : 그 외 나머지 사용자rwx 문자열r : Read(읽기)r = 4w : Wri.. 이전 1 ··· 13 14 15 16 다음
