본문 바로가기

전체 글

(124)

[Python] Redis connection Redis 접속 후 리턴값 옵션 설정기본적으로 python에서 redis에서 정보를 get 해올 때, b''로 값이 출력된다.이때 b의 의미와 이걸 제거하고 값만 출력하도록 옵션 설정을 한다. def connect_redis(): redis_host = config['redis']['host'] redis_port = config['redis']['port'] redis_db = config['redis']['db'] rd = redis.Redis(host=redis_host, port=redis_port, db=redis_db, charset="utf-8", decode_responses=True) return rdReferencehttps://zedo.tistory.com/..

[Python] PID 의미 PID란?PID(ProcessID/Process IDentification number)는 운영체제에서 프로세스를 식별하기 위해 프로세스에 부여하는 번호를 의미한다.이때 Python으로 서비스 혹은 데몬을 구동할 때 구동되고 있는 PID값이 필요한 경우가 있다.해당 PID에 대한 메모리/CPU 사용량을 보거나 프로세스를 kill 할 수 있다.PPID란?PPID(Parent Process IDentification Number)는 Parent PID이다.PID, PPID 알아내기multiprocessing 방식으로 구동시 child process의 pid(process id)를 알아내기 위한 코드를 작성한다.# pid값 알아내기 (1)import multiprocessingprocess = multipro..

[DE] ETL과 ELT의 개념 (+ETLT) 1. ETL 1-1. 정의 ETL 프로세스란 여러 소스에서 데이터를 수집하고, 이를 표준화하여, 분석을 위한 데이터 웨어하우스 또는 저장을 위한 데이터베이스 또는 기타 유형의 데이터 소스에 적재하는 데이터 통합 프로세스이다. 1-2. 단계 E(Extract) : 추출 다양한 소스들(비즈니스 시스템, API, 센서 데이터, 데이터베이스 등)로부터 데이터를 추출(수집)한다. 변경 알림 기반 데이터 추출 증분 데이터 추출 전체 데이터 추출 T(Transform) : 변환 다양한 데이터를 표준화하기 위해 여러 기술(솔루션)을 적용한다. 표준화 정리 중복 제거 형식 수정 L(Load) : 적재 변환된 데이터를 저장한다. 전체 적재 증분 적재 1-3. 필요성 데이터는 조직의 가장 큰 자산 중 하나이다. 그러나 유용..

[Linux] 파일 권한 의미 리눅스 권한 번호 의미유닉스에서 파일 권한 번호 의미를 알아보자.예 : -rwxr-xr---rwxrwxrwx파일타입user 권한group 권한other 권한파일 타입- : 일반 파일(plain file), 실행 파일 포함d : directoryl : link다른 파일을 가리키는 링크 파일p : pipe두 개의 프로그램을 연결하는 파이프 파일b : block device블럭 단위로 하드웨어와 반응하는 파일c : character device스트림 단위로 하드웨어와 반응하는 파일파일의 3가지 권한세 권한 그룹을 'UGO'라고 표현한다.User(유저) : 파일의 소유자Group(그룹) : 파일이 포함된 그룹Other(모든 사용자) : 그 외 나머지 사용자rwx 문자열r : Read(읽기)r = 4w : Wri..

티스토리툴바