function (4) 썸네일형 리스트형 [Linux] 특별한 명령어 특별한 명령어tee 명령tee 명령은 화면 디스플레이를 유지하면서 명령의 표준 출력을 파일로 리디렉션하는 데 사용된다.이 명령어는 | 파이프와 결합되어 리디렉션할 명령어의 출력을 입력으로 수신한다.$ ls -lia / | grep fichier-a 옵션은 파일을 덮어쓰는 대신 파일에 추가한다. alias, unalias 명령alias는 특정 명령어와 옵션을 기억하고 이름을 지정하여 쉘에 요청하는 방법이다.$ ls -lia / | tee fic$ cat fic alias 명령은 현재 세션의 별칭을 나열한다.별칭은 리눅스 배포판에서 기본적으로 설정된다.여기서 Rocky 서버의 별칭은 다음과 같다.$ aliasalias l.='ls -d .* --color=auto'alias ll='ls -l --color=.. [Spark] Pyspark - substring으로 문자열 자르기 Pyspark를 이용해서 spark에 있는 string 형식(YYYYmmddHH)의 날짜 데이터에서 day 까지만 데이터를 추출해야 할 일이 생겼다.YYYYmmddHH -> YYYYmmdd 만 출력/추출 하고 싶을 때 substring() 함수를 사용해보자.SELECT substring(hour, 1, 8) AS dayFROM table_name substring() function 사용하기pyspark.sql.functions.substring(str, pos, len)하위 문자열은 pos 에서 시작 하고 str이 문자열 유형일 때 길이가 len 이거나 str이 이진 유형일 때 길이가 len 이고 byte에서 pos 에서 시작하는 바이트 배열의 슬라이스를 반환한다 . 참고 : 위치(len)는 기준이 0.. [SQL] 집계함수(Aggregate function) 집계함수(Aggregation Function) 1. 집계함수란? 테이블의 전체 레코드를 대상으로 특정 컬럼을 적용해서 한 개의 값을 리턴하는 함수이다. 2. 집계함수 종류 집계함수에는 대표적으로 COUNT(), SUM(), AVG(), MIN(), MAX() 등이 있다. COUNT() : 지정된 기준과 일치하는 레코드 개수를 반환한다. COUNT_BIG() : COUNT()함수는 INT형식을 반환하므로, 만약 2^31-1을 넘는 데이터를 다룬다면 BIGINT를 반환하는 함수를 사용한다. SUM() : 컬럼값의 합을 반환한다. AVG() : 컬럼값의 평균을 반환한다. VARIANCE() : 컬럼값의 분산을 반환한다. STD() : 컬럼값의 표준편차를 반환한다. MIN() : 컬럼값의 최솟값을 반환한다. .. [BigQuery] NET.HOST() NET.HOST BigQuery > Net 함수 (공식 문서) URL을 STRING으로 취해 호스트를 STRING으로 반환한다. 최상의 결과를 위해서는 URL 값이 RFC 3986 에 정의된 형식을 준수해야 한다. 함수에서 입력을 파싱하지 못랄 경우에는 NULL을 반환한다. NET.HOST 사용 NET.HOST(url) # domina 값 리턴 이 함수는 정규화를 수행하지 않는다. 리턴 값의 데이터 유형은 string 이다. 리턴 값은 url의 domain이다. 이전 1 다음
