본문 바로가기
반응형

spark

 (2)
[Spark] pyspark datafrmae to csv pyspark.pandas.dataframe.to_csvDataFrame.to_csv(path: Optional[str] = None, sep: str = ',', na_rep: str = '', columns: Optional[List[Union[Any, Tuple[Any, …]]]] = None, header: bool = True, quotechar: str = '"', date_format: Optional[str] = None, escapechar: Optional[str] = None, num_files: Optional[int] = None, mode: str = 'w', partition_cols: Union[str, List[str], None] = None, index_col: Unio..
[Spark] Pyspark - substring으로 문자열 자르기 Pyspark를 이용해서 spark에 있는 string 형식(YYYYmmddHH)의 날짜 데이터에서 day 까지만 데이터를 추출해야 할 일이 생겼다.YYYYmmddHH -> YYYYmmdd 만 출력/추출 하고 싶을 때 substring() 함수를 사용해보자.SELECT substring(hour, 1, 8) AS dayFROM table_name substring() function 사용하기pyspark.sql.functions.substring(str, pos, len)하위 문자열은 pos 에서 시작 하고 str이 문자열 유형일 때 길이가 len 이거나 str이 이진 유형일 때 길이가 len 이고 byte에서 pos 에서 시작하는 바이트 배열의 슬라이스를 반환한다 . 참고 : 위치(len)는 기준이 0..
반응형

티스토리툴바