[파일명] dataFrame을 파일로 저장 시 파일 명 바꾸기

 

spark에서 아무리 파일 명을 설정해서 저장하고 싶어도 특정 패턴으로 파일 명이 생성 된다... 이때 파일명을 가지고 와서 rename 해주면 원하는 파일 명으로 바꿀 수 있다.

import org.apache.hadoop.fs._

val hdfsUrl = "hdfs://nameservice1/user/zeppelin/data/myfolder/"
val file_path = "part*"
val new_fileName = "nevFile.csv"
val fs = FileSystem.get(sc.hadoopConfiguration)
val file = fs.globStatus(new Path(hdfsUrl + file_path))(0).getPath().getName()

fs.rename(new Path(hdfsUrl + file), new Path(hdfsUrl + new_fileName))