pyspark (2) 썸네일형 리스트형 zepplin interpreter에서 python2.x plugin 설치 시 zepplin을 hdfs 위 ambari에 설치해서 사용하고 있다면 하기와 같이 인터프리터를 설정해서 사용하고 있을 것이다. 이런 경우 사용하는 입장에서는 정말 편리한데 플러그인 설치나 설정을 바꾸고 싶을 땐 내부 리소스 구성을 알아야 해서 너무 골치 아프다. 1. python2.x plugin을 업데이트하고 싶은 경우 사용하고 있는 인터프리터를 확인하고 python 버전을 무엇을 사용하고 있는지 확인해야 한다. settings에 설정 된 최상위 인터프리터가 %sh를 같이 물고 있으면 그냥 pip install ~ 하면 된다. 하지만 내가 사용하고 싶은 python 인터 프리터가 pip2라면 경우에 따라서는 manage server(zeppelin이 설치되어 있는 서버, ambari->hosts 나 ze.. [파일명] dataFrame을 파일로 저장 시 파일 명 바꾸기 spark에서 아무리 파일 명을 설정해서 저장하고 싶어도 특정 패턴으로 파일 명이 생성 된다... 이때 파일명을 가지고 와서 rename 해주면 원하는 파일 명으로 바꿀 수 있다. import org.apache.hadoop.fs._ val hdfsUrl = "hdfs://nameservice1/user/zeppelin/data/myfolder/" val file_path = "part*" val new_fileName = "nevFile.csv" val fs = FileSystem.get(sc.hadoopConfiguration) val file = fs.globStatus(new Path(hdfsUrl + file_path))(0).getPath().getName() fs.rename(new Path.. 이전 1 다음
