전체 글 (224) 썸네일형 리스트형 zepplin interpreter에서 python2.x plugin 설치 시 zepplin을 hdfs 위 ambari에 설치해서 사용하고 있다면 하기와 같이 인터프리터를 설정해서 사용하고 있을 것이다. 이런 경우 사용하는 입장에서는 정말 편리한데 플러그인 설치나 설정을 바꾸고 싶을 땐 내부 리소스 구성을 알아야 해서 너무 골치 아프다. 1. python2.x plugin을 업데이트하고 싶은 경우 사용하고 있는 인터프리터를 확인하고 python 버전을 무엇을 사용하고 있는지 확인해야 한다. settings에 설정 된 최상위 인터프리터가 %sh를 같이 물고 있으면 그냥 pip install ~ 하면 된다. 하지만 내가 사용하고 싶은 python 인터 프리터가 pip2라면 경우에 따라서는 manage server(zeppelin이 설치되어 있는 서버, ambari->hosts 나 ze.. zeppelin spark에서 elasticsearch 색인 작업 개선 zeppelin으로 spark 사용해 Elasticsearch 업데이트를 수행 할 때 가장 어려운 부분이 색인 작업 시간이다. Spark 튜닝은 전문작업자가 하기에도 어려운 작업들이 많고 ES 튜닝도 쉽지않다. 다른 건 몰라도 하기 2개의 튜닝 포인트는 꼭 잡으면 색인에 소요되는 시간을 어느정도 줄일 수 있다. 1. Spark partition 튜닝 spark partition 은 다음과 같이 3가지 종류가 있다. - Inpout, output, shuffle input은 말그대로 DB나 파일을 읽어 올 때 사용된다.(default: 134217728(128MB)) print(spark.conf.get("spark.sql.files.maxPartitionBytes")) output은 이를 다시 DB나 파.. 윈도우, MAC, Linux 줄바꿈 변경(EOL) 리눅스(LF)나 mac(CR)에서 작업한 txt 파일을 윈도우(CR LF)로 옮길때 줄바꿈 정책이 다르기 때문에 기존 커밋과 충돌 하면서 의도치 않은 변경점을 맞이했을 것이다. 크게 두가지 방법을 설명한다. intellij에서 git 설정을 바꾸는 방법, notepad에서 EOL 변경하는 방법 intellij git 설정 바꾸기 하기와 같이 설정하면 파일의 EOL이 crlf로 자동 변환되어 커밋된다. > git config --global core.autocrlf true > git config --global core.eol crlf > git config --global --list notepad EOL 변경 방법 [편집] -> 줄의 끝문자(EOL) 변환(E) -> 원하는 EOL 선택 git EOL .. 2022.08.09 22시 서울 날씨와 기상 특보 정보 (강수) 12일(금)은 충청권과 남부지방에 비가 오겠고, 충청권은 13일(토) 오전까지 이어지겠습니다. 15일(월) 중부지방(강원영동 제외)에, 16일(화)은 중부지방(강원영동 제외)과 전라권, 경북권에, 17일(수)은 남부지방에 비가 오겠습니다. (기온) 이번 예보기간 아침 기온은 22~27도로 어제(8일, 아침최저기온 26~29도)보다 낮겠으며, 낮 기온은 28~34도로 어제(낮최고기온 27~35도)와 비슷하겠습니다. (주말전망) 전국이 대체로 흐리겠으나, 13일(토) 오전은 충청권에 비가 오겠습니다. 아침 기온은 25~27도, 낮 기온은 29~34도가 되겠습니다. * 이번 예보기간에는 북태평양고기압의 확장과 수축 정도에 따라 강수구역과 강수량의 변동성이 크겠으니, 앞으로 발표되는 기상정보를 참고하기.. 2022.08.09 21시 서울 날씨와 기상 특보 정보 (강수) 12일(금)은 충청권과 남부지방에 비가 오겠고, 충청권은 13일(토) 오전까지 이어지겠습니다. 15일(월) 중부지방(강원영동 제외)에, 16일(화)은 중부지방(강원영동 제외)과 전라권, 경북권에, 17일(수)은 남부지방에 비가 오겠습니다. (기온) 이번 예보기간 아침 기온은 22~27도로 어제(8일, 아침최저기온 26~29도)보다 낮겠으며, 낮 기온은 28~34도로 어제(낮최고기온 27~35도)와 비슷하겠습니다. (주말전망) 전국이 대체로 흐리겠으나, 13일(토) 오전은 충청권에 비가 오겠습니다. 아침 기온은 25~27도, 낮 기온은 29~34도가 되겠습니다. * 이번 예보기간에는 북태평양고기압의 확장과 수축 정도에 따라 강수구역과 강수량의 변동성이 크겠으니, 앞으로 발표되는 기상정보를 참고하기.. 2022.08.09 20시 서울 날씨와 기상 특보 정보 (강수) 12일(금)은 충청권과 남부지방에 비가 오겠고, 충청권은 13일(토) 오전까지 이어지겠습니다. 15일(월) 중부지방(강원영동 제외)에, 16일(화)은 중부지방(강원영동 제외)과 전라권, 경북권에, 17일(수)은 남부지방에 비가 오겠습니다. (기온) 이번 예보기간 아침 기온은 22~27도로 어제(8일, 아침최저기온 26~29도)보다 낮겠으며, 낮 기온은 28~34도로 어제(낮최고기온 27~35도)와 비슷하겠습니다. (주말전망) 전국이 대체로 흐리겠으나, 13일(토) 오전은 충청권에 비가 오겠습니다. 아침 기온은 25~27도, 낮 기온은 29~34도가 되겠습니다. * 이번 예보기간에는 북태평양고기압의 확장과 수축 정도에 따라 강수구역과 강수량의 변동성이 크겠으니, 앞으로 발표되는 기상정보를 참고하기.. Zeppelin cron(scheduler) 활성 하기 1. zeppelin 설정을 확인한다. 설정이 false인 것을 확인 할 수 있다. 2. conf 파일 위치를 확인한다. 3. 설치 위치에서 conf 파일 수정 /제플린 설치 폴더/conf/zeppelin-site.xml 열기 ('zeppelin-site.xml.templete' 만 있으면 'cp zeppelin-site.xml.templete zeppelin-site.xml' 명령어로 복사 후 수정) zeppelin.notebook.cron.enable true Notebook enable cron scheduler feature zeppelin.notebook.cron.folders * Notebook cron folders 후 재기동하면 된다. 4. ambari 설정으로 적용하는 방법 상기 방법대로.. pyenv 에 jupyter 설치해 보기 pyenv 설치 # curl -L https://raw.githubusercontent.com/yyuu/pyenv-installer/master/bin/pyenv-installer | bash .bashrc 수정 더보기 # pyenv path export PATH="$HOME/.pyenv/bin:$PATH" eval "$(pyenv init -)" eval "$(pyenv virtualenv-init -)" pyenv에 python 특정 버전 설치 # env PYTHON_CONFIGURE_OPTS="--enable-shared" pyenv install 3.7.3 pyenv python 버전 설정 # pyenv global 3.7.3 'py3' 명으로 pyenv 생성하기 $ pyenv virtualenv.. window + venv + django 설치 후 실행해 보기!! pycharm 을 관리자 권한으로 실행한다. python3 설치 $ python3 적당한 위치에 폴더 만들기 $ mkdir djangogirls 폴더로 이동 $ cd djangogirls 가상 드라이버 생성 $ python3 -m venv myvenv 가상 드라이버 실행 $ .\myvenv\Scripts\activate '(myvenv)' 표시는 (myvenv) 가상 드라이버 실행 상태라는 뜻 django 설치 (myvenv) pip install django~=4.0.0 pip 업글 (myvenv) python3 -m pip install --upgrade pip 'my' + 'site' 생성 (myvenv) django-admin startproject mysite Mode LastWriteTime .. python to hive (spark) spark 환경에 있는 hive DB를 python으로 접속하는 방법이다. $ pip install impyla from impala.dbapi import connect conn = connect(host='IP', port=10000, user='id', password='pass', auth_mechanism='PLAIN') cursor = conn.cursor() cursor.get_databases() cursor.execute("select * from DB.TABLE limit 10") results = cursor.fetchall() for row in results: print(row) 참조. https://euriion.com/?p=411856 Hive server 2에 python i.. 이전 1 2 3 4 5 6 ··· 23 다음
