분류 전체보기 (224) 썸네일형 리스트형 Elastic 설정 클러스터 노드 인덱스 메모리 1. 'not enough space' : 발생 시 RAM크기를 잘못 설정한거다. free -h를 입력해 메모리를 확인한다. 2. swap 메모리 생성 https://coco-log.tistory.com/132 Elastic 수행 메모리 설정 Elastic 은 JVM 위에서 돌아가기 때문에 JVM 메모리 설정을 적절하게 해주어야한다. 메모리 관련 이슈는 구글에 많은대 이슈 생기면 그때 검색해서 해결해보고 지금은 간단한 설정 방법을 알아보자 JVM 메모리 설정 ./ config/jvm.options 에서 설정 가능하다. -Xms4g(최소 g는 기가) -Xmx4g(최대) 와 같이 설정 가능하다. 변경 확인 curl -X GET "localhost:9200" Elastic 로그 확인 Elastic 루트 위치에서 logs/elasticsearch.log 파일을 확인하면 실행 로그를 확인 할 수 있다. 실행 로그가 계속 생성되니 tail -f 명령어를 사용하자. 실시간 로그메시지 확인 tail tail은 특정파일에 계속 추가되는 모든 내용을 모니터링 할 수 있어 로그 파일 내용 확인 등 많이 사용되는 명령어 /var/log/ 디렉토리에 존재하는 시스템로그파일들의 내용을 실시간으로 계속 모니터링하기 할 수 있다. 사용방법 : tail (option) 파일명 default 파일의 마지막 10개행 출력 -n 숫자 숫자만큼 행의 개수를 출력 -c 숫자 숫자크기 byte 만큼 마지막에서 부터 출력 -f 실시간 파일 모니터링 검색과 색인이 일정시간 이상 소요됐을때 느린 속도록 실행된 내용을 기록하.. Elastic 설치 및 Test (기본 설정) 해보기 설치 환경 linux- ubuntu amd64(aws EC2) 설치하기 wget https : // artifacts . 탄성 . co / downloads / elasticsearch / elasticsearch - 7.12 . 0 - 리눅스 - x86_64에 . tar . gz wget https : // artifacts . 탄성 . co / downloads / elasticsearch / elasticsearch - 7.12 . 0 - 리눅스 - x86_64에 . tar . gz . sha512 shasum - a 512 - c elasticsearch - 7.12 . 0 - 리눅스 - x86_64에 . tar . gz . sha512 tar - xzf elasticsearch - 7.12 . .. AWS EC2 setting spark query 모음 합집합 rdd1.union(rdd2).collect() 교집합 rdd1.intersection(rdd2).collect() 카테시안 rdd1.cartesian(rdd2).collect() 차집합(A-B) rdd1.subtract(rdd2).collect() join (K, V)와 (K, W)를 (K, (V, W))로 만들어줌 hash1.join(hash2).collect() cogroup (K, V)를 (K, Iterable)로 변환 hash1.cogroup(hash2).collect() persist persist() 를 사용하면 spark driver program 이 종료되더라도 memory 에 상주한다. unpersist unpersist를 사용해 memory free 해준다.(persist 사용.. value toDF is not a member of org.apache.spark.rdd.RDD 에러 value toDF is not a member of org.apache.spark.rdd.RDD Zeppelin 설치 1. 자바 설치 jdk-8u281-windows-x64.exe 설치 www.oracle.com/java/technologies/javase-downloads.html 2. Scala 설치 scala-2.13.5.msi 설치 www.scala-lang.org/download/ 3. Spark 설치 spark-2.4.7-bin-hadoop2.7.tgz 설치 archive.apache.org/dist/spark/spark-2.4.7/ 4. Hadoop 설치 hadoop-2.6.0 > winutils.exe만 있으면 댐 github.com/steveloughran/winutils/tree/master/hadoop-2.6.0/bin 5. Zeppelin 설치 zeppelin-0.8.0-bin-all 설치 zepp.. Mysql 필요 쿼리 정리 1. 중복된 갯수가 n 개 이상인 SELECT 필드명, count(*) as 변수명 FROM 테이블명 GROUP BY 필드명 HAVING 변수명 > n; 출처: https://link2me.tistory.com/728 [소소한 일상 및 업무TIP 다루기] [MySQL] 중복된 갯수가 n 개 이상 및 데이터 찾기 1. 중복된 갯수가 n 개 이상인 SELECT 필드명, count(*) as 변수명 FROM 테이블명 GROUP BY 필드명 HAVING 변수명 > n; 또는 SELECT 필드명, count(*) FROM 테이블명 GROUP BY 필드명 HAVING count(*) > n; // 중.. link2me.tistory.com 2. 중복 조건 걸기 SELECT * FROM Customers WHERE .. Folium API 활용(그룹 설정, 마크 커스텀, 서클 마커, html 저장) Folium 라이브러리 사용시 1. 마커 Grouping, 2.마커에 특정 문자열을 삽입, 3. 서클 마커, 4.html 저장을 순서대로 알아보자. 1. 마커 Grouping 마커 그룹생성은 folum.FeatureGroup 함수를 사용해 만들 수 있다. 예제는 상위 그룹 'groups' 에 2개의 하위 그룹(group1, group2)이 존재한다. folium.LayerControl(collapsed=False).add_to() 함수를 꼭 수행해야 표출 된다. m = folium.Map(location=[37.502088,127.024615], zoom_start=17) #그룹 만들기 fg = folium.FeatureGroup(name='groups') m.add_child(fg) g1 = plugi.. 이전 1 ··· 8 9 10 11 12 13 14 ··· 23 다음
