Lab (3) 썸네일형 리스트형 ESS 버전 업그레이드 방법 개요 Elasticsearch cloud ES 버전을 업그래이드 하는 방법을 알아본다. 방법 Cloud>Deployments > '내 서비스 명' 후 Deployment version 에서 Upgrade 버튼을 클릭하면 된다. 원하는 버전 선택 업그래이드중 마무리 1. 카프카 뜯어 보기 개요 Apach kafka를 학습을 통해 배운 개념 및 핵심을 정리해 본다. 카프카 유래 구인/구직 사이트인 '링크드 인'에서 카프카를 개발하게 되었는데 기존 파편화된 데이터 파이프라인의 복잡도를 줄이기 위함이였음. - 소스 애플리케이션과 타깃 어플리케이션 사이의 디 커플링을 위함. - 자료구조는 '큐'와 비슷 - 클러스터 환경에서 작동되며 정족수(홀수 3개이상)셋팅 추천 데이터 레이크(data lake) 환경을 만들기 위함이며 이미 SK,삼성,카카오, 네이버 등과 같은 많은 IT 기업에서 사용 중 카프카 특징 1. 높은 처리량 분산 클러스터 및 다중 파티션 기능을 지원하기 때문에 데이터를 병령 처리 가능 2. 확장성 클러스터링 구조를 사용하기 때문에 스케일 아웃(scale out: 서버 추가), 스케일.. 2. apach kafka 설치 방법 정리 개요: aws kafka를 설치 경험 정리 카프카 설치 전반 https://blog.voidmainvoid.net/325 aws 에서 jdk 설치 필요 https://blog.voidmainvoid.net/338 aws micro-2 사용 시 kafka 최소 메모리 설정 Kafka 패키지의 기본 힙 메모리 설정이 Kafka = 1G, Zookeeper = 512M으로 설정되어 있어서 프리티어의 메모리 1G에서는 Kafka와 Zookeeper를 동시에 실행하면 "Cannot allocate memory"와 같은 문제가 발생합니다. echo $KAFKA_HEAP_OPTS export KAFKA_HEAP_OPTS="-Xms400m -Xmx400m" echo $KAFKA_HEAP_OPTS 이렇게 설정한 환경변수.. 이전 1 다음
