본문 바로가기

전체 글

(224)
Elasticsearch log4j2 보안 이슈 이슈 본문 https://www.elastic.co/kr/blog/new-elasticsearch-and-logstash-releases-upgrade-apache-log4j2 이슈 처리 방법 6. 대는 6.8.22로 7점 대는 7.16.2로 업뎃 https://www.elastic.co/kr/downloads/past-releases/elasticsearch-6-8-22 Elasticsearch 6.8.22 | Elastic www.elastic.co 7점 대는 7.16.2로 업뎃 https://www.elastic.co/kr/downloads/past-releases/elasticsearch-7-16-2 Elasticsearch 7.16.2 | Elastic www.elastic.co
Nested Object 타입의 데이터 java api 활용기 HighLevelRestAPI를 쓰다보면 map형식의 데이터를 기존 색인 데이터와 비교해서 색인을 업데이트 하고싶은 경우가 생기는대 이런 경우는 보통 doc에 존재 하지 않기 때문에 googling을 통해 기능을 찾게 된다. 시간도 오래걸리고 찾아 놓은게 아까워서 정리한다. ES version: 6.6.1 1. 색인 데이터 GET market-search/_doc/7744252 ... "shopping_basket" : { "item_id": 7744252 "apple" : 4, "banana" : 0 } ... 2. _update_by_query 명령어 하기 스크립트는 'params' 값을 'script'에서 map 형식으로 가져와 'param'값과 현 색인의 'item_id'가 동일 할때 'param..
[ML] ML 준비 window10에서 진행하고 '파이썬 머신러닝 완벽 가이드'를 따른다. 1. Anaconda 설치 https://www.anaconda.com/products/individual 2. xgboost 설치 https://anaconda.org/anaconda/py-xgboost 3. visual studio build tool 설치 https://my.visualstudio.com/Downloads?q=visual%20studio%202019&wt.mc_id=o~msft~vscom~older-downloads 4. source code https://visualstudio.microsoft.com/ko/thank-you-downloading-visual-studio/?sku=BuildTools 출처: ht..
redis bulk api(java spring boot) 사용법 하기에 잘 설명 되어있음 https://stackoverflow.com/questions/56406655/redistemplate-save-multiple-key-value-pairs-to-hash-problem
update nested field in an index of elasticsearch with java api object 형태의 field를 java api로 업데이트 하는 방법 https://stackoverflow.com/questions/23363801/update-nested-field-in-an-index-of-elasticsearch-with-java-api
5. [Elasticsearch] Cerebro 설치 1. Cerebro 설치 https://github.com/lmenezes/cerebro/releases 1.2 다운로드 $wget https://github.com/lmenezes/cerebro/releases/download/v0.9.4/cerebro-0.9.4.tgz 1.3 압축 해제 $tar -xzf cerebro-0.9.4.tgz 1.4 jdk 설치 jdk가 없으면 실행 되지 않으니 다운해서 설치(하기 링크 참조) 2021.07.13 - [programmer/Tool] - java 이전 버전 설치 방법 및 버전 바꾸는 법(jdk 1.8.0_161) 2. 설정 압축 푼 폴더로 가서 conf/application.yml 수정 # A list of known hosts hosts = [ { host ..
4. [Elasticsearch] kibana 설치 ES 운영에 필수적인 kibana를 설치해 보자 하기 링크에 가면 정말 친절하게 설명되어 있다 (한글) https://www.elastic.co/guide/kr/kibana/current/install.html Kibana 설치 | Kibana 사용자 가이드 [5.4] | Elastic Kibana는 다음 패키지 형태로 제공됩니다. tar.gz/zip tar.gz 패키지는 Linux 및 Darwin에 설치할 수 있도록 제공되며 가장 손쉽게 Kibana를 시작할 수 있는 방법입니다. Windows에서는 zip 패키지만 지원됩니다 www.elastic.co 1. kibana 설치 리눅스(ununtu) 설치 https://www.elastic.co/guide/kr/kibana/current/targz.html..
3. [Elasticsearch] ES 설치하기 하기 명령어를 쭉~ 치면 정상 설치가 된다. 원하는 버전을 받고 싶다면 2번에서 버전을 명시해 주면된다. curl -fsSL https://artifacts.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add - echo "deb https://artifacts.elastic.co/packages/7.x/apt stable main" | sudo tee -a /etc/apt/sources.list.d/elastic-7.x.list sudo apt update sudo apt install elasticsearch sudo vi /etc/elasticsearch/elasticsearch.yml sudo systemctl start elasticsearch servi..
2. [Elasticsearch] Ubuntu EC2 접속 하기 EC2 instance는 생성했는대. shell 에 접속하기 위해선 서브 툴들의 도움이 필요하다. 기본적으로 aws에서 접속 방법을 설명 해주고 있는대 이를 보조 설명하겠다. https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/AccessingInstances.html Connect to your Linux instance - Amazon Elastic Compute Cloud Thanks for letting us know this page needs work. We're sorry we let you down. If you've got a moment, please tell us how we can make the documentation better. doc..
1. [Elasticsearch] AWS EC2 생성하기 1. 인스턴스 시작 > AMI 선택 ubunto 20.04 버전을 선택했다. (원하는 환경 선택 가능) 2. 인스턴스 유형 선택 최소 2코어 4Gib 메모리를 사용해야한다. 3. 스토리지 추가. ES Data node 사용 시 적어도 1tb의 여유 공간은 확보하는 게 좋으나 서비스 운용하고 나서 cerebro에서 로드 확인한 후에 늘려도 충분하니 최소로 잡아보자. 이후 메모리 파티션 할당하는 방법은 하기 링크 참조 2021.12.03 - [programmer/AWS] - Linux partition 할당 하기 (AWS EC2 저장소 추가) 4. 보안 그룹 구성 elasticsearch 를 설치하려면 gpg 키가 필요하기 때문에 https 포트를 열어둔다.(추 후 수정 가능) 상기 설정들은 무료가 아니다...

반응형