programmer (167) 썸네일형 리스트형 redis bulk api(java spring boot) 사용법 하기에 잘 설명 되어있음 https://stackoverflow.com/questions/56406655/redistemplate-save-multiple-key-value-pairs-to-hash-problem update nested field in an index of elasticsearch with java api object 형태의 field를 java api로 업데이트 하는 방법 https://stackoverflow.com/questions/23363801/update-nested-field-in-an-index-of-elasticsearch-with-java-api 4. [Elasticsearch] kibana 설치 ES 운영에 필수적인 kibana를 설치해 보자 하기 링크에 가면 정말 친절하게 설명되어 있다 (한글) https://www.elastic.co/guide/kr/kibana/current/install.html Kibana 설치 | Kibana 사용자 가이드 [5.4] | Elastic Kibana는 다음 패키지 형태로 제공됩니다. tar.gz/zip tar.gz 패키지는 Linux 및 Darwin에 설치할 수 있도록 제공되며 가장 손쉽게 Kibana를 시작할 수 있는 방법입니다. Windows에서는 zip 패키지만 지원됩니다 www.elastic.co 1. kibana 설치 리눅스(ununtu) 설치 https://www.elastic.co/guide/kr/kibana/current/targz.html.. 3. [Elasticsearch] ES 설치하기 하기 명령어를 쭉~ 치면 정상 설치가 된다. 원하는 버전을 받고 싶다면 2번에서 버전을 명시해 주면된다. curl -fsSL https://artifacts.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add - echo "deb https://artifacts.elastic.co/packages/7.x/apt stable main" | sudo tee -a /etc/apt/sources.list.d/elastic-7.x.list sudo apt update sudo apt install elasticsearch sudo vi /etc/elasticsearch/elasticsearch.yml sudo systemctl start elasticsearch servi.. 2. [Elasticsearch] Ubuntu EC2 접속 하기 EC2 instance는 생성했는대. shell 에 접속하기 위해선 서브 툴들의 도움이 필요하다. 기본적으로 aws에서 접속 방법을 설명 해주고 있는대 이를 보조 설명하겠다. https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/AccessingInstances.html Connect to your Linux instance - Amazon Elastic Compute Cloud Thanks for letting us know this page needs work. We're sorry we let you down. If you've got a moment, please tell us how we can make the documentation better. doc.. 1. [Elasticsearch] AWS EC2 생성하기 1. 인스턴스 시작 > AMI 선택 ubunto 20.04 버전을 선택했다. (원하는 환경 선택 가능) 2. 인스턴스 유형 선택 최소 2코어 4Gib 메모리를 사용해야한다. 3. 스토리지 추가. ES Data node 사용 시 적어도 1tb의 여유 공간은 확보하는 게 좋으나 서비스 운용하고 나서 cerebro에서 로드 확인한 후에 늘려도 충분하니 최소로 잡아보자. 이후 메모리 파티션 할당하는 방법은 하기 링크 참조 2021.12.03 - [programmer/AWS] - Linux partition 할당 하기 (AWS EC2 저장소 추가) 4. 보안 그룹 구성 elasticsearch 를 설치하려면 gpg 키가 필요하기 때문에 https 포트를 열어둔다.(추 후 수정 가능) 상기 설정들은 무료가 아니다... Linux partition 할당 하기 (AWS EC2 저장소 추가) 메모리는 할당 받았지만 파티션이 안되어 있을 경우 본 포스팅 참고 4 df 5 fdisk -l 6 fdisk /dev/xvdb 7 fdisk -l 8 mkfs -t xfs /dev/xvdb1 9 df 10 mkdir /DATA 11 mkdir /appl 12 chmod 755 /appl 13 mount /dev/xvdb1 /appl 14 mount 15 df -h 16 history 1. df 저장소 확인. AWS에서 추가 메모리를 분명 할당 받았는대 df 에 나타나지 않으면 파티셔닝이 되지 않은 상태이다. root@:/home/ubuntu# df Filesystem 1K-blocks Used Available Use% Mounted on /dev/root 50758604 1447192 49295028 .. Mremoteng 에서 aws EC2 접속 방법 MRemoteng에서 EC2 접속하는 방법을 설명한다. putty로는 접속을 이미 했다는 가정하에 진행함. 1. puttyGen 에서 version 2 로 PPK 설정 1.2 PPK file version을 2로 맞춘다.(mremoteng는 2버전까지만 지원함. 3으로 디폴트 셋팅되어 있어서 mremoteng 설정에서 오류나는 것임.) 1.3 pem 키(aws EC2 생성 시 받은 pem 파일) 로드 하고 .ppk로 저장 2. MRemoteng 설정 2.1 고급 탭에 Putty 시작 버튼을 누른다. 2.2 Putty에 auth 설정 추가. puttygen에서 생성한 ppk파일을 넣는다. close 하고 확인 누르면 설정이 끝난다. 3. 새션 만들기 [새연결]을 만들고 호스트이름/IP : 퍼블릭 IPv4 .. python 크롤링 해보기 1. 크롬 버전 확인 및 라이브러리 다운로드 1.1 크롬 버전 확인 chrome://settings/help 1.2 크롬 api 다운로드 다운로드 받은 api파일은 주피터가 실행된 폴더에 옮겨 준다. https://sites.google.com/a/chromium.org/chromedriver/downloads Downloads - ChromeDriver - WebDriver for Chrome WebDriver for Chrome sites.google.com 2. import 설정 jupyter lab 이 설치되어 있다고 가정하고 수행한다. 2.1 패키지 설치 블럭을 하나씩 만들어 설치를 해야한다. jupter lab의 경우 pip 앞에 !를 붙여 실행해야 한다. !pip install -U pip .. Ansible permission error 해결 1. 원격지 계정 확인 ansible es-new-engine-data -a 'whoami' 2. 원격지 루트계정 확인 ansible es-new-engine-data -a 'whoami' -sudo --ask-sudo-pass 3. 원격지 루트 패스워드 설정 호스테에서 원격으로 설정을 붙을때 passwd 뭍지 않게 설정 호스트 -> 원격 1~n ansible es-engine-new -u root -k -m lineinfile -a "path='/etc/sudoers' line='remoteUser ALL=(ALL) NOPASSWD: ALL'" -sudo --ask-sudo-pass es-engine-new : hosts 파일의 심볼중 하나 remoteUser: 원격 로컬 -sudo: sudo 권한으로.. 이전 1 ··· 3 4 5 6 7 8 9 ··· 17 다음
