본문 바로가기

분류 전체보기

(224)
Linux partition 할당 하기 (AWS EC2 저장소 추가) 메모리는 할당 받았지만 파티션이 안되어 있을 경우 본 포스팅 참고 4 df 5 fdisk -l 6 fdisk /dev/xvdb 7 fdisk -l 8 mkfs -t xfs /dev/xvdb1 9 df 10 mkdir /DATA 11 mkdir /appl 12 chmod 755 /appl 13 mount /dev/xvdb1 /appl 14 mount 15 df -h 16 history 1. df 저장소 확인. AWS에서 추가 메모리를 분명 할당 받았는대 df 에 나타나지 않으면 파티셔닝이 되지 않은 상태이다. root@:/home/ubuntu# df Filesystem 1K-blocks Used Available Use% Mounted on /dev/root 50758604 1447192 49295028 ..
Mremoteng 에서 aws EC2 접속 방법 MRemoteng에서 EC2 접속하는 방법을 설명한다. putty로는 접속을 이미 했다는 가정하에 진행함. 1. puttyGen 에서 version 2 로 PPK 설정 1.2 PPK file version을 2로 맞춘다.(mremoteng는 2버전까지만 지원함. 3으로 디폴트 셋팅되어 있어서 mremoteng 설정에서 오류나는 것임.) 1.3 pem 키(aws EC2 생성 시 받은 pem 파일) 로드 하고 .ppk로 저장 2. MRemoteng 설정 2.1 고급 탭에 Putty 시작 버튼을 누른다. 2.2 Putty에 auth 설정 추가. puttygen에서 생성한 ppk파일을 넣는다. close 하고 확인 누르면 설정이 끝난다. 3. 새션 만들기 [새연결]을 만들고 호스트이름/IP : 퍼블릭 IPv4 ..
python pandas to_excel illegal character error 해결 !pip install xlsxwriter
jupyter(python)으로 ES 색인 집어 넣기 크롤링 > ES 색인 만들기
centos chrome driver 설치 google-chrome-stable NOKEY 에러 1 발생 시점 sudo rpm -ivh google-chrome-stable_current_x86_64.rpm 수행 시 에러 로그 google-chrome-stable_current_x86_64.rpm: Header V4 DSA/SHA1 Signature, key ID 7fac5991: NOKEY 해결 방법 키 다운로드 -> wget https://dl.google.com/linux/linux_signing_key.pub 키 import sudo rpm --import linux_signing_key.pub 패키지 확인 rpm --checksig -v packagename.rpm *참조 https://www.google.com/linuxreposito..
Git reset 방법 1. Intellij 에서 이전 커밋으로 돌아가는 방법 ALT+9 를 누르면 커밋 로그가 나온다. 여기서 원하는 커밋을 선택 후 "Reset Current Branch to Here..."를 클릭한다. Reset 설정에서 "hard" 설정을 선택하면 원하는 커밋으로 되돌아가고 이전 커밋은 사라진다. (*설명이 잘 되어있으니 선택해서 사용) 이 후 push -> force push를 수행하면 update 무시하고 해당 커밋지점으로 head를 돌릴 수 있다. 2. git 에서 이전 커밋으로 되돌아 가는 방법 Source tree를 사용할 경우 하기와 같이 터미널을 연다. "git reflog"를 실행하고 이전에 작업한 로그를 확인한다. HEAD@{1}
python 크롤링 해보기 1. 크롬 버전 확인 및 라이브러리 다운로드 1.1 크롬 버전 확인 chrome://settings/help 1.2 크롬 api 다운로드 다운로드 받은 api파일은 주피터가 실행된 폴더에 옮겨 준다. https://sites.google.com/a/chromium.org/chromedriver/downloads Downloads - ChromeDriver - WebDriver for Chrome WebDriver for Chrome sites.google.com 2. import 설정 jupyter lab 이 설치되어 있다고 가정하고 수행한다. 2.1 패키지 설치 블럭을 하나씩 만들어 설치를 해야한다. jupter lab의 경우 pip 앞에 !를 붙여 실행해야 한다. !pip install -U pip ..
Elasticsearch cluster 분석 정의 데이터를 실제로 가지고 있는 노드의 모음 - 같은 클러스터 내부의 데이터만 서로 공유 가능 클러스터 다중 검색 Cross Cluster search: v6.7 ~ ( 이전 tribe node) - 일반적으로 검색 시 하나의 클러스터 데이터만 검색하는 것이 원칙이지만 다수의 클러스터를 요청 검색 가능하게 하는 기능(기존 tribe Node -> Cross Cluster search 로 지원) https://docs.aws.amazon.com/elasticsearch-service/latest/developerguide/cross-cluster-search.html 클러스터 분산 이유 신규 운영서버 스팩 - 기존 운영계보다 스팩이 좋으므로 작업 시간에 따른 지연 발생 기존 Data search 노드를 ..
Ansible permission error 해결 1. 원격지 계정 확인 ansible es-new-engine-data -a 'whoami' 2. 원격지 루트계정 확인 ansible es-new-engine-data -a 'whoami' -sudo --ask-sudo-pass 3. 원격지 루트 패스워드 설정 호스테에서 원격으로 설정을 붙을때 passwd 뭍지 않게 설정 호스트 -> 원격 1~n ansible es-engine-new -u root -k -m lineinfile -a "path='/etc/sudoers' line='remoteUser ALL=(ALL) NOPASSWD: ALL'" -sudo --ask-sudo-pass es-engine-new : hosts 파일의 심볼중 하나 remoteUser: 원격 로컬 -sudo: sudo 권한으로..
Ansible ping 날려보기 1. ansible 설치 sudo yum install epel-release sudo yum repolist sudo yum install ansible 2. ansible 원격 접속 설정 ssh-keygen ssh-copy-id -f 원격계정@원격아이피 3. ping 날려보기 ansible all -m ping ansible all -m ping --user=원격계정명 4. 원격 서버 접속해보기 ssh 원격계정@원격아이피 fatal: [node-22]: UNREACHABLE! => {"changed": false, "msg": "Failed to connect to the host via ssh: ssh: connect to host - port 22: No route to host\r\n", "un..

반응형