빅데이터 판다스 분석

빅데이터를 수집하고 시각화하기 까지에는 하기와 같은 4단계가 수행된다. 

데이터 수집 -> 처리/ 저장 -> 분석 -> 시각화

각각의 프로세스를 설명하면 다음 표와 같다.

수집	처리/저장	분석	시각화
오프라인  전화 웹,앱 OpenAPI, 크롤링	형식 통일 > 저장 클라우드 > Hadoop(하드웨어 영역)	R, P 통계학 중요	PS
		Python은 오픈소스 기반이기 때문에 에러 처리가 어려움 R은 검증된 패키지만 등록가능 및 사용이 가능하다.(윈도우 친화적-OS에 따라 적용 불가)

 

수집은 차차 배워보기로 하고

처리/저장 방법은 다루지 않는다

분석은 R, Python 이 있는대
대표적으로 빅데이터, AI 에 강자인 Microsoft, google 을 보면 Tensorflow를 사용하고 있기 때문에 대세를 따르는 Python을 선택했다.

python 꼭 64bit 를 설치해야한다. 나중에 C나 Java와 연동해서 사용할때 Bit 충돌이 발생한다.

최신버전에서 한단계 낮은것(안전)으로 설치 3.7.7 실행가능한 설치파일 사용(이후 jupyter에서 권한 오류 및 path를 찾지 못한다면 최신 버전을 설치해라)

https://www.python.org/downloads/windows/

Python Releases for Windows

설치 실행 파일을 받고나면 설치를 진행한다.

하기 이미지의 'Add Python 3.7 to PATH'를 체크해 환경변수 자동설정을 진행해야한다.

CMD 창에서 python --version 을 입력하면 python 버전을 확인 가능하다.(정상 설치시 나옴)

Python 개발 환경

Editor 환경

VSCode
Eclipse
메모장

-------------------

IDE
PyCharm

-------------------

Jupyter Notebook

 

여러가지 Tool들이 있지만 Interpreter 형식인 Jupyter를 사용하기로 한다.