python to hive (spark)

spark 환경에 있는 hive DB를 python으로 접속하는 방법이다.

$ pip install impyla

 

from impala.dbapi import connect

conn = connect(host='IP',
               port=10000,
               user='id',
               password='pass',
               auth_mechanism='PLAIN')

cursor = conn.cursor()
cursor.get_databases()

cursor.execute("select * from DB.TABLE limit 10")
results = cursor.fetchall()
for row in results:
    print(row)

 

 

 

 

 

참조.

https://euriion.com/?p=411856 

Hive server 2에 python impyla 패키지로 접속하기 - 토탈 데이터과학 - Total Data Science