데이터 엔지니어링/Hive
-
[Hive]HQL-데이터베이스 알아보기(DB 생성, 수정, 삭제 )데이터 엔지니어링/Hive 2022. 9. 18. 20:58
HIVE DB 하이브 데이터베이스는 스키마 정보를 덮어 씌워 Hive 쿼리를 사용 할 수 있도록 해줍니다. RDB의 데이터베이스와 같은 형태라 보면 됨. 실습 DB 생성 CREATE (DATABASE|SCHEMA) [IF NOT EXISTS] database_name [COMMENT database_comment] [LOCATION hdfs_path] [WITH DBPROPERTIES (property_name=property_value, ...)]; 옵션 IF NOT EXISTS - 이 옵션을 붙여서 실행하면 DB가 없으면 생성, 있으면 생성되지 않음 comment - db description임 location - 데이터베이스의 위치를 지정 할 수 있습니다. 가장 기본 위치는 hdfs:///**use..
-
[HIVE]Hive란 2부 - 서비스들 설명데이터 엔지니어링/Hive 2022. 9. 18. 17:09
메타스토어 - 메타데이터(스키마) 저장하는 데이터베이스 Hadoop은 HDFS를 기반으로 동작한다, 즉 빅데이터용 저장소 라는 얘기다. Hive는 이를 SQL기반으로 편리하게 데이터 조작을 가능하게 해주는 툴이다. 하지만 SQL을 이용할려면 컬럼이나 스키마 같은 정보가 있어야한다. 그런데 SQL 을 날릴때마다 스키마 정보를 만들어서 사용하면 어떻게 할까 여간 불편한게 아니다. 그래서 스키마 정보를 저장해서 SQL을 날릴때 이 정보를 가지고 쿼리가 동작하게 되는데 이것이 메타스토어이다. 그래서 메타스토어는 DB로 만들어야 한다. 즉 메타스토어는 스키마 정보를 가지고 있는 데이터베이스이다. 아래 3가지 형태로 관리가 가능하다. 임베디드 별도의 데이터 베이스를 구성하지 않고 더비 DB를 이용 한번에 하나의 유..
-
[HIVE]HIVE란? 1부 - 소개 및 버전별 특징데이터 엔지니어링/Hive 2022. 9. 18. 16:53
Hive란? 하둡 에코시스템 중에 데이터를 모델링하고 프로세싱하는 데이터 웨어하우징용 솔루션 SQL 유사 언어인 HQL을 도입하여 쿼리를 날려 데이터 조회 및 조작을 할 수 있다. Catalog를 제공하여 RDB 데이터베이스 처럼 조작 가능하다. 메타스토어를 조작할 수 있다 메타스토어가 존재 RDB와는 다르게 미리 스키마를 정의하고 그 틀에 맞게 데이터를 입력하는 것이 아닌, 데이터를 저장하고 거기에 스키마를 입히는 것이 가장 큰 특징 Hue와 연계하여 ADD-hoc 쿼리를 실행 시킬 수 있다. HIVE 구성요소 UI - 사용자가 쿼리 및 기타 작업을 시스템에 제출하는 사용자 인터페이스 (ex : CLI, Beeline, JDBC 등) Driver -쿼리를 입력받고 작업을 처리, 사용자 세션을 구현하고,..