데이터 엔지니어링
-
[Apache Nifi]FlowFile의 Attribute와 Content 알아보기데이터 엔지니어링/Nifi 2022. 4. 29. 22:56
NIFI 구성 요소은 FlowFile, Processor, Connection, Controller로 이루어 진다. 구성요소들을 다 알아야 하지만, 그중에 제일 중요한 FlowFile을 정확히 알아보면 좋을 것같아 포스팅하게 되었다. FlowFile이란? NiFi가 인식하는 데이터 단위이다. 프로세서들로 부터 오는 데이터 단위라고 봐도되고, 우리가 조작해야하는 데이터들 이라고 봐도 좋다. FlowFile의 구성요소는 Attribute와 Content가 있다. 이 부분을 정확히 알면 데이터를 잘 다룰 수 있다. FlowFile에서 중요한 요소인 Attribute와 Content를 정확히 알고 넘어가야한다. 구성요소 중에 Processor, Connector, FlowFile를 확인하며 작업을 하는데 이 부..
-
[Apache Nifi]DBConnector Controller 만들기(MySQL)데이터 엔지니어링/Nifi 2022. 4. 29. 22:30
목차 DBConnector란? JDBC설치하기 DBConnector Controller만들기 ExecuteSQLRecord 프로세서를 이용하여 데이터 추출해보기 1. DBConnector란? DB안에 데이터를 조작하기 위해서는 DB에 접근을 해야하는데, 접근을 하기 위해 저급언어를 사용해서 직접 접근하거나 매개체(JVM같은)를 활용하여 접근을 해야한다. 매개체를 사용하는 경우 DBConnector가 필요하다. Nifi는 apache재단 소속이기 때문에 java를 이용하고 있어 JVM Connector를 사용하기 위해서는 jdbc가 필요하다. JDBC는 각각의 DB제품회사 홈페이지에 제공하고 있으니, mssql은 microsoft mssql jdbc driver를 다운로드하고, mysql, oracle은 ..
-
[Apache NIFI Linux(ubuntu)]설치 방법데이터 엔지니어링/Nifi 2022. 4. 29. 21:41
NIFI 설치 방법 --apt-get update --설치되어 있는 패키지를 최신으로 업데이트하는 것이 --아닌 **설치가능한 리스트**를 업데이트하는 것 apt-get update --java 설치 apt install openjdk-9-jre-headless --nifi 1.15버전 설치 wget https://archive.apache.org/dist/nifi/1.15.3/nifi-1.15.3-bin.tar.gz --압축해제 tar -xvf nifi-1.15.3-bin.tar.gz --압축 해제 한 곳으로 이동 cd nifi-1.15.3 --속성값 설정 https를 해당 ip로 설정하면 외부에서 접속 가능 vi conf/nifi.properties --nifi web server 시작 bin/nif..
-
[Apache Nifi] 실습2 - CSV2Json 패턴 만들기 - Controller사용법데이터 엔지니어링/Nifi 2022. 4. 9. 15:27
목표 - CSV 파일을 가져와 JSON파일로 변형하여 이관하기 구성 목록 Processor GetFile - 파일 불러오기 ConvertRecord - 내용 변경 PutFile - 파일 내려받기 Connector GetFile - success ConvertRecord - success, failure PutFile - success, failure Controller ConvertRecord - Demo CSVReader, Demo JsonRecordSetWriter 목차 Processor 생성 Controller 생성 및 설정 실행 1. Processor 생성 GetFile Processor 생성 및 가져올 디렉토리 설정 화살표 모양으로 ConvertRecod로 Connector생성 PutFile P..
-
[Apache Nifi]실습 1 - GetFile - PutFile 파일가져와 옮기기 패턴 만들기 - Processor, Connector 사용법데이터 엔지니어링/Nifi 2022. 4. 8. 22:54
오늘은 Nifi를 활용해서 파일이 들어오거나, 만들어지면 그 파일을 인지해서 가져온다음 파일을 다른곳으로 이관하는 패턴을 만들어 볼 것입니다. 이번 포스팅은 Processor를 만드는 방법, Processor들간에 Connecotr를 연결하는 방법, 그리고 다 정리되면 실행하는 방법을 중점적으로 보면 좋을 것 같습니다. 목표 - 파일 가져와 다른 곳으로 이관하기 구성 요소 Processor GetFile PutFile Connector Success (GetFile → PutFile) Failure, Success(PutFile → PutFile) 1. Processor만들기 - Component 툴바에서 Processor를 드래그앤 드랍하면 아래와 같은 창이 뜨는데 거기서 GetFile과 PutFile..
-
[Apache Nifi] 웹페이지 구성 훑어보기데이터 엔지니어링/Nifi 2022. 4. 8. 22:28
NIFI 웹 페이지 기본 페이지 구성 Components 툴바 Compoenet들을 드래그 앤 드랍으로 작업공간으로 이동후 객체 생성하여 사용가능 상태 표시줄 - 구동 되고 있는, 멈춘, 오류가 있는 프로세서들 표시 Navigation - 작업 공간에 있는 Component들 모형으로 파악 가능 Component 작업 패널 - 선택한 컴포넌트들 구동 및 작동 멈춤 등등의 기능 사용 가능 multi select(동시 여러개 선택) 가능 Flow Tree - processor group 및 flow 간 트리 작업 표시 메뉴 - component summary, counter, controller, setting 등 전체적인 작업 관리 가능한 탭
-
[Apache NIFI] NiFi 설치하기(MAC, WINDOWS), 폴더구조 파악, 서버 구동 및 정지, 사용자 만들어 접속해보기데이터 엔지니어링/Nifi 2022. 4. 8. 22:25
NIFI 설치 방법 설치하기에 앞서 NIFI docs를 보면 MAC은 터미널을 열어서 brew로 설치하라고 나와 있었는데 이렇게 하다가 서버 실행이 되지 않아 하루 동안 삽질만하다가(Proxy 설정 되어있는지 확인, java version 확인, brew 버전 확인, 삭제 및 재실행, wifi 껏다 키기 등) 날려 버리고 걍 windows에서 설치하는 방식 대로 똑같이 따라하니깐 정상적으로 되는 것을 알 수 있었음 걍 zip파일 다운 받는 방법으로 진행하겠음. 1. Apache nifi 홈페이지 접속 후 zip 파일 다운로드 https://nifi.apache.org/download.html Apache NiFi Downloads Copyright © 2018 The Apache Software Foun..