데이터 엔지니어링/Nifi
-
[Apache NIFI Linux(ubuntu)]설치 방법데이터 엔지니어링/Nifi 2022. 4. 29. 21:41
NIFI 설치 방법 --apt-get update --설치되어 있는 패키지를 최신으로 업데이트하는 것이 --아닌 **설치가능한 리스트**를 업데이트하는 것 apt-get update --java 설치 apt install openjdk-9-jre-headless --nifi 1.15버전 설치 wget https://archive.apache.org/dist/nifi/1.15.3/nifi-1.15.3-bin.tar.gz --압축해제 tar -xvf nifi-1.15.3-bin.tar.gz --압축 해제 한 곳으로 이동 cd nifi-1.15.3 --속성값 설정 https를 해당 ip로 설정하면 외부에서 접속 가능 vi conf/nifi.properties --nifi web server 시작 bin/nif..
-
[Apache Nifi] 실습2 - CSV2Json 패턴 만들기 - Controller사용법데이터 엔지니어링/Nifi 2022. 4. 9. 15:27
목표 - CSV 파일을 가져와 JSON파일로 변형하여 이관하기 구성 목록 Processor GetFile - 파일 불러오기 ConvertRecord - 내용 변경 PutFile - 파일 내려받기 Connector GetFile - success ConvertRecord - success, failure PutFile - success, failure Controller ConvertRecord - Demo CSVReader, Demo JsonRecordSetWriter 목차 Processor 생성 Controller 생성 및 설정 실행 1. Processor 생성 GetFile Processor 생성 및 가져올 디렉토리 설정 화살표 모양으로 ConvertRecod로 Connector생성 PutFile P..
-
[Apache Nifi]실습 1 - GetFile - PutFile 파일가져와 옮기기 패턴 만들기 - Processor, Connector 사용법데이터 엔지니어링/Nifi 2022. 4. 8. 22:54
오늘은 Nifi를 활용해서 파일이 들어오거나, 만들어지면 그 파일을 인지해서 가져온다음 파일을 다른곳으로 이관하는 패턴을 만들어 볼 것입니다. 이번 포스팅은 Processor를 만드는 방법, Processor들간에 Connecotr를 연결하는 방법, 그리고 다 정리되면 실행하는 방법을 중점적으로 보면 좋을 것 같습니다. 목표 - 파일 가져와 다른 곳으로 이관하기 구성 요소 Processor GetFile PutFile Connector Success (GetFile → PutFile) Failure, Success(PutFile → PutFile) 1. Processor만들기 - Component 툴바에서 Processor를 드래그앤 드랍하면 아래와 같은 창이 뜨는데 거기서 GetFile과 PutFile..
-
[Apache Nifi] 웹페이지 구성 훑어보기데이터 엔지니어링/Nifi 2022. 4. 8. 22:28
NIFI 웹 페이지 기본 페이지 구성 Components 툴바 Compoenet들을 드래그 앤 드랍으로 작업공간으로 이동후 객체 생성하여 사용가능 상태 표시줄 - 구동 되고 있는, 멈춘, 오류가 있는 프로세서들 표시 Navigation - 작업 공간에 있는 Component들 모형으로 파악 가능 Component 작업 패널 - 선택한 컴포넌트들 구동 및 작동 멈춤 등등의 기능 사용 가능 multi select(동시 여러개 선택) 가능 Flow Tree - processor group 및 flow 간 트리 작업 표시 메뉴 - component summary, counter, controller, setting 등 전체적인 작업 관리 가능한 탭
-
[Apache NIFI] NiFi 설치하기(MAC, WINDOWS), 폴더구조 파악, 서버 구동 및 정지, 사용자 만들어 접속해보기데이터 엔지니어링/Nifi 2022. 4. 8. 22:25
NIFI 설치 방법 설치하기에 앞서 NIFI docs를 보면 MAC은 터미널을 열어서 brew로 설치하라고 나와 있었는데 이렇게 하다가 서버 실행이 되지 않아 하루 동안 삽질만하다가(Proxy 설정 되어있는지 확인, java version 확인, brew 버전 확인, 삭제 및 재실행, wifi 껏다 키기 등) 날려 버리고 걍 windows에서 설치하는 방식 대로 똑같이 따라하니깐 정상적으로 되는 것을 알 수 있었음 걍 zip파일 다운 받는 방법으로 진행하겠음. 1. Apache nifi 홈페이지 접속 후 zip 파일 다운로드 https://nifi.apache.org/download.html Apache NiFi Downloads Copyright © 2018 The Apache Software Foun..
-
[Apache Nifi] Nifi란 무엇인가?(구성요소, 아키텍쳐)데이터 엔지니어링/Nifi 2022. 4. 7. 20:35
Nifi란?? Apache Nifi는 시스템 간 데이터 전달을 효율적으로 처리, 관리, 모니터링 하기에 최적화 된 시스템임. 대량의 데이터 수집, 처리가능 Dataflow를 쉽게 구성이 가능하며, 시스템 간의 데이터 이동과 내용을 볼 수 있는 UI제공 강력한 자원과 권한 관리를 통해 Multi-tenant(단일로 여러 소프트웨어에 공급하는 것)지원 데이터 어느 시스템으로 왔는지 추적 가능 NiFi 시스템 간 통신 지원(site to site) Nifi 구성요소 FlowFile, Processor, Connection, Controller이 대게 네 가지로 이루어짐 FlowFile - NiFi가 인식하는 데이터 단위 일반적인 데이터 Content/Attributes로 나뉨 Content는 데이터 자체를 말..