[Apache Nifi]FlowFile의 Attribute와 Content 알아보기

NIFI 구성 요소은 FlowFile, Processor, Connection, Controller로 이루어 진다. 구성요소들을 다 알아야 하지만, 그중에 제일 중요한 FlowFile을 정확히 알아보면 좋을 것같아 포스팅하게 되었다.

 

FlowFile이란?

NiFi가 인식하는 데이터 단위이다. 프로세서들로 부터 오는 데이터 단위라고 봐도되고, 우리가 조작해야하는 데이터들 이라고 봐도 좋다. FlowFile의 구성요소는 Attribute와 Content가 있다. 이 부분을 정확히 알면 데이터를 잘 다룰 수 있다. FlowFile에서 중요한 요소인 Attribute와 Content를 정확히 알고 넘어가야한다. 구성요소 중에 Processor, Connector, FlowFile를 확인하며 작업을 하는데 이 부분을 잘 알고 넘어가자. 아래 그림을 형태로 하나의 예제를 만들어 보면

데이터를 받았다면 아래와 같이 Connector에 데이터가 입력 되게 된다. Success라는 Connector가 생성된 것을 볼 수 있고, 여기에 오른쪽 마우스 클릭을 하면 아래와 같이 속성 팝업창이 뜨게 된다 List queue를 눌러보자

그럼 아래와 같은 창이 뜨게 되는데 들어온 데이터 Queue가 리스트 형태로 나오게 된다 1번을 누르면 Queue의 상세 내용이 나오며 여기서 Attribute를 확인 할 수 있다. 2번을 누르면 Queue의 Content데이터를 확인 할 수 있다.

1번을 클릭 하였을 때 Details와 Attributes가 있는 것을 확인 할 수 있는데, Attributes는 Key/Vlaue 형태의 데이터라고 보면 된다.

2번을 눌러보면 Content가 나오게 되는데 이번 것은 json형식으로 데이터가 출력 된 것을 볼 수 있다.

nifi 데이터 플로우 만드는 과정에서 Attribute와 Content를 활용하여 데이터 정재나 이관 작업을 할 수 있는데 데이터 확인하는 방법에 대해 꼭 알아 두자