데이터 엔지니어링
-
[Apache Nifi] 웹페이지 구성 훑어보기데이터 엔지니어링/Nifi 2022. 4. 8. 22:28
NIFI 웹 페이지 기본 페이지 구성 Components 툴바 Compoenet들을 드래그 앤 드랍으로 작업공간으로 이동후 객체 생성하여 사용가능 상태 표시줄 - 구동 되고 있는, 멈춘, 오류가 있는 프로세서들 표시 Navigation - 작업 공간에 있는 Component들 모형으로 파악 가능 Component 작업 패널 - 선택한 컴포넌트들 구동 및 작동 멈춤 등등의 기능 사용 가능 multi select(동시 여러개 선택) 가능 Flow Tree - processor group 및 flow 간 트리 작업 표시 메뉴 - component summary, counter, controller, setting 등 전체적인 작업 관리 가능한 탭
-
[Apache NIFI] NiFi 설치하기(MAC, WINDOWS), 폴더구조 파악, 서버 구동 및 정지, 사용자 만들어 접속해보기데이터 엔지니어링/Nifi 2022. 4. 8. 22:25
NIFI 설치 방법 설치하기에 앞서 NIFI docs를 보면 MAC은 터미널을 열어서 brew로 설치하라고 나와 있었는데 이렇게 하다가 서버 실행이 되지 않아 하루 동안 삽질만하다가(Proxy 설정 되어있는지 확인, java version 확인, brew 버전 확인, 삭제 및 재실행, wifi 껏다 키기 등) 날려 버리고 걍 windows에서 설치하는 방식 대로 똑같이 따라하니깐 정상적으로 되는 것을 알 수 있었음 걍 zip파일 다운 받는 방법으로 진행하겠음. 1. Apache nifi 홈페이지 접속 후 zip 파일 다운로드 https://nifi.apache.org/download.html Apache NiFi Downloads Copyright © 2018 The Apache Software Foun..
-
[Apache Nifi] Nifi란 무엇인가?(구성요소, 아키텍쳐)데이터 엔지니어링/Nifi 2022. 4. 7. 20:35
Nifi란?? Apache Nifi는 시스템 간 데이터 전달을 효율적으로 처리, 관리, 모니터링 하기에 최적화 된 시스템임. 대량의 데이터 수집, 처리가능 Dataflow를 쉽게 구성이 가능하며, 시스템 간의 데이터 이동과 내용을 볼 수 있는 UI제공 강력한 자원과 권한 관리를 통해 Multi-tenant(단일로 여러 소프트웨어에 공급하는 것)지원 데이터 어느 시스템으로 왔는지 추적 가능 NiFi 시스템 간 통신 지원(site to site) Nifi 구성요소 FlowFile, Processor, Connection, Controller이 대게 네 가지로 이루어짐 FlowFile - NiFi가 인식하는 데이터 단위 일반적인 데이터 Content/Attributes로 나뉨 Content는 데이터 자체를 말..
-
[Oracle] 오류 해결 ORA-00933: SQL 명령어가 올바르게 종료되지 않았습니다.데이터 엔지니어링/SQL 2021. 2. 24. 17:21
회사에서 소스를 돌려 보다가 ORA-00933 이런 에러를 볼 경우가 많은데 이런 경우는 sql 텍스트로 받을 때 내용에서 콤마, 작은 따옴표 등등 문제가 있어서 그런것이다 예를 들어 sql = "" sql += " select " sql += " 1 from dual" sql += " where column1 = ' " + text + " ' " 이런 식으로 작성 하였다면 text 옆에 작은 따옴표를 주시 해야하고 select 옆에 콤마가 잘 들어 가있는지 알아봐야 할것같다.
-
MSSQL 로그파일 트랜잭션 내용 정리 (오류 해결 :트랜잭션 로그가 꽉 찼습니다.)데이터 엔지니어링/SQL 2021. 2. 22. 18:00
로그파일 트랜잭션 오류 해결 방법 모음 1. DB 의 현재 사용량 확인 Use [ DB명] DBCC SQLPERF(LOGSPACE) 로그스페이스 설정값에 대해 확인 SP_HelpDB [DB명] 실제 위치랑 사용량 확인 위에 쿼리 실행시 조회 위에 내용이 조회가 되게 됩니다. 2. MDF (Database File) 파일 용량을 현재 사용량으로 축소 Use [DB명] DBCC SHRINKDATABASE ([DB명], TRUNCATEONLY) 3. MDF (Database File) 파일 용량을 200MB 로 축소 Use [DB명] DBCC SHRINKDATABASE ([DB명], 200) 4. LDF (Log File) 파일 용량을 현재 사용량으로 축소 Use [DB명] DBCC SHRINKFILE ([D..
-
DDL, DML, DCL 이란?데이터 엔지니어링/SQL 2019. 9. 21. 19:26
SQL이란?? 데이터베이스의 사용하는 언어의 종류로서 릴레이션에 의해 정의된 정보를 담은 테이블에서 정보를 활용하고 싶을 때 필요한 언어이다. SQL은 크게 4가지로 나뉘다. 4가지 종류를 알아 보겠다. 명령어종류 명령어 설명 데이터 조작이 (DML : DATA Manipulation Language) SELECT 데이터 베이스에서 필요한 정보를 가져올 때 사용한다. INSERT 정의한 정보를 데이터베이스에 넣을 때 사용한다. UPDATA 정보를 수정할 때 사용 DELETE 정보를 삭제할 때 사용 (사용하지 않는 것이 일반적임) 데이터 정의어 (DDL : DATA Definition Language) CREATE , ALTER, DROP, RENAME, TRUNCATE 테이블과 같은 데이터 구조를 정의 ..
-
데이터 베이스 기초데이터 엔지니어링/SQL 2019. 9. 21. 19:06
데이터란?? 데이터는 크게 비정형 데이터와 정형 데이터로 나뉩니다. 비정형 데이터는 동영상, 파일, 사진 등 읽어 들일 수 없는 눈으로 보면서 해석하는 데이터 들이고, 정형 데이터는 텍스트, 문자, 숫자, 등으로 구성돼 어있는 데이터들입니다. 정보란?? 그럼 우리가 알고 있는 정보란 무엇일까요? 이런 비정형데이터와 정형 데이터를 사용하여 우리가 활용하거나 사용할 수 있는 데이터로 정재 해 놓은 것이라고 할 수 있습니다. 비정형, 정형 데이터는 우리가 활용할 수 있는 데이터들이 아니라 무작위로 들어 있는 데이터라고 할 수 있습니다. 그래서 정재 작업이 필요한데, 정재란 이런 데이터를 이용하여 우리가 사용할 수 있는 필요한 데이터로 만들어 놓은 것입니다. DATAbase란?? 그럼 정보와 데이터베이스의 상관..