데이터 엔지니어링/데이터 엔지니어링 기본
-
데이터 측면에서 웹에서 발생하는 데이터 종류 알아보기(Transaction, Metadata, Event, Log, Aggregation)데이터 엔지니어링/데이터 엔지니어링 기본 2023. 1. 7. 17:34
안녕하세요 오늘은 웹에서 발생하는 데이터의 종류에 대해 좀 알아보면 좋을 것같아 이 글을 작성하게 되었습니다. 데이터를 다루다 보면 종류에 맞게 데이터를 설계하거나 머리속에 어느 정도의 수준의 데이터 인지 인지할 필요가 있는데요. 이 글로 아 이런 데이터는 이런 목적의 데이터 구나 하고 넘어가면 좋을 것 같습니다. Transaction Data 비즈니스나 시스템에서 빈번하게 생성되고 업데이트 되는 데이터를 의미한다. 즉, 트랜잭션 데이터는 일상적인 구매 및 판매 비즈니스 프로세스를 실행하거나 지원하는 동안 다양한 애플리케이션에서 생성되는 데이터입니다. 말이 어려운데 예로 들면, 음악 재생프로그램에 의하면, 다음과 같은 데이터가 Transaction Data입니다. 재생 목록에 음악 추가 및 삭제 이용자가..
-
모던 데이터 엔지니어링 아키텍처 알아보기(data engineering loadmap)데이터 엔지니어링/데이터 엔지니어링 기본 2022. 7. 8. 21:37
해당 글은 아래의 내용과 긱뉴스의 내용을 바탕으로 작성하였습니다. You searched for modern data infra | Andreessen Horowitz A new site for understanding the future, how tech shapes it, and how we build it. a16z.com 데이터 인프라의 목적 데이터 기반의 의사 결정을 도와 주기 위해 서비스/제품을 데이터의 도움을 받아 향상시키기 위해 최신 데이터 인프라 구성요소 source - 다양한 곳에서 나오는 데이터의 모든 것 Ingestion and Transformation - ETL의 ET의 모든 영역을 담당 Storage - ETL의 L(Load)에 해당하며 보통 Data Warehouse와 Dat..