Data Engineer Là người xây dựng systems tổng hợp, lưu trữ và xuất dữ liệu từ một số app và system tạo ra bởi software engineers. Data engineer sở hữu một ngách kĩ năng của software engineer. 40% data engineer ban đầu là software engineer, đây là một trong những hướng phát triển nghề nghiệp thường thấy.
Công việc của vai trò này bao gồm:
- Cấu trúc dữ liệu nâng cao
- Điện toán phân tán (distributed computing)
- Lập trình đồng thời (concurrent programming)
- Kiến thức về một số công cụ mới: Hadoop, Spark, Kafka, Hive, v.v.
- Tạo ETL/data pipelines