| description | Trang web này với mục tiêu tổng hợp, xây dựng kiến thức cơ bản nhất đến nâng cao, từng công cụ và kỹ thuật, ... để trở thành Data Engineer. |
|---|
hocdata.com dành cho ai
Nếu bạn là một lập trình viên Python, và muốn làm chủ data, muốn trở thành một Data Engineer, hay Data Science, đây sẽ là nơi dành cho bạn. Bạn sẽ phải cần kiến thức về lập trình (Python, Java, Scala) và yêu thích xử lý dữ liệu.
- Dữ liệu thô
- Database và SQL
- Data Pipeline, Batch vs Stream processing
- Design Data Pipeline in G
- Data warehouse
- Word2vec
- Deploy simple deep learning classification web app.
- Docker / Kubernetes
Sẽ khá lâu để hocdata.com hoàn th, bạn có thể tạm thời tham khảo các tài liệu về data engineer dưới đây.
- https://jupyter4edu.github.io/jupyter-edu-book/
- Mastering Python for Data Science
- Machine Learning cơ bản
- Popular Questions about the Data Engineering Career Path
Thư viện, frameworks đối với lĩnh vực Data Engineer:
- Open Source
- Apache Airflow: Airflow is a platform to programmatically author, schedule and monitor workflows.
- Apache Beam: Implement batch and streaming data processing jobs that run on any execution engine.
- Apache Spark: is a unified analytics engine for large-scale data processing.
- Kubeflow: The Machine Learning Toolkit for Kubernetes
- Cloud service