Spark + ML
기본사항
- 매주 목요일 점심
- 각자 돌아가며 발표
필수사항
- 파이썬 기초문법 알고 있을 것(능숙할 필요는 없습니다. 혹은 하면서 익혀도 됩니다)
권장사항
- 스칼라 기초문법(스칼라를 아는 분들은, 실습코드를 스칼라로 변환해서 발표하실 수 있습니다)
교재 & 강의
-
(Spark 기초) Introduction to Big Data with Apache Spark - https://courses.edx.org/courses/BerkeleyX/CS100.1x/1T2015/fbe63aa3c95948e3912fa128aedec27d/
-
(Spark ML) Scalable Machine Learning - https://courses.edx.org/courses/BerkeleyX/CS190.1x/1T2015/fbe63aa3c95948e3912fa128aedec27d/
-
test_helper 클래스 정보 - http://au9ustine.github.io/wiki/data/spark/cs100_lab0.html
-
vagrant 환경없이 강좌를 따라갈 때의 정보 - http://au9ustine.github.io/wiki/data/spark/cs100_lab0.html
회차 | 날짜 | 제목 | 발표자 | 발표자료 |
---|---|---|---|---|
1 | 10/30 | Introduction to Big Data and Data Science | 김무성 | 강의자료 |
Performing Data Science and Preparing Data | 김무성 | 강의자료 | ||
Setting up the Course Software Environment | 김무성 | 발표자료 | ||
2 | 11/12 | Big Data, Hardware Trends, and the History of Apache Spark | 오창민 | 강의자료 |
Spark Essentials | 오창민 | 강의자료 | ||
3 | 11/19 | Lab 1: Learning Apache Spark | 유주원 | Spark Tutorial : notebook. online. 발표자료 |
4 | 11/26 | 유주원 | Lab 1 Word Count : notebook. online. 발표자료 | |
5 | 12/3 | Semi-Structured Data | 안동환 | 강의자료 |
Structured Data | 안동환 | 강의자료 | ||
6 | Lab 2: Web Server Log Analysis with Apache Spark | 김무성 | Lab 2 Web Log : notebook, online | |
Data Quality | 윤병희 | 강의자료 | ||
7 | Exploratory Data Analysis | 윤병희 | 강의자료 | |
2016.1/21 | Machine Learning | 김무성 | 강의자료-중간부터, online | |
8 | Lab 3: Text Analysis and Entity Resolution | 김무성 | note | |
Lab 4: Introduction to Machine Learning with Apache Spark | 오창민 |
회차 | 날짜 | 제목 | 발표자 | 발표자료 |
---|---|---|---|---|
1 | Topics: Course goals, Apache Spark overview, basic ML | |||
Lab 1: NumPy, Linear Algebra, and Lambda Function Review | ||||
2 | Topics: Big data and hardware trends, history, RDD | |||
Lab 2: Learning Apache Spark | ||||
3 | Topics: Linear regression, distributed ML principles | |||
Lab 3: Millionsong Regression Pipeline. | ||||
4 | Topics: linear classification, logistic regression | |||
Lab 4: Click-through Rate Prediction Pipeline | ||||
5 | Topics: neuroimaging data,EDA, PCA, distributed PCA | |||
Neuroimaging Analysis via PCA |