musalys / spark

Spark + ML

Spark를 이용한 데이터 분석 기초

Spark + ML

기본사항

• 매주 목요일 점심
• 각자 돌아가며 발표

필수사항

• 파이썬 기초문법 알고 있을 것(능숙할 필요는 없습니다. 혹은 하면서 익혀도 됩니다)

권장사항

• 스칼라 기초문법(스칼라를 아는 분들은, 실습코드를 스칼라로 변환해서 발표하실 수 있습니다)

교재 & 강의

• (Spark 기초) Introduction to Big Data with Apache Spark - https://courses.edx.org/courses/BerkeleyX/CS100.1x/1T2015/fbe63aa3c95948e3912fa128aedec27d/

• (Spark ML) Scalable Machine Learning - https://courses.edx.org/courses/BerkeleyX/CS190.1x/1T2015/fbe63aa3c95948e3912fa128aedec27d/

• test_helper 클래스 정보 - http://au9ustine.github.io/wiki/data/spark/cs100_lab0.html

• vagrant 환경없이 강좌를 따라갈 때의 정보 - http://au9ustine.github.io/wiki/data/spark/cs100_lab0.html

파트 1 - Spark 기초

회차	날짜	제목	발표자	발표자료
1	10/30	Introduction to Big Data and Data Science	김무성	강의자료
		Performing Data Science and Preparing Data	김무성	강의자료
		Setting up the Course Software Environment	김무성	발표자료
2	11/12	Big Data, Hardware Trends, and the History of Apache Spark	오창민	강의자료
		Spark Essentials	오창민	강의자료
3	11/19	Lab 1: Learning Apache Spark	유주원	Spark Tutorial : notebook. online. 발표자료
4	11/26		유주원	Lab 1 Word Count : notebook. online. 발표자료
5	12/3	Semi-Structured Data	안동환	강의자료
		Structured Data	안동환	강의자료
6		Lab 2: Web Server Log Analysis with Apache Spark	김무성	Lab 2 Web Log : notebook, online
		Data Quality	윤병희	강의자료
7		Exploratory Data Analysis	윤병희	강의자료
	2016.1/21	Machine Learning	김무성	강의자료-중간부터, online
8		Lab 3: Text Analysis and Entity Resolution	김무성	note
		Lab 4: Introduction to Machine Learning with Apache Spark	오창민

파트 2 - Spark ML

회차	날짜	제목	발표자	발표자료
1		Topics: Course goals, Apache Spark overview, basic ML
		Lab 1: NumPy, Linear Algebra, and Lambda Function Review
2		Topics: Big data and hardware trends, history, RDD
		Lab 2: Learning Apache Spark
3		Topics: Linear regression, distributed ML principles
		Lab 3: Millionsong Regression Pipeline.
4		Topics: linear classification, logistic regression
		Lab 4: Click-through Rate Prediction Pipeline
5		Topics: neuroimaging data,EDA, PCA, distributed PCA
		Neuroimaging Analysis via PCA