ddps-lab / distributed-matrix-completion Goto Github PK

출저: https://www.thinkbiganalytics.com/2015/11/23/scalable-matrix-multiplication-using-spark-2/

n 이 매우 커지는경우 메모리 초과 발생.
Spark 에 여러 Distriyted matrix 있지만, 매개 변수로 로컬 행렬만 사용. 즉, 메모리 부족 문제가 발생하기 때문에 MLlib을 사용하면 큰행렬에 다른 행렬을 곱할 수 없음.

이 문제를 해결하기 위해 outer product 개념 활용.

다음과 같이 A의 col vector, B의 row vector로 n개 만큼의 RDD 구성.
각각의 RDD에는 m+k 만큼의 element 존재.

ex) 다음과 같은 행렬을 outer product로 곱할때,

다음과 같이 진행됨

소스코드: https://www.thinkbiganalytics.com/wp-content/uploads/2017/03/SparkMultiplication-1.txt

#7 완료 후 Spark BlockMatrix.multiply 와 marlin 성능 비교 해보기

참고 자료
http://ieeexplore.ieee.org/document/7364023/
http://www.cs.huji.ac.il/~odedsc/papers/bfsdfs-mm-ipdps13.pdf
https://github.com/PasaLab/marlin
https://github.com/apache/spark/blob/master/mllib/src/main/scala/org/apache/spark/mllib/linalg/distributed/BlockMatrix.scala

https://github.com/PasaLab/marlin

현재 존재하는 시스템을 설치하여 성능 측정 필요

https://github.com/apache/spark/blob/master/mllib/src/main/scala/org/apache/spark/mllib/linalg/distributed/BlockMatrix.scala#L487

이해후 발표하기

하둡과 스파크 컨테이너 활용하여 재 설치 필요.

@NamHyunE 이번 이슈에 각 단계를 정리해보자.

ScalaPack 에 구현된 행렬곱셈은 SUMMA 를 구현했음. MAGMA, PLASMA 등도 비슷할수있음
SUMMA - http://www.netlib.org/lapack/lawnspdf/lawn96.pdf

Spark MLLib BlockMatrix.multiply 함수를 활용하여
두개의 square 매트릭스간의 곱셈 연산에 대한 각기 다른 설정에 따른 성능 측정 필요

매트릭스의 사이즈는
1K1K
2K2K
4K4K
8K8K
16K16K
32K32K

매트릭스 안의 블락 개수는
11, 22, 44, 88, 1616, 18, 81, 116, 16*1 등을 시도하면 될듯

블락 행렬 곱셈에서 numDimSplit 의 효과와 inner-product 와 outer-product 의 성능 차이 및 오버헤드 조사 필요

https://github.com/apache/spark/blob/master/mllib/src/main/scala/org/apache/spark/mllib/linalg/distributed/BlockMatrix.scala#L489

computation overhead와 network overhead의 일반화

스파크 MLLib 활용
매트릭스 사이즈는
1M * 1K 정도로
block 나누는 법은 행별, 열별, 블락별을 각각 따로 시도해봐야 할듯