ddps-lab / deep-spot-cloud

SourceCode for DeepSpotCloud

deep-spot-cloud's Issues

Magma 가 설치된 이미지가 다양한 EC2 인스턴스에 범용적으로 활용가능한지 확인 필요

general, compute, memory, io, gpu 등 다양한 인스턴스에서
다커 이미지로 생성된 마그마 이미지가 최적으로 동작하는 지 확인필요

Leaking password

Hey there,

in the past you had your database password available to the public (see 637ed26). I was able to log into your database. I don't think it's a good idea to have your password available to the public. I found it via the github search, and so everyone can, even malicious users. I hope no damage has been done yet!

Kubernetes 의 PetSet 을 활용한 태스크 마이그레이션 방안 고려

Kubernetes 의 PetSet 기능이 stateful 한 서비스 제공에 적합해 보임. 이에 대한 추가 기능 연구 및 DeepSpotCloud 와 머지 방안 고려.

http://blog.kubernetes.io/2016/07/thousand-instances-of-cassandra-using-kubernetes-pet-set.html

Magma, Spark, MPI 결합 여부 조사

-> Spark위에 Magma Library 탑재 가능 여부 조사

-> (Magma+MPI+Spark 결합 가능성 조사)

소스코드 이관 시켜 오기

From @kmu-leeky on May 6, 2017 5:25

현재 소스코드는 개인 계정에서 관리되고 있고, 이를 랩 계정으로 이관 시켜올것.

https://github.com/mjaysonnn/DeepSpotCloud

Copied from original issue: #1

컨테이너 (다커)를 활용한 live task migration 가능성 확인

From @kmu-leeky on May 14, 2017 8:2

컨테이너를 활용해서 인스턴스 강제종료시 작업이관 가능여부 확인 필요

Copied from original issue: #8

multi node TensorFlow 적용 방안 마련

From @kmu-leeky on May 6, 2017 12:16

여러 워커 노드가 있을때 일부가 outbid 로 종료될때 안정성 확보방안에 대한 연구 필요

Copied from original issue: #5

실험용 다커 이미지 만들기

실험용 다커 이미지를 만들어서 어느 인스턴스 타입에서도 실험이 가능한 환경 구축.
기본 이미지에는 싱글 쓰레드 기반의 matrix, matrix 곱셈 기능을 구현하면 될듯.

Magma vs Spark

-> Magma 와 Spark 성능 비교 (Matrix Multiplication Workload를 통해 비교)
(CIFAR-10, ImageNet, MNIST 등등 Matrix Multiplication Workload를 사용하여 통계 낸 후 비교)

CloudFormation 을 활용한 개발 단계 파이프 라인 구축 가능성 조사

From @kmu-leeky on May 6, 2017 5:26

https://aws.amazon.com/cloudformation/

활용 가능성 조사

Copied from original issue: #2

CPU 와 GPU 공동 실행에 대한 추가연구 진행 필요

From @kmu-leeky on May 6, 2017 12:15

Cloud2017 리뷰를 비롯하여, 실제적으로 CPU 의 적절한 활용은 비용/성능적 측면에서 도움이 될것으로 예상됨

Copied from original issue: #4

Magma Library에서의 분산처리 방법 조사

Spark에서는 BlockMatrix 라는 분산 행렬 자료구조를 통해 기계 학습 모형을 구성 해볼 수있음.

Magma Library에서는 자료를 어떻게 분산해서 처리하는지 어떤 자료구조를 쓰는지 조사

가격 변화 추이 저장하는 데이터 베이스 변경

From @kmu-leeky on May 6, 2017 8:19

현재는 dynamo db 사용중.
time-series 데이터베이스로 이관 필요함 - https://kairosdb.github.io/

good time series database - http://blog.outlyer.com/top10-open-source-time-series-databases

Copied from original issue: #3

새로운 GPU 인스턴스 타입에 대한 가격 추이 조사

From @kmu-leeky on May 11, 2017 8:39

P2 인스턴스가 최근에 공개됨.
이에 대한 가격 변화 추이를 추가적으로 확인 필요함

Copied from original issue: #6

사라가 일한 스팟인스턴스 가격 예측 알고리즘 적용방안 생각하기

ARIMA 를 활용한 방안을 실제로 적용하는 방안 마련할것

다커가 설치된 AMI 로 EC2 실험해보기

http://docs.aws.amazon.com/AmazonECS/latest/developerguide/launch_container_instance.html

각 지역별로 AMI 가 준비되어 있음 (docker + ECS).
테스트로 EC2 실행해보고 native Docker 와 다른점이 있는 지 확인 필요

GPU 기반 스팟 인스턴스의 가격-성능 비율 분석 필요

From @kmu-leeky on May 11, 2017 8:40

g2. p2. 2xlarge 와 8xlarge 는 4배의 가격 및 성능 차이를 보이고 있음.
실제로 가격 차이 만큼 성능적 이득을 얻을수 있는지 조사가 필요함.

Copied from original issue: #7