Software Engineer of Quantec, Inc (2019~2021)
Data Engineer of Humaxmobiltiy (2021~)
Languages : Python, C, R, shell
Frameworks : vi, Pycharm, Jupyter, Tableu
Database : mysql, mariadb, mssql, redis, mongo, snowflake
DevOps : AWS, Git, EKS, airflow, Lambda, ECS, Docker
kafka streaming
, Kubernetes
, airflow
, Pyspark
, DB
, Dynamic Pricing
- 국내/해외 market price/ fundamental DB 구축 및 운영
- mssql -> mysql Data migration
- Proc Data pipe line
- HA solution Setting : mha 를 통한 mariaDB server 이중화 구성
- OLTP, OLAP
- DB 백업, 복구, 성능 모니터링/진단/튜닝 담당
- S3 Staging DW data --> Snowflake Migration (S3 Load 기반 load engine --> distributed engine Upgrade ) 초당 5000건 이상 조회시 부하 및 대규모 Data 에 EMR service 사용보다 좀 더 효율적이고 현재 비용에서 30% 저렴한 Snowflake 를 사용하는 것이 옳은 것 같다라는 판단 +@ 각 계열사간 snowflake 같은 region 간 data share 시 무료 및 cross-cloud Data share 가능, db transaction history 를 통해 언제든 어떠한 버전으로 복구가능 +@ Market 을 통한 Data 판매 가능
- pySpark Performance Tuning ( DataSkewness --> repartition & boardcasting join & Salted key & caching )
- KT Cloud & FSDC(private) server setting
- 정보계/계정계 개발 서버 운영
- server 접근 제어 솔루션(Hiware)
- On-premise 환경에서 Cloud 환경 migration
- AWS architecture (Infra, MWAA, kafka) -> ( Lambda, kafka, EKS, Airflow, Snowflake, Tableau & Quicksight )
- Humax Data Lake 구축 및 Pipeline 구성 후 DW/DM 및 Visualization
- 계열사 otoplug (kafka -> S3 Sink Connector -> Airflow -> Glue, Athena, tableu & QuickSight ) - 차량장비데이터 sensor, cycle, trip 등
- 계열사 Raidea {Carplat, Peoplecar} (Airflow -> ETL, EMR, Glue, Athena, tableu & QuickSight ) - 카셰어링데이터
- 계열사 humax_EV {station, charge, sales Static Data } ( elastic search - lambda trigger) - 전기차관련데이터, 충전소데이터, user, sales data 등등
- 계열사 AJ_parking, Car123 ( Mongo - airflow - snowflake - tableau ) - 주차장데이터, 차량정비데이터, 주차관제데이터
- Financial Data Dynamic Pricing ( kafka - snowflake - kubeflow - jupyter - 충전기시스템API )
- 준실시간 EV 충전기 이상탐지 및 알람 ( kibana - Lambda - AWS SNS )
- EKS usage monitoring ( Prometheous & Grafana, k9s )
- Daily news data Polarity Detection(극성분석) & 투자성향별 포트폴리오
- TESTBED : 코스콤 로보어드바이저 국내/해외 주식 관리
- Humax mobility Data analysis platform
- EC2 기반 Airflow --> EKS Airflow k8sPodOperator Migration 및 function distribute system
- 거점별 Dynamic Pricing Policy Model 개발
- 거점별(주차장) 충전기 가격 최적화: 최근 충전량을 바탕으로 거점별 충전기 가격과 지역별 전기차 대수 간 유사성 분석을 통해 두 개의 시계열 데이터를 바탕으로 가동률을 측정하고, 예측치에 대한 평가지표는 평균 절대 백분율 오차(MAPE) 10% 미만인 모델로, DTW알고리즘을 통해 두 시계열 데이터의 유사성(거리)을 측정하여, 그 거리가 최소화되는 wraping(뒤틀림)을 찾아 탄력적으로 변화시키는 가격 전략을 개발 (실제 운영에서는 반영 안됨. 거점별 계약관련 issue 로 분석으로 종료)
- EV 충전 Ad-hoc 분석 이상탐지(2021.11)
- 1분 미만 charging 및 plugged 상태에서 미세 잔류 충전으로 결제없이 충전이 가능하다는 사실을 인지하여 해당 Issue 발생시 사용자 Alarm 처리 (현재는 해당 issue 해결된 것으로 인지)
- 충전사업자 요금정책 backtest
- 월별 거점당 충전사업자 요금정책 1,2,3,4 를 계산하여 현재 충전사업자 요금정책 중 어떤 정책이 비용이 가장 적게 나오는지 backtest 하여 service dashboard 제공
- 하소연 프로젝트 (고민상담 및 솔루션 제공 Chatbot 개발)
- 해커톤 실무 프로젝트 우수상
- 대학원 1학기 휴학(회사 업무) - 2023.02 ~ 2023.06
Email : [email protected] , [email protected], [email protected]
Social media
: 💬instagram , 😄linkedin