ingini / til

매일매일 배운 것을 정리합니다♥

Hi there 👋

TL;DR

Software Engineer of Quantec, Inc (2019~2021)
Data Engineer of Humaxmobiltiy (2021~)

Tech & Skiils

• Languages : Python, C, R, shell
• Frameworks : vi, Pycharm, Jupyter, Tableu
• Database : mysql, mariadb, mssql, redis, mongo, snowflake
• DevOps : AWS, Git, EKS, airflow, Lambda, ECS, Docker

Intersted in

kafka streaming, Kubernetes, airflow, Pyspark, DB, Dynamic Pricing

History

DB

• 국내/해외 market price/ fundamental DB 구축 및 운영
• mssql -> mysql Data migration
• Proc Data pipe line
• HA solution Setting : mha 를 통한 mariaDB server 이중화 구성
• OLTP, OLAP
• DB 백업, 복구, 성능 모니터링/진단/튜닝 담당
• S3 Staging DW data --> Snowflake Migration (S3 Load 기반 load engine --> distributed engine Upgrade ) 초당 5000건 이상 조회시 부하 및 대규모 Data 에 EMR service 사용보다 좀 더 효율적이고 현재 비용에서 30% 저렴한 Snowflake 를 사용하는 것이 옳은 것 같다라는 판단 +@ 각 계열사간 snowflake 같은 region 간 data share 시 무료 및 cross-cloud Data share 가능, db transaction history 를 통해 언제든 어떠한 버전으로 복구가능 +@ Market 을 통한 Data 판매 가능
• pySpark Performance Tuning ( DataSkewness --> repartition & boardcasting join & Salted key & caching )

Infra & Develop

• KT Cloud & FSDC(private) server setting
• 정보계/계정계 개발 서버 운영
• server 접근 제어 솔루션(Hiware)
• On-premise 환경에서 Cloud 환경 migration
• AWS architecture (Infra, MWAA, kafka) -> ( Lambda, kafka, EKS, Airflow, Snowflake, Tableau & Quicksight )
• Humax Data Lake 구축 및 Pipeline 구성 후 DW/DM 및 Visualization
• 계열사 otoplug (kafka -> S3 Sink Connector -> Airflow -> Glue, Athena, tableu & QuickSight ) - 차량장비데이터 sensor, cycle, trip 등
• 계열사 Raidea {Carplat, Peoplecar} (Airflow -> ETL, EMR, Glue, Athena, tableu & QuickSight ) - 카셰어링데이터
• 계열사 humax_EV {station, charge, sales Static Data } ( elastic search - lambda trigger) - 전기차관련데이터, 충전소데이터, user, sales data 등등
• 계열사 AJ_parking, Car123 ( Mongo - airflow - snowflake - tableau ) - 주차장데이터, 차량정비데이터, 주차관제데이터
• Financial Data Dynamic Pricing ( kafka - snowflake - kubeflow - jupyter - 충전기시스템API )
• 준실시간 EV 충전기 이상탐지 및 알람 ( kibana - Lambda - AWS SNS )
• EKS usage monitoring ( Prometheous & Grafana, k9s )

Service Develop

• Daily news data Polarity Detection(극성분석) & 투자성향별 포트폴리오
• TESTBED : 코스콤 로보어드바이저 국내/해외 주식 관리
• Humax mobility Data analysis platform
• EC2 기반 Airflow --> EKS Airflow k8sPodOperator Migration 및 function distribute system
• 거점별 Dynamic Pricing Policy Model 개발
  • 거점별(주차장) 충전기 가격 최적화: 최근 충전량을 바탕으로 거점별 충전기 가격과 지역별 전기차 대수 간 유사성 분석을 통해 두 개의 시계열 데이터를 바탕으로 가동률을 측정하고, 예측치에 대한 평가지표는 평균 절대 백분율 오차(MAPE) 10% 미만인 모델로, DTW알고리즘을 통해 두 시계열 데이터의 유사성(거리)을 측정하여, 그 거리가 최소화되는 wraping(뒤틀림)을 찾아 탄력적으로 변화시키는 가격 전략을 개발 (실제 운영에서는 반영 안됨. 거점별 계약관련 issue 로 분석으로 종료)
• EV 충전 Ad-hoc 분석 이상탐지(2021.11)
  • 1분 미만 charging 및 plugged 상태에서 미세 잔류 충전으로 결제없이 충전이 가능하다는 사실을 인지하여 해당 Issue 발생시 사용자 Alarm 처리 (현재는 해당 issue 해결된 것으로 인지)
• 충전사업자 요금정책 backtest
  • 월별 거점당 충전사업자 요금정책 1,2,3,4 를 계산하여 현재 충전사업자 요금정책 중 어떤 정책이 비용이 가장 적게 나오는지 backtest 하여 service dashboard 제공

Dongeui University B.A in economics (2012.03~2019.02)

Samsung Multicampus (2019.04~2019.11)

• 하소연 프로젝트 (고민상담 및 솔루션 제공 Chatbot 개발)
• 해커톤 실무 프로젝트 우수상

Sungkyunkwan university M.S in BigData (2021.02~2024.02)

• 대학원 1학기 휴학(회사 업무) - 2023.02 ~ 2023.06

Contacts

• Email : [email protected] , [email protected], [email protected]
• Social media : 💬instagram , 😄linkedin