jsjeong-me / generate_ai_for_image

생성형AI는 어떻게 이미지를 만들까요?

1일차 강의 내용

• 논 문(Paper)
• 한국인터넷정보학회 2024년 춘계학술발표대회 발표자료
• 강의 교안
• 실습 교안
• 실습 Prompts
• Issue 현황 분석: Top 50 GenAI Web Products

생성형AI와 이미지 생성

1. 생성형AI는 어떻게 이미지를 만들까요?

• 인식모델: 주어진 데이터를 바탕으로 특정 패턴이나 객체를 인식
• 생성모델: 데이터의 분포를 학습하여 새로운 데이터를 생성

2. Diffuser 모델의 이해

• 데이터의 분포 학습 및 고품질 이미지 생성

3. 실습환경 구축

• 파이썬 환경 설정
• 라이브러리 설치
• 데이터셋 준비

---

다양한 사전학습 모델의 활용

1. Stable Diffusion 웹 UI 활용법

• 웹 기반 UI를 통한 이미지 생성

2. 원하는 이미지 생성을 위한 모델 선택과 프롬프트 작성법

• 적절한 모델 선택
• 프롬프트 작성 가이드라인
• Civitai와 Huggingface 활용

---

LoRA, VAE를 활용한 다양한 스타일 연출

1. 성별·나이·헤어컬러·헤어스타일 변환

• LoRA와 VAE 활용 이미지 변환

2. 안경·장신구·배경 변환(프롬프트)

• 프롬프트 활용 세부 스타일 변환

---

다양한 효과 연출 및 Portfolio 작성

1. ControlNet 으로 이미지생성

• ControlNet 활용 이미지 효과 연출

2. Portfolio 작성(실습)

• 학습 내용 및 생성 이미지를 바탕으로 포트폴리오 작성

---

2일차 강의 내용

---

나만의 모델 만들기 – LoRA 실습 1

1. Checkpoint, LoRA, Embedding, Hyper Network, VAE 정의

• Checkpoint: 학습 중간의 모델 상태를 저장하는 파일
• LoRA (Latent Representational Analysis): 레이턴트 공간을 활용하는 모델
• Embedding: 카테고리 데이터를 연속적 벡터로 변환
• Hyper Network: 하나의 네트워크가 다른 네트워크의 가중치를 생성
• VAE (Variational Autoencoder): 생성과 인식을 모두 수행하는 생성 모델

2. LoRA 학습 데이터 준비

• 데이터셋 선택
• 데이터 전처리

나만의 모델 만들기 - LoRA 실습 2

1. LoRA 모델 학습

• 학습 알고리즘 설정
• 학습 진행

2. LoRA 활용 Prompt 가이드

• 프롬프트 설정 방법
• 다양한 스타일과 효과 적용

3. txt2img 이미지 생성 파라미터 활용

• Sampler: 샘플링 방법
• CFG (Configuration File): 설정 파일
• VAE: 생성 모델
• Clip skip: 학습 과정에서 특정 단계를 건너뛰기

---

비슷한 이미지 찾기(모델 평가)

1. Vector Similarity 평가방법

• 코사인 유사도, 유클리드 거리 등

2. scipy.spatial – Distance metrics 활용

• 다양한 거리 측정 방법 활용

---

이미지 Caption – 이미지로부터 텍스트 생성

1. Visual Attention을 활용한 이미지 Captioning

• Attention 메커니즘을 사용한 캡션 생성

2. 이미지 Caption 모델 학습 및 활용

• 데이터 준비
• 학습 및 캡션 생성