스테이블 디퓨전의 설치 및 실행까지 이전 포스팅에서 설명하였습니다. 이번 포스팅에서는 스테이블 디퓨전의 모델을 적용하겠습니다. 스테이블 디퓨전에 다양한 스타일을 더해주는 일종의 플러그인을 모델이라고 생각하시면 됩니다.
- Checkpoint: 전반적인 이미지의 스타일을 결정 (예. 실사, 반 실사, 2D, 특정 작가의 화풍 및 그림체 등)
- Lora: 학습된 특정 정보를 본인의 스테이블 디퓨전에 이식하는 모델 (예. 자세, 동작, 특정 인물의 외형 등)
- VAE: 빛과 후보정을 결정하는 모델
모델의 다운로드
모델은 보통 Civitai 사이트나 Hugging face.com에서 다운로드 받습니다.
CivitAI: https://civitai.com/
Hugging face: https://huggingface.co/models
Hugging Face
우선 Hugging Face 사이트에서 모델을 다운로드 받는 방법부터 설명하겠습니다. Hugging Face는 모델 항목에서 Tex-2-Image를 선택합니다. 우측의 정렬 방법을 Most likes나 Most Download로 선택합니다. 검색 창에서 검색어(Checkpoint, VAE, Lora 등)를 입력하고 다운로드합니다. 다만 사이트 UI 및 직관성에서 CivitAI가 압도적으로 편리하기 때문에, CivitAI를 이용하실 것을 권해 드립니다.
CivitAI
CivitAI에 접속하셔서 회원 가입을 합니다. 구글 계정 연동이 가능하니 쉽게 가입할 수 있습니다. 좌측의 메뉴에서 Model을 선택합니다. 이제 Most Downloaded, 즉 가장 다운로드 횟수가 많은 순서로 모델이 정렬되어 있습니다. 특별히 찾는 모델이 있다면 직접 검색해도 됩니다. 아니라면 정렬된 모델에서 마음에 드는 것을 선택합니다.
저는 목록 상단의 DIvineEleganceMix라는 2D 이미지 스타일의 Checkpoint 모델을 다운로드 받겠습니다. 선택해서 들어가면 우측 상단의 다운로드 항목을 선택하여 다운로드 받습니다.
상단의 견본 이미지를 클릭하면 텍스트 프롬프트, 네거티브 프롬프트 및 사용한 모델을 확인할 수 있습니다. 스크롤을 내리면 해당 모델을 사용해 생성한 각종 이미지를 확인할 수 있습니다. Checkpoint만 다운로드 받아도 볼만한 이미지가 생성됩니다. Lora와 VAE는 옵션의 성격이 강하니 취향이나 필요에 따라 다운로드 받고 적용하시면 됩니다.
다음으로 Lora를 다운로드 받겠습니다. 검색창에 Lora라고 검색하면 다운로드 횟수대로 배열됩니다. 성인 이미지가 많이 뜨니 공공장소에서는 주의하시길 바랍니다. Eye라는 Lora를 다운로드 받겠습니다. 눈동자에 세밀한 표현을 더하는 특징을 가진 Lora입니다.
다음으로 VAE입니다. 큰 특징은 없지만 그냥 무난한 Matrix VAE를 받았습니다.
모델의 적용
각각의 모델을 폴더에 넣고 스테이블 디퓨전에 적용합니다. 모델의 적용 폴더는 다음과 같습니다.
스테이블 디퓨전 (로컬 설치)
C 드라이브에 스테이블 디퓨전을 설치했다면, Checkpoint, Lora, VAE의 폴더는 다음과 같습니다. CivitAI에서 다운로드 받은 파일을 다음 폴더에 적용하면 됩니다.
- Checkpoint: C:\stable-diffusion-webui\models\Stable-diffusion
- Lora: C:\stable-diffusion-webui\models\Lora
- VAE: C:\stable-diffusion-webui\models\VAE
스테이블 디퓨전 (코랩)
코랩을 이용하여 스테이블 디퓨전을 설치했다면, 구글 드라이브의 다음 폴더에 모델을 적용합니다.
- Checkpoint: 내 드라이브:\SD\models\Stable-diffusion
- Lora: 내 드라이브:\SD\models\Lora
- VAE: 내 드라이브:\SD\models\VAE
정리
스테이블 디퓨전을 실행하고 Refresh 버튼을 누르면, 적용한 모델이 목록에 뜨고 선택할 수 있습니다. 다음으로 이미지 생성을 위한 텍스트 프롬프트와 네거티브 프롬프트를 작성합니다. 마지막으로 각종 옵션을 조정하고, 이미지를 생성합니다. 이것이 스테이블 디퓨전의 개략적인 이미지 생성 과정입니다. 다음 포스팅에서는 이미지 생성 방법을 설명하겠습니다.