이전 포스팅에서 스테이블 디퓨전의 모델 적용 방법을 설명하였습니다. 이번에는 스테이블 디퓨전의 이미지 생성을 설명하겠습니다. 우선 적용한 모델을 스테이블 디퓨전에서 세팅해야 합니다. 로컬 혹은 코랩으로 스테이블 디퓨전을 실행합니다.
모델의 세팅
Checkpoint
스테이블 디퓨전을 실행하면 다음 화면을 볼 수 있습니다. 좌측 상단을 보시면 Checkpoint 선택 항목이 있습니다. 이전 포스팅에서 다운로드 받았던 DivineEleganceMix를 선택합니다. Checkpoint 선택 화면 밑을 보시면, 텍스트 프롬프트와 네거티브 프롬프트 항목이 있습니다. 여기서 네거티브 프롬프트는 이미지에서 나타나지 않았으면 하는 사물이나 대상을 기재하시면 됩니다.
VAE
Checkpoint 선택창 밑의 Settings 항목을 클릭하면 세팅 메뉴로 들어갑니다. 여기서 좌측의 사이드바 메뉴에서 VAE를 선택합니다. Matrix VAE를 선택합니다. 그리고 상단의 Apply settings를 선택합니다.
Lora
Settings를 빠져나오면 Lora 항목을 클릭하고 Refresh 버튼을 누릅니다. Eye라고 검색창에 입력하여 Lora 설치를 확인합니다. Lora는 텍스트 프롬프트 작성 중에 삽입하기 때문에 지금 선택하지 않습니다. Lora 모델이 Lora 폴더에 적용되어 있는지만 확인하시면 됩니다.
이미지 생성
이미지 참조 및 프롬프트 복사
이제 이미지를 한번 생성해 보겠습니다. 처음부터 모든 프롬프트를 작성하는 것은 어렵기 때문에 CivitAI 갤러리의 이미지 프롬프트를 참조하겠습니다. 저는 닌텐도 게임인 젤다의 전설에 나오는 Princess Zelda라는 검색어로 CIvitAI에서 검색을 해보겠습니다. 성인 이미지가 너무 많아 링크 주소를 남기기가 어렵습니다. CivitAI의 검색창에서 원하는 캐릭터나 대상을 검색하여 마음에 드는 이미지를 선택합니다. (https://civitai.com/)
그중에서 다음 이미지를 선택하였습니다. 우측 하단의 프롬프트(텍스트/네거티브)를 복사하여, 스테이블 디퓨전에 붙여 넣습니다. 복사한 프롬프트에서 <lora:xxxxxx> 라고 작성된 부분은 삭제합니다. 별도의 Lora를 설치해야 사용할 수 있는 프롬프트입니다.
Lora 선택 및 이미지 생성
이제 위에서 설명한 것처럼 Lora를 선택하여 텍스트 프롬프트에 삽입합니다. 텍스트 프롬프트의 어느 위치에 넣어도 상관없습니다. 다만 기본적으로 텍스트/네거티브 프롬프트는 먼저 작성한 표현의 비중 및 가중치가 높다는 점은 기억하시길 바랍니다. 하단의 옵션은 별도의 포스팅으로 작성하겠습니다.
이제 다른 옵션은 건드리지 않고, Generate 버튼을 눌러 이미지를 생성합니다. 다음과 같이 이미지가 생성되었습니다. 별도로 가로 x 세로 비율을 설정하지 않으면 기본적으로 512 x 512 (1:1) 사이즈의 이미지가 생성됩니다.
다른 이미지 생성
CIvitAI의 갤러리에서 다른 프롬프트를 복사하여, 이미지를 하나 더 생성하겠습니다. 젤다를 생성하였으니, 게임에 등장하는 링크도 한번 생성해 보겠습니다. 다음 이미지의 프롬프트를 복사합니다.
이미지가 생성되었습니다.
정리
이미지 생성 과정을 다시 한번 요약하겠습니다. CIvitAI의 갤러리에서 마음에 드는 이미지의 프롬프트(텍스트/네거티브)를 복사합니다. 스테이블 디퓨전에 프롬프트를 붙여 넣습니다. Checkpoint와 VAE를 선택합니다. Lora를 선택하여 프롬프트 창에 삽입합니다. 이미지를 생성합니다.
이번 포스팅에서는 별도의 수정 없이 복사한 프롬프트를 그대로 활용하였습니다. 차츰 이 과정이 익숙해지면 프롬프트를 수정하여 이미지를 생성합니다. 업스케일링을 포함한 옵션을 조정하고, 취향에 맞는 모델을 변경하고, 시행착오를 거치면서 이미지를 생성하시면 됩니다. 다음 포스팅에서는 옵션 설정에 관해 알아보겠습니다.