Stable diffusion web UI 병합모델 만드는법 / 자신의 취향의 모델을 만들어 본다.

Stable diffusion web UI 병합모델 만드는법 / 자신의 취향의 모델을 만들어 본다.

Stable diffusion web UI 병합모델 만드는법

이번에는 제목에서 알 수 있듯이 Stable Diffusion 초보자를 위한 주제입니다.

Stable Diffusion 웹 UI를 사용하여 병합 모델을 쉽게 만드는 방법
에 대한 간략한 소개입니다.

Stable Difuison 시리즈 모델을 사용하여 이미지를 생성하는 경우,

'마음에 드는 모델을 찾기가 힘들다.'
'하지만 모델을 만드는 방법을 모르겠다.'

라는 고민에 빠질 때가 있습니다. 현재 시장에는 다양한 모델이 나와 있지만 기성품 모델이 항상 자신의 취향에 맞는다고 할 수는 없습니다. 하지만 로라처럼 특정 캐릭터나 스타일을 배우고 싶은 게 아니라, 다재다능한 모델로서 나만의 취향을 원하는데...라고 말하는 경우도 있을 것입니다.

따라서 이 경우 자신만의 병합 모델을 생성할 수 있는 것이 편리합니다. 병합 모델은 이름에서 알 수 있듯이 기존 모델을 결합한 모델로, 어려운 작업 없이 쉽게 만들 수 있습니다.

아래에서는 이 Stable diffusion web UI 병합된 모델을 만드는 방법을 알아보겠습니다.

전제: Stable Diffusion web UI 를 설치하여 사용할 수 있도록 해둔다.

먼저 전제로 여기서는 "Stable Diffusion web UI"를 사용하여 마지모델을 만드는 방법을 설명해 드리기 때문에 미리 이 도구를 설치하고 사용할 수 있도록 해두어야 합니다.

「아직 web UI를 인스톨 하지 않았다」라고 하는 분은, 아래의 기사에서 인스톨 방법이나 기본적인 사용법을 해설하고 있기 때문에 우선은 그쪽을 봐 주세요.

2023.03.12 - [AI] - Stable Diffusion Web UI(SD) 초 간단 윈도우 설치방법 속도 높이는법 소개.

Stable Diffusion Web UI(SD) 초 간단 윈도우 설치방법 속도 높이는법 소개.

덧붙여서 병합 모델 자체는 다른 툴(NMKD Stable Diffusion GUI)등에서도 만들 수 있습니다만, 여기에서는 Stable Diffusion web UI만 설명하므로 양해 바랍니다.

병합 모델을 만드는 방법

그럼 지금부터 병합 모델을 만드는 방법에 대해 알아보겠습니다.

Checkpoint 병합 탭 설정 항목에 대해

web UI 를 기동하고 Checkpoint 병합 탭을 열면 병합 모델 생성 화면이 됩니다. 여러가지 설정항목이 있어서 각자 알아두는게 좋으니 하나씩 설명해드리겠습니다.

Checkpoint 병합 탭 화면

• 모델 선택
• 이름
• Multiplier
• 혼합 방식
• checkpoint 의 파일 형식
• float16으로 저장
• 컴피그 복사
• VAE를 구워 넣다

모델 선택

병합에 사용할 모델을 선택합니다(모델은 미리 소정의 폴더에 넣어 둘 필요가 있습니다). 모델을 병합하려면 두 종류의 모델이 필요하기 때문에 어떤 모델끼리 병합할지 결정해 둡시다.

참고로 드롭다운 메뉴는 세 가지가 있는데, 세 번째는 후술하는 혼합 방식에서 차이 더하기를 선택했을 때 사용됩니다.

이름

병합 후 모델에 붙일 이름을 적당히 입력합니다.

Multiplier

각 모델을 어느 정도 비율로 병합할지 결정하는 값입니다. 후술하는 '혼합방식'이 디폴트의 '가중평균'인 경우, 계산식은

모델A * (1 – Multiplier 값) + 모델B * Multiplier 값

이 됩니다. 따라서 예를 들어 Multiplier=0.3일 때는 모델A가 70%, 모델B가 30%의 비율로 병합됩니다.

혼합 방식

모델을 어떻게 병합할지 결정합니다. 다음 세 가지 선택지가 있습니다.

• 보간 없음
• 가중 평균
• 차이를 가하다

보간 없음

병합을 수행하지 않는 옵션입니다. 단순히 모델의 파일 형식을 변경하거나 VAE를 삽입하고 싶을 때 선택합니다.

가중 평균

두 모델을 혼합하는 알기 쉬운 병합 방식입니다. 계산식은 아까 소개한 바와 같이

모델A * (1 – Multiplier 값) + 모델B * Multiplier 값

입니다. 식을 보시면 아시겠지만 Multiplier는 모델A의 영향을 얼마나 지울 것인가?를 결정하는 값이므로 주의해 주십시오(※모델A의 비율을 결정하는 값이라고 생각하지 않습니다).

차이를 가하다

세 가지 모델을 사용한 병합 방식으로 모델 B와 모델 C의 차이를 모델 A에 병합합니다.이미지로는 모델 B와 모델 C의 다른 부분을 모델 A에 추가하는 느낌입니다.

계산식은 다음과 같다.

모델 A + (모델 B – 모델 C) * Multiplier 값

checkpoint 의 파일 형식

모델의 파일 형식을 지정합니다.

• ckpt
• safetensors

의 2 종류가 있습니다만, safetensors 쪽이 읽기가 빠르고 안전성도 높기 때문에 특별히 이유가 없으면 safetensors 쪽을 선택합시다.

float16으로 저장

체크를 하면 모델의 파일 크기가 작아집니다. 체크를 하지 않는 경우와 비교하여 생성 결과가 약간 달라질 수 있습니다.

컴피그 복사

Stable Diffusion v2 계열 이후의 모델을 병합할 때를 위한 설정 항목입니다. 컴픽 파일을 어느 모델에서 복사할지 지정합니다.

v1계 모델을 병합할 때는 무관하므로 디폴트 그대로 OK.

VAE를 구워 넣다

필요하다면 지정한 VAE를 동봉할 수 있습니다.'없음' 그대로도 OK.

설정하면 'merge' 버튼을 누르고 잠시 기다리기만 하면 된다!

설정 항목을 대충 채우고 나면, 나머지는 오렌지색의 「병합」버튼을 누르고 잠시 기다리기만 하면 됩니다. 선택한 모델이나 사용하시는 PC의 성능에 따라 다릅니다만, 병합 처리에는 거기까지 시간이 걸리지 않고 수십 초면 완료됩니다.

병합 모델의 작성 예

자, 위 설정 항목을 이해하시면 쉽게 병합 모델을 만들 수 있는데 샘플이 없으면 생성 결과가 어떤 느낌인지 알기 어려울 것 같아서 실제로 시도한 예시를 올려놓겠습니다.

조건

• 모델 A : Counterfeit V2.5
• 모델 B : Pastel Mix
• Multiplier：0.5
• 혼합 방식: 가중 평균

생성한 미소녀 일러스트 비교

CounterFeit	Pastel Mix	병합모델

병합모델은 Counterfeit의 세밀한 묘사와 Pastel Mix의 부드러운 터치를 각각 이어받은 듯한 화풍이 되었습니다.

Stable Diffusion web UI 병합모델 만드는법 마지막으로

위에서 Stable Diffusion 웹 UI를 사용하여 모델을 통합하는 방법을 설명했습니다. 일단 병합모델 만드는법을 알면 나만의 모형을 만들어보는 재미도 있고 표현의 폭이 넓어지는 재미도 있으니 꼭 한번 해보시기 바랍니다.

이 글이 여러분에게 조금이나마 참고가 되었으면 합니다.