Stable Diffusion 기초개념 설명 로라 컨트롤넷 VAE 등.

Stable Diffusion 어려운 분들을 위한 기초개념 설명 로라 컨트롤 넷등.

Stable Diffusion

이번에는 이미지 생성 AI 입문 주제로

무료 이미지 생성 AI "Stable Diffusion" 개요 및 활용을 정리하여 소개하고자 합니다.

일반 인터넷 사용자라면 AI가 자동으로 생성하는 미소녀 일러스트를 본 적이 있을 거라 생각합니다. 그래서 솔직히 이미지 생성 AI에 관심을 갖는 사람들이 많을 것입니다.

최근에는 실제 사진과 같은 AI 그림도 자주 보이고 있습니다. 실제로 인스타그램에서 돌아다니는 사진을 보면 실제와 잘 구분이 안되는 AI 이미지들도 많습니다.

'무료로 사용할 수 있다고 하는데 설치 방법이나 사용법을 몰라요!'라고 생각하는 사람들이 대부분이지 않을까요?

그래서 아래에서는

'원본 이미지 생성 AI란?'
'Stable Diffusion에 대하여, 완전 무료 사용'
'간단한 설치 방법'
'기본 사용법'

등 Stable Diffusion 기초개념 설명과 로라 컨트롤넷 VAE에 대해 자세히 설명해 드리겠습니다.

원래 이미지 생성 AI란?

그럼 처음에 '애초에 이미지 생성 AI가 뭐야'라고 하시는 분들도 계실 수 있기 때문에 그 부분부터 차근차근 설명해 드리도록 하겠습니다.

이미지 생성 AI란 간단히 말하면

방대한 양의 이미지를 바탕으로 학습을 실시해, 새로운 이미지를 생성하는 구조를 획득한 인공 지능

으로, 「프롬프트」라고 불리는 영어 단어나 영문을 입력함으로써 그에 맞는 이미지를 생성해 줍니다. 예를 들면

a black bear surrounded by money and gold
(돈과 금괴에 둘러싸인 곰)

라는 프롬프트를 넣으면 다음과 같은 이미지가 생성됩니다.

Stable Diffusion에서 생성한 곰의 예1 Stable Diffusion에서 생성한 곰의 예2

꽤 리얼하죠? 이것은 화풍을 나타내는 영어 단어를 프롬프트를 섞음으로써 일러스트풍으로도 할 수 있습니다.

Stable Diffusion에서 생성한 곰의 예3 Stable Diffusion에서 생성한 곰의 예4

이렇게 주문에 따라 여러 가지 재미있는 이미지를 생성하는 것이 가능합니다.

완전 무료로 사용할 수 있는 이미지 생성 AI "Stable Diffusion"

그런 이미지 생성 AI에는 몇 가지 종류가 있습니다만, 현재로서는 완전 무료로 사용할 수 있는 것은 오픈 소스의 「Stable Diffusion」(스테이블 디퓨전)이라고 하는 AI입니다. 그래서 아래의 내용에서는 이 Stable Diffusion을 사용해 이미지를 생성하는 방법에 대해 소개하겠습니다.

Stable Diffusion을 사용하기 위한 3가지 방법과 그 비교

먼저 Stable Diffusion을 사용하려면 주로 다음 세 가지 방법이 있습니다.

• Stable Diffusion을 채용한 앱 웹 서비스를 사용하는 방법
• 클라우드 환경에 설치하여 사용하는 방법
• 내 컴퓨터에 설치해서 사용하는 방법

Stable Diffusion을 채용한 앱이나 웹 서비스를 사용하는 방법

첫 번째는 Stable Diffusion을 채택한 앱이나 웹 서비스를 사용하여 이미지를 생성하는 방법입니다. 장점으로는 고성능 PC를 가지고 있지 않아도 이미지를 생성할 수 있고 최신 버전의 AI를 간편하게 사용할 수 있다는 점을 들 수 있지만, 기본적으로 유료로 제공되는 서비스만 있기 때문에 돈이 많이 드는 것이 단점입니다. 또한, 예를 들어 성 - 인 - 용 이미지 등은 제한이 걸려 있어 생성할 수 없습니다.

클라우드 환경에 설치하여 사용하는 방법

두 번째는 클라우드 환경에 Stable Diffusion을 설치하는 방법입니다. 이쪽도 고성능 PC를 가지고 있지 않아도 할 수 있는 것이 매력입니다.그러나 클라우드 환경은 사용할수록 요금이 발생하는 구조로 되어 있는 경우가 많아 대량의 이미지를 생성하려고 하면 역시 돈이 많이 듭니다.

자신의 컴퓨터에 설치하여 사용하는 방법(추천)

세 번째는 자신의 PC(즉 로컬 환경)에 Stable Diffusion을 설치하는 방법입니다. 위 두 가지와는 달리 비교적 고성능 PC가 필요하지만 무료로 원하는 만큼 이미지를 생성할 수 있는데다 제한도 없어 자유도로는 가장 높습니다.

개인적으로는 이 방법을 가장 추천하기 때문에 아래에서는 로컬 환경에 설치하는 방법을 소개해 드리겠습니다.

Stable Diffusion의 간단한 설치 방법

자, 서론이 매우 길어졌습니다만, 지금부터가 본론입니다. 먼저 Stable Diffusion을 로컬 환경에 쉽게 설치하는 방법을 설명하겠습니다.

로컬 환경에 설치할 경우 필요한 PC 스펙 등에 대해

먼저 컴퓨터 스펙에 대한 주의점이 있습니다. Stable Diffusion을 로컬 환경에서 실행하기 위해서는 웬만한 스펙의 PC가 필요합니다. 그리고 PC부품중에서도 특히 성능이 필요한 것이 그래픽보드이고,

• 엔비디아의 '지포스 RTX20' 시리즈 이후
• VRAM(=비디오 메모리) 용량이 10GB 이상

과 같은 요건을 충족하는 그래보를 탑재하고 있는 PC가 바람직합니다. 뭐 조금 더 성능이 낮은 그래픽보드라도 움직이는 경우도 있지만, 너무 그래픽보드가 오래되거나 성능이 부족하면 이미지가 출력되지 않을 수 있으니 주의합시다.

Stable Diffusion을 간편하게 사용할 수 있는 툴을 활용하자

그럼 다음은 Stable Diffusion 설치 방법에 대해서입니다.

먼저 지금까지는 "Stable Diffusion=이미지 생성 AI"라고 설명했지만, 사실 Stable Diffusion 자체는 학습 모델이라는 단순한 파일일 뿐 그 자체로 이미지를 생성할 수 있는 것은 아닙니다. 그래서 원래는

• Stable Diffusion이 동작하도록 환경 구축 작업을 하다
• 이미지를 생성하기 위해 명령줄을 두드리다

이런 귀찮은 단계를 밟을 필요가 있습니다.

하지만 매우 감사하게도 Stable Diffusion이 움직이는 환경을 손쉽게 구축할 수 있고, 쉽게 이미지 생성을 할 수 있는 무료 도구가 몇 가지 등장하고 있으니 초보자들은 그것을 활용합시다.

여기서는 Windows용 툴로 인기가 많은 툴을 소개합니다.

• Stable Diffusion web UI

Stable Diffusion web UI

Stable Diffusion web UI는 브라우저를 통해 손쉽게 Stable Diffuison을 사용할 수 있는 무료 도구입니다. 조금 전의 NMKD쪽과 비교하면

• 다기능
• 빠른 기세로 갱신되다

라는 특징이 있어 초보자부터 상급자까지 다양한 사람에게 추천합니다. 덧붙여서 Stable Diffusion에서는 Stable Diffusion web UI가 압도적으로 인기가 많습니다.

2023.03.12 - [AI] - Stable Diffusion Web UI(SD) 초 간단 윈도우 설치방법 속도 높이는법 소개.

Stable Diffusion Web UI(SD) 초 간단 윈도우 설치방법 속도 높이는법 소개.

Stable Diffusion의 프롬프트(주문) 요령

자, 다음은 프롬프트의 요령에 대해서입니다.Stable Diffusion에서 많은 이미지를 생성하다 보면 프롬프트를 박는 방식에 따라 생성되는 이미지의 퀄리티가 완전히 달라진다는 것을 알게 될 것입니다. 즉 프롬프트는 적당히 치는 것이 아니라 특정 키워드를 포함시키는 등의 요령이 필요해진다는 것입니다.

프롬프트의 일반적인 요령

쓰는 방법으로는 기본적으로 영문이라기보다는 단어를 쉼표로 많이 쓰는 것이 간편하고, 원하는 그림을 정확하게 표현하고 있는 영어 단어를 가급적 많이 담는 것이 최선인 것 같습니다.

다만 미소녀 일러스트를 생성할 수 있는 모델 등 사용하는 모델에 따라서는 필요한 요령이 전혀 다른 경우도 있습니다.

네거티브 프롬프트에 대하여

그리고 경우에 따라서는 일반 프롬프트뿐만 아니라 네거티브 프롬프트의 지정이 중요해질 수 있습니다. 네거티브 프롬프트란 일반 프롬프트와는 반대로 생성하는 이미지에 포함하지 않았으면 하는 요소를 지정하기 위한 프롬프트입니다. 예를 들어 네거티브 프롬프트에 「worst quality」라고 기술하면, 생성 결과는 고품질이 되는 경향이 있습니다.

네거티브 프롬프트란에는 아무것도 쓰지 않아도 문제가 없는 경우도 있습니다만, 예를 들어 미소녀 일러스트를 생성하는 경우는 네거티브 프롬프트가 매우 중요해지는 경우가 많기 때문에 꼭 사용할 수 있도록 해 둡시다.

생성하는 이미지의 사이즈에 대해서·이미지를 AI로 깨끗하게 확대하는 방법

다음으로 이미지 생성을 할 때 지정하는 이미지의 크기에 대해서입니다만, 기본적으로는 512px 정도로 해 두는 것이 좋다고 생각합니다. 왜냐하면 해상도가 높은 이미지일수록 생성에 시간이 걸리기 때문입니다. 물론 최상의 이미지 사이즈는 사용하시는 그래픽 보드의 성능에 따라 다르지만, 만약 미들 클래스의 그래픽 보드를 사용하신다면 512px 정도가 품질과 생성 속도의 균형을 보았을 때 가장 좋은 결과가 됩니다.

다만 그 사이즈라면 이미지의 용도에 따라 해상도가 너무 작은 경우도 있습니다. 그럴 때는 이미지 확대용 AI를 사용하면 깨끗하게 고해상도화할 수 있습니다. 방법은 다음 두 가지가 있습니다.

• 이미지 생성 AI용 툴에 부속되어 있는 기능을 사용하다
• 외부 도구를 사용하다

이미지 생성 AI용 툴에 부속되어 있는 기능을 사용

우선, 조금 전에 소개해 드린

Stable Diffusion web UI
에는 생성한 이미지를 깨끗하게 확대하는 기능이 붙어 있기 때문에, 그것을 사용하는 것이 가장 빠릅니다. 꼭 활용합시다.

모델 파일이나 VAE에 대해서

그런데 Stable Diffusion을 사용하고 있으면 모델 파일이나 VAE를 변경하고 싶어지는 경우가 있기 때문에, 그 부분에 대해 조금만 소개해두겠습니다.

이미지 생성 AI에서 모델이나 VAE란?

우선 이미지 생성 AI에 있어서의 모델이란 「이미지를 출력하기 위해서 AI가 학습한 구조」를 가리킵니다. 또 VAE란 잘 말하면 '생성하는 이미지의 퀄리티를 높이기 위한 것'을 말합니다.

Stable Diffusion은 오픈 소스 모델이므로 많은 파생 모델이 존재하며 인터넷 사이트(Hugging Face나 Civitai 등)에서 배포되고 있습니다. 이 모델들은 단독으로 배포되거나 VAE와 세트로 배포되기도 합니다.

기본적으로 VAE 없이도 이미지를 생성할 수 있지만 모델에 맞는 VAE를 사용하면 생성하는 이미지의 퀄리티가 높아질 수 있습니다. 그러니 다운로드할 때는 모델 파일뿐만 아니라 VAE가 있는지도 내친 김에 체크하도록 합시다.

ckpt형식과 safetensors형식

다음으로 인터넷에서 배포되고 있는 Stable Diffusion 계열의 모델 파일에는

• ckpt형식
• safetensors형식

의 두 종류가 있습니다. 처음에는 ckpt형식이 주류였는데 ckpt에는

• 읽기가 느리다
• 악의적인 처리가 포함될 가능성이 있다

라는 엄청난 결점이 있었습니다. 그래서 최근에는 그러한 단점을 극복한 safetensors 형식의 파일이 주류입니다. 아직 ckpt 형식밖에 없는 모델도 있지만, 우회적으로 이상한 ckpt 파일을 사용하면 예상치 못한 결과가 나올 수 있으니 가급적 safetensors 형식의 모델을 사용하도록 합시다.

Stable Diffusion 일대에서 화제의 신기술에 대해

마지막으로 덤으로 Stable Diffusion 일대에서 화제가 되고 있는 새로운 기술을 두 가지 소개해 드리겠습니다.

• 컨트롤넷(ControlNet)
• 로라(LoRA)

컨트롤넷 (ControlNet)

우선 ControlNet은 단적으로 말하면 '피사체가 원하는 포즈를 취하게 할 수 있는 기술입니다.

참고로 ControlNet은 매우 응용이 가능한 기술로 포즈 지정 이외에도

• 적당한 선화를 깨끗히하거나 선화로 착색하다
• 캐릭터의 특징을 유지한 채 색이나 화풍만 바꾼다
• 낙서로 사실적인 일러스트를 만들다

라고 말할 수도 있습니다. 능숙하게 사용할 수 있게 되면 매우 편리하기 때문에 꼭 기억해 둡시다.

로라 (LoRA)

다음으로 LoRA는 '기존 모델에 새로운 피사체를 학습시키는 기법'입니다. Stable Diffusion에서 특정 캐릭터를 내려고 해도 고생하는 경우가 많은데, LoRA를 사용하여 학습을 진행하면 원하는 캐릭터나 도안을 결정적으로 낼 수 있게 됩니다.

LoRA의 개요나 도입 절차는 조금 어렵기 때문에 중급자를 대상으로 합니다.

2023.03.13 - [AI] - AI이미지 생성 9가지.

AI이미지 생성 9가지.

Stable Diffusion 소개 정리

위에서 Stable Diffusion의 기본 개념과 사용법을 소개해드렸습니다.

로컬 환경에 Stable Diffusion을 설치하면 무료로 원하는 만큼의 이미지를 생성할 수 있어 편리하고, 도입된 소프트웨어를 사용하면 환경 구축이나 사용이 어렵지 않습니다.

이 글이 여러분에게 조금이나마 참고가 되었으면 합니다. 여기까지 Stable Diffusion 기초개념 설명 로라 컨트롤넷 VAE에 대한 설명이었습니다.