"Stable Diffusion: 혁신적인 텍스트-이미지 생성 모델 소개와 활용법 알아보기 !!"

Stable Diffusion은 텍스트를 바탕으로 이미지를 생성하는 혁신적인 인공지능 모델입니다. 이 글에서는 Stable Diffusion의 기술적 구조, 개발 배경, 주요 기능, 사용 사례 및 한계점을 다룹니다.

 

"Stable Diffusion: 혁신적인 텍스트-이미지 생성 모델 소개와 활용법"

Stable Diffusion: 혁신적인 텍스트-이미지 생성 모델

 

Stable Diffusion은 2022년에 공개된 딥러닝 기반의 텍스트-이미지 생성 모델로, 그 혁신적인 디퓨전 기술 덕분에 주목받고 있습니다. 이 모델은 주로 텍스트 설명을 바탕으로 세밀한 이미지를 생성하는 데 사용되며, 인페인팅(inpainting), 아웃페인팅(outpainting), 이미지-이미지 번역과 같은 다양한 작업에도 응용될 수 있습니다. 이 블로그 글에서는 Stable Diffusion의 개요, 개발 배경, 기술적 구조, 사용 사례 및 한계점 등을 다루겠습니다.

"Stable Diffusion의 인페인팅과 아웃페인팅: 이미지 편집의 혁신적인 기술"

 

1) Stable Diffusion의 개요

 

Stable Diffusion은 Stability AI의 대표 제품으로, 현재 인공지능 붐의 일환으로 간주되고 있습니다. 이 모델은 CompVis Group과 Ludwig Maximilian University of Munich의 연구자들이 주도하여 개발되었으며, Runway와 Stability AI의 후원으로 만들어졌습니다. Stable Diffusion은 라텐트 디퓨전 모델(latent diffusion model)이라는 딥러닝 아키텍처를 사용하며, 코드와 모델 가중치가 공개되어 대부분의 소비자 하드웨어에서도 실행할 수 있습니다. 이는 클라우드 서비스로만 접근할 수 있었던 기존의 독점적인 텍스트-이미지 모델들과는 차별화되는 특징입니다.

 

2) 개발 배경

 

Stable Diffusion은 독일의 Ludwig Maximilian University in Munich와 Heidelberg University의 연구자들에 의해 개발된 Latent Diffusion 프로젝트에서 유래되었습니다. 이 프로젝트의 주요 연구자들인 Robin Rombach, Andreas Blattmann, Patrick Esser, Dominik Lorenz는 이후 Stability AI에 합류하여 Stable Diffusion의 후속 버전을 출시했습니다. 모델의 기술 라이선스는 Ludwig Maximilian University of Munich의 CompVis 그룹에 의해 배포되었으며, 주요 개발은 Runway의 Patrick Esser와 CompVis의 Robin Rombach가 이끌었습니다. 또한, EleutherAI와 LAION이라는 독일 비영리 단체도 이 프로젝트에 중요한 지원을 제공했습니다.

 

3) 기술적 구조

 

> 라텐트 디퓨전 모델

Stable Diffusion은 라텐트 디퓨전 모델(LDM)이라는 딥러닝 아키텍처를 사용합니다. 디퓨전 모델은 2015년에 처음 도입되었으며, 가우시안 노이즈를 제거하는 연속적인 오토인코더의 시퀀스로 생각할 수 있습니다. Stable Diffusion은 3가지 주요 구성 요소로 이루어져 있습니다: 변분 오토인코더(VAE), U-Net, 텍스트 인코더(선택 사항). VAE 인코더는 이미지를 픽셀 공간에서 더 작은 차원의 라텐트 공간으로 압축하여 이미지의 근본적인 의미를 포착합니다. U-Net 블록은 레스넷(ResNet) 백본으로 구성되어 있으며, 가우시안 노이즈를 역방향으로 제거하여 라텐트 표현을 얻습니다. 마지막으로 VAE 디코더는 라텐트 표현을 픽셀 공간으로 변환하여 최종 이미지를 생성합니다.

> 텍스트 조건화

Stable Diffusion의 디노이징 단계는 텍스트, 이미지 또는 다른 형태의 조건에 따라 유연하게 조정될 수 있습니다. 텍스트 조건화의 경우, CLIP ViT-L/14 텍스트 인코더를 사용하여 텍스트 프롬프트를 임베딩 공간으로 변환합니다. 이러한 조건화 데이터는 크로스 어텐션 메커니즘을 통해 디노이징 U-Net에 노출됩니다. LDM의 주요 장점으로는 훈련과 생성 과정에서의 계산 효율성이 꼽힙니다.

 

4) 주요 기능 및 사용 사례

 

> 텍스트-이미지 생성

Stable Diffusion의 주요 기능 중 하나는 텍스트 설명을 바탕으로 새로운 이미지를 생성하는 것입니다. 사용자는 텍스트 프롬프트와 샘플링 옵션을 제공하여 모델이 프롬프트에 대한 해석을 기반으로 이미지를 생성할 수 있습니다. 생성된 이미지는 투명한 디지털 워터마크로 태그되어, 이미지가 Stable Diffusion에 의해 생성되었음을 식별할 수 있습니다.

> 이미지 수정

Stable Diffusion은 기존 이미지를 텍스트 프롬프트에 따라 부분적으로 수정할 수 있는 기능도 제공합니다. 이러한 기능은 인페인팅과 아웃페인팅으로 나뉩니다. 인페인팅은 사용자가 제공한 레이어 마스크에 의해 기존 이미지의 일부를 선택적으로 수정하는 방법이며, 아웃페인팅은 기존 이미지의 경계를 확장하여 빈 공간을 텍스트 프롬프트에 따라 채우는 방법입니다. Stable Diffusion 2.0에서는 입력 이미지의 깊이를 추론하고, 텍스트 프롬프트와 깊이 정보를 기반으로 새로운 출력을 생성하는 "depth2img" 모델도 도입되었습니다.

> ControlNet

ControlNet은 추가 조건을 통합하여 디퓨전 모델을 관리하는 신경망 아키텍처입니다. ControlNet은 신경망 블록의 가중치를 "잠긴" 복사본과 "훈련 가능한" 복사본으로 복제합니다. 훈련 가능한 복사본은 원하는 조건을 학습하는 반면, 잠긴 복사본은 원래 모델을 보존합니다. 이러한 접근 방식은 작은 이미지 쌍 데이터셋으로 훈련하더라도 생산 준비된 디퓨전 모델의 무결성을 손상시키지 않도록 합니다.

 

> AnimateDiff로 창의적인 얼굴 표정과 옷 변화 영상 만들기

"스테이블 디퓨전과 AnimateDiff로 창의적인 얼굴 표정과 옷 변화 영상 만들기"

 

5) Stable Diffusion XL 및 SD 3.0

 

> SD XL

SD XL 버전은 기존 아키텍처를 확장하여 더 큰 UNet 백본, 더 큰 크로스 어텐션 컨텍스트, 두 개의 텍스트 인코더를 사용하며, 다양한 비율의 이미지를 훈련합니다. SD XL Refiner는 SD XL과 동일한 아키텍처를 사용하지만, 텍스트 조건부 img2img를 통해 기존 이미지에 세밀한 디테일을 추가하도록 훈련되었습니다.

> SD 3.0

SD 3.0은 완전히 새로운 백본 아키텍처를 도입합니다. UNet이 아닌 Rectified Flow Transformer를 사용하여 이미지를 생성하며, 텍스트 인코딩, 변환된 텍스트 인코딩 및 이미지 인코딩(라텐트 공간에서)을 위한 세 가지 "트랙"을 갖추고 있습니다. 변환된 텍스트 인코딩과 이미지 인코딩은 각 Transformer 블록에서 혼합됩니다. 이러한 멀티모달 디퓨전 Transformer(MMDiT) 아키텍처는 텍스트와 이미지 인코딩을 내부적으로 혼합하여 생성 결과를 개선합니다.

 

6) 한계점

 

Stable Diffusion은 특정 시나리오에서 정확성 및 이미지 품질 저하 문제를 겪을 수 있습니다. 초기 모델은 512×512 해상도의 이미지로 훈련되었기 때문에, 이 해상도에서 벗어나는 이미지의 품질이 저하될 수 있습니다. 또한, LAION 데이터베이스의 데이터 품질 문제로 인해 인체 사지와 얼굴 생성에서 어려움을 겪기도 합니다. 예를 들어, 인체 사지나 복잡한 얼굴 표현의 경우 모델이 충분히 학습되지 않아 오류가 발생할 수 있습니다. 이를 해결하기 위해 SDXL 버전 1.0은 1024x1024 해상도를 도입하고, 사지 및 텍스트 생성에서의 개선을 이루었습니다.

또한, 사용자 맞춤화를 위해 추가 훈련이 필요할 수 있습니다. 특정 사용 사례에 맞춘 데이터를 제공하여 모델을 추가로 훈련하면 더 정확한 출력을 얻을 수 있지만, 이 과정은 고품질의 새로운 데이터가 필요합니다. 예를 들어, 와이푸(waifu) 생성에 특화된 모델을 훈련하려면 최소 30GB의 VRAM이 필요하여 일반 소비자 GPU에서는 어렵습니다.

 

자세히 알아보기

Stable Diffusion - Wikipedia

 

7) 결론

 

Stable Diffusion은 텍스트-이미지 생성 기술에서 혁신을 이룬 모델로, 공개된 코드와 모델 가중치를 통해 누구나 접근할 수 있습니다. 다양한 응용 분야에서 사용될 수 있으며, 인공지능 이미지 생성의 새로운 가능성을 열어줍니다. 그러나 특정 시나리오에서의 한계와 추가 훈련의 필요성 등을 고려할 때, 모델을 최대한 활용하기 위해서는 사용자의 이해와 추가적인 조정이 필요합니다. Stable Diffusion은 앞으로도 지속적인 발전을 통해 인공지능 이미지 생성 분야에서 중요한 역할을 할 것입니다.

 

 

"스테이블 디퓨전, AnimateDiff 사용 연습 1)"

"스테이블 디퓨전, AnimateDiff 사용 연습 1)"