직접 만들고, 내 생각을 더하다
세상의 트렌드를 읽고 싶어하는 한 사람으로, 목공 DIY를 좋아하고, AI, n8n을 사용해 자동화 프로세스를 배우고 있다.

ComfyUI 처음 시작하기: Stability Matrix로 쉽게 설치하는 방법

이 글은 ComfyUI와 Stability Matrix를 사용한 AI 이미지 생성 초보자 가이드입니다. 30분 안에 설치 완료하여 나만의 AI 이미지 생성 스튜디오를 만드는 방법을 단계별로 설명합니다.
블루오리
블루오리0 mins read

 

"머릿속 상상 이미지를 클릭 몇 번으로 현실로 만들 수 있다면?"

정말 솔직히 말해보겠다.
처음 ComfyUI로 만든 이미지를 봤을 때 소름이 돋았다고 할까? "이게 정말 컴퓨터가 만든 거야?" 하면서 말이다. 하지만 설치 과정에서는... 음, 좀 다른 감정을 느꼈다. 😅



복잡한 명령어, 끝없는 에러 메시지, 어디서부터 시작해야 할지 막막함... 혹시 여러분도 AI 이미지 생성에 관심은 있지만 "기술적으로 너무 어려울 것 같아서" 망설이고 계신가?

그런 분들을 위해 이 글을 준비했다.
Stability Matrix + ComfyUI 조합으로 누구나 30분 안에 나만의 AI 이미지 생성 스튜디오를 만들 수 있다. 코딩 한 줄 몰라도, 컴퓨터 전문가가 아니어도 괜찮다.
물론, Comfyui가 돌아갈 GPU 성능은 갖추고 있어야 한다는 전제는 깔린다.

🎨 ComfyUI가 대체 뭐길래?

ComfyUI는 노드 기반 AI 이미지 생성 도구이다.
쉽게 말해서 레고 블록처럼 각각의 기능을 연결해서 원하는 이미지를 만드는 프로그램이라고 할 수 있다.

다른 AI 이미지 생성 도구들과 비교해보면:

  • Midjourney: 간단하지만 커스터마이징 한계, 비용 부담
  • DALL-E: 사용하기 쉽지만 비용 부담
  • ComfyUI: 초기 설정은 복잡하지만 무료이면서 무한한 확장성

ComfyUI의 가장 큰 매력은 완전한 제어권이다. 이미지 생성 과정의 모든 단계를 내가 원하는 대로 조절할 수 있다는 것이다. 마치 포토샵에서 레이어를 조작하듯이 말이다. 
그리고, 여기서는 설명하지 않지만 n8n 워크플로우에 ComfyUI 노드를 넣어서 자동화 도구로 사용할 수 있다는 장점이 있다.

실제로 ComfyUI로 뭘 할 수 있을까?

  • 텍스트로 이미지 생성 (Text-to-Image)
  • 이미지를 다른 스타일로 변환 (Image-to-Image)
  • 얼굴만 바꾸기 (Face Swap)
  • 배경 제거 및 교체
  • 애니메이션 생성
  • 심지어 비디오 생성까지!

🛡️ 왜 Stability Matrix를 사용해야 할까?

ComfyUI를 직접 설치하려고 시도해본 분들은 아실 것이다.
Python 환경 설정, CUDA 드라이버, 각종 의존성 라이브러리... 정말 복잡하다.

Stability Matrix는 이 모든 복잡한 과정을 원클릭으로 해결해주는 마법의 도구이다.

Stability Matrix의 핵심 장점:

  1. 간편한 설치: 클릭 몇 번으로 모든 설정 완료
  2. 환경 관리: 각 AI 도구별로 독립적인 환경 제공
  3. 자동 업데이트: 새 버전이 나오면 자동으로 알림
  4. 모델 관리: AI 모델들을 쉽게 다운로드하고 관리
  5. 충돌 방지: 다른 프로그램과의 충돌 없이 안전하게 실행

나도 처음에는 "굳이 이런 도구가 필요할까?" 했는데, 직접 써보니 정말 편리하더라.
특히 여러 AI 도구를 함께 사용할 때는 필수라고 생각한다. ComfyUI를 사용하다보니, Flux, SD1.5, HiDream, Wan2.1, Hunyuan3D 등 다양한 모델들을 다운로드 받게 되어 사용하는 SDD 용량을 추가로 확보해야 했다. 이런 부분을 고려했을때도 Stability Matrix로 관리하는 것에 장점이 있었다. 

📦 Stability Matrix 설치하기

1단계: 시스템 요구사항 확인

시작하기 전에 내 컴퓨터가 준비되었는지 확인해보자:

최소 요구사항:

  • Windows 10/11, macOS, 또는 Linux
  • RAM 8GB 이상 (16GB 권장)
  • 저장공간 20GB 이상
  • NVIDIA GPU (CPU로도 가능하지만 너무 느림, GTX 1060 이상 권장하지만 램 크기가 더 큰 GPU추천)

참고: GPU가 없어도 CPU로 실행 가능하지만, 이미지 생성 시간이 훨씬 오래 걸린다. 즉, 화병난다.

2단계: Stability Matrix 다운로드

  1. Stability Matrix 공식 사이트에 접속
  2. 운영체제에 맞는 버전 다운로드:
    • Windows: .msi 파일
    • macOS: .dmg 파일
    • Linux: .AppImage 파일

3단계: 설치 과정

Windows 사용자:

  1. 다운로드한 .msi 파일을 더블클릭
  2. 설치 마법사 따라가기
  3. "모든 사용자용 설치" 체크 (권한 문제 방지)
  4. 설치 완료 후 바탕화면에 생긴 아이콘 클릭

macOS 사용자:

  1. .dmg 파일 열기
  2. Stability Matrix를 Applications 폴더로 드래그
  3. 처음 실행 시 "확인되지 않은 개발자" 경고 나오면 시스템 환경설정 → 보안 및 개인정보보호에서 허용

4단계: 초기 설정

Stability Matrix를 처음 실행하면:

  1. 데이터 폴더 위치 선택

    • 기본값 사용 권장 (충분한 저장공간 있는 드라이브)
    • SSD 사용 시 더 빠른 속도

  2. GPU 감지 확인

    • NVIDIA GPU가 있다면 자동으로 감지됨
    • CUDA가 설치되지 않았다면 자동으로 설치 진행

🎮 ComfyUI 설치하기

이제 진짜 메인 이벤트다!
Stability Matrix 안에서 ComfyUI를 설치해보도록 하겠다.

1단계: ComfyUI 패키지 선택

  1. Stability Matrix 실행
  2. 왼쪽 사이드바에서 "Packages" 클릭
  3. 사용 가능한 패키지 목록에서 "ComfyUI" 찾기 (Stable Diffusion, Fooocus 등 다양한 이미지 생성 패키지들이 있으니, 원하는 패키지가 있으면 같이 설치할 수 있다)
  4. "Install" 버튼 클릭

2단계: 설치 옵션 설정

설치 창이 뜨면:

  1. 설치 위치: 기본값 사용 권장
  2. 버전 선택: "Stable" 버전 선택 (안정성)
  3. Python 환경: "Create new environment" 선택
  4. 추가 옵션:
    • "Install PyTorch for CUDA" 체크 (NVIDIA GPU 사용자)
    • "Download required models" 체크

3단계: 자동 설치 진행

이제 마법이 시작된다:

  1. "Install" 버튼 클릭
  2. 자동으로 진행되는 과정:
    • Python 환경 생성
    • ComfyUI 다운로드
    • 필요한 라이브러리 설치
    • 기본 AI 모델 다운로드

시간: 인터넷 속도에 따라 10-30분 소요 (기본 모델들이 용량이 꽤 크다)

설치 진행 중에는 커피 한 잔 하시면서 기다리면 될까? ☕

4단계: 설치 완료 확인

설치가 완료되면:

  • "Launch" 버튼이 활성화됨
  • Package 목록에서 ComfyUI 상태가 "Installed"로 표시

🚀 첫 번째 이미지 생성해보기

드디어 기다려온 순간이다! 첫 AI 이미지를 만들어보자.

1단계: ComfyUI 실행

  1. Stability Matrix에서 ComfyUI 선택
  2. "Launch" 버튼 클릭
  3. 웹브라우저가 자동으로 열리고 ComfyUI 인터페이스 표시
  4. 주소: http://localhost:8188 [또는 127.0.0.1:8188] (로컬에서만 접근 가능)

2단계: 기본 워크플로우 이해

ComfyUI 화면을 보면 여러 박스들이 연결되어 있다
(메뉴에 있는 워크플로 메뉴에서 템플릿 탐색을 통해 기존 템플릿을 불러오면 사용하기 편하다):

  • CLIP Text Encode (Prompt): 생성하고 싶은 이미지 설명
  • Checkpoint Loader: AI 모델 선택
  • Empty Latent Image: 이미지 크기 설정
  • KSampler: 이미지 생성 엔진
  • VAE Decode: 최종 이미지 변환
  • Save Image: 이미지 저장

3단계: 프롬프트 입력

  1. "CLIP Text Encode (Prompt)" 박스 찾기
  2. 텍스트 입력 필드에 원하는 이미지 설명 입력:
예시: "a beautiful sunset over mountains, digital art, highly detailed"

한국어도 가능하지만 영어가 더 정확한 결과를 제공한다.

4단계: 이미지 생성

  1. 화면 오른쪽 "Queue Prompt" 버튼 클릭
  2. 진행 상황을 화면 상단에서 확인
  3. 생성 완료되면 "Save Image" 박스에 결과 이미지 표시

첫 번째 이미지 생성 시간: GPU에 따라 30초~5분

🔧 자주 발생하는 문제와 해결법

문제 1: "CUDA out of memory" 오류

원인: GPU 메모리 부족 해결법:

  • 이미지 크기 줄이기 (512x512로 시작)
  • 다른 GPU 사용 프로그램 종료
  • Steps 수 줄이기 (20-30 정도)

문제 2: 이미지 생성이 너무 느림

원인: CPU로 실행되고 있음 해결법:

  • GPU 드라이버 최신 버전으로 업데이트
  • Stability Matrix에서 CUDA 설정 확인
  • Task Manager에서 GPU 사용량 확인

문제 3: 모델을 찾을 수 없다는 오류

원인: 기본 모델 다운로드 실패 해결법:

  • Stability Matrix에서 "Model Browser" 사용
  • 인기 모델: Stable Diffusion 1.5, SDXL 다운로드

문제 4: 웹 인터페이스가 열리지 않음

원인: 포트 충돌 또는 방화벽 해결법:

  • 다른 브라우저로 시도
  • http://127.0.0.1:8188 직접 입력
  • 방화벽에서 ComfyUI 허용

🎯 다음 단계: ComfyUI 마스터하기

첫 이미지 생성에 성공했다면, 이제 진짜 재미있는 부분이 시작된다!

추천 학습 순서:

  1. 기본 설정 익히기

    • 이미지 크기 조절
    • Steps, CFG Scale 실험
    • 다양한 프롬프트 시도

  2. 새로운 모델 시도

    • 사실적인 이미지: SDXL
    • 애니메이션 스타일: Anything V3
    • 특수 효과: ControlNet

  3. 고급 기능 탐험

    • Image-to-Image 변환
    • Inpainting (부분 수정)
    • LoRA 모델 활용

  4. 커뮤니티 참여

유용한 자료들:

  • ComfyUI 공식 문서: comfy.org
  • 워크플로우 공유: ComfyUI 커뮤니티에서 다른 사용자들이 만든 워크플로우 다운로드
  • YouTube 튜토리얼: "ComfyUI tutorial" 검색하면 많은 한국어 강의 찾을 수 있음

💡 마무리: 여러분의 창작 여정이 시작된다

축하한다! 🎉 이제 여러분은 ComfyUI + Stability Matrix 초보자 가이드를 완주했다.

처음에는 복잡해 보였던 AI 이미지 생성이 이제 클릭 몇 번으로 가능해졌는가?
이건 단지 시작일 뿐이다. ComfyUI의 진짜 매력은 사용하면 할수록 더 깊이 느낄 수 있을 것이다.

오늘 당장 해볼 수 있는 것들:

  • 좋아하는 영화 캐릭터를 다른 스타일로 그려보기
  • 꿈에서 본 풍경을 현실로 만들어보기
  • 반려동물을 슈퍼히어로로 변신시켜보기

기억하자.
모든 전문가도 처음에는 초보자였다.
실패를 두려워하지 말고 계속 실험해보자.
가장 멋진 작품들은 보통 "이런 것도 가능할까?" 하는 호기심에서 탄생하니까.

혹시 설치 과정에서 문제가 생기거나 궁금한 점이 있으시면, ComfyUI 커뮤니티는 정말 친절하니, 주저하지 마시고 질문해보도록 하자!

그럼 이제 여러분만의 AI 창작 스튜디오에서 멋진 작품들을 만들어보시길 바란다.
여러분의 상상력이 현실이 되는 그 순간을 응원하겠다! ✨

Related Posts

댓글 쓰기