AI 이미지 프롬프트 작성, 이제 쉽게 하자

Florence2와 FLUX Prompt Generator로 시작하는 스마트한 이미지 생성 워크플로우

당신도 이런 경험 있으신가?

ChatGPT에게 "비 오는 날 카페에서 책 읽는 여성" 이미지를 만들어달라고 했는데, 나온 결과는 영 아니다. 다시 디테일하게 설명하려니 뭐라고 말해야 할지 막막하다. 유료 이미지 사이트에는 딱 원하는 느낌의 사진이 있는데, 내가 만들려면 도대체 어떤 프롬프트를 써야 할까?

AI 이미지 생성 기술이 발전하면서 이제 누구나 원하는 이미지를 만들 수 있는 시대가 왔다.
하지만 정작 내가 원하는 그 이미지를 정확히 만들어내는 것은 생각보다 어려운 것이 사실이다.
보고서에 들어갈 전문적인 이미지나, 상세페이지에 쓸 제품 사진을 만들려고 할 때마다 이 문제에 부딪히게 된다.

무료 이미지는 퀄리티가 아쉽고, 유료 이미지는 비용 부담이 있다. AI로 직접 만들면 되는데, 문제는 프롬프트를 어떻게 작성하느냐에 있다.
이 글에서는 내가 직접 실험하며 찾아낸 해결책, ComfyUI의 Florence2와 FLUX Prompt Generator를 소개하겠다.

<ChatGPT의 프롬프트> <Florence2의 프롬프트>

이 두 이미지를 먼저 비교해 보면, 첫번째 이미지는 등이 정말 많다. 그에 반해 두번째 이미지는 원본 이미지와 동일한 색상의 등이 하나만 있다. 두번째 이미지가 주변 환경도 원본과 더 비슷하게 나온 것을 알 수 있다.

원본 이미지는 다음과 같은데 원본 이미지와 위 이미지들과의 큰 차이점은 라면의 불일 것이다. 그 부분을 프롬프트로 뽑아내지 못한 것 같다. 나머지 부분들은 거의 대부분 반영한 것 같아, 마음에 든다.

01. 문제의 시작: 프롬프트가 답답하다

🎯 내가 원하는 이미지 vs 나오는 이미지

마음속으로는 완벽한 이미지가 그려진다.
따뜻한 조명, 특정 각도의 구도, 자연스러운 포즈...
하지만 ChatGPT나 Gemini에게 이걸 설명하려니 막막하다.
"따뜻한 느낌으로", "자연스럽게"라고 하면 너무 추상적이고, 그렇다고 디테일하게 설명하자니 어디서부터 어떻게 말해야 할지 감이 안 잡힌다.

예를 들어 프레젠테이션용 이미지를 만들려고 할 때, 유료 이미지 사이트에서 딱 맘에 드는 이미지를 발견했다고 하자. "아, 이런 느낌!" 하지만 실제로 AI에게 이런 이미지를 만들어달라고 하면... 전혀 다른 결과물이 나오기 쉽다.

💡 핵심 문제점

내 머릿속 이미지를 말로 설명하기 어렵다
AI가 만든 일반적인 프롬프트는 너무 평범하다
원하는 참고 이미지는 있는데 어떻게 재현할지 모른다
구도, 조명, 색감, 분위기 등 세부 요소를 컨트롤하기 힘들다

02. 첫 번째 해결책: Florence2로 이미지→프롬프트 변환

🔍 이미지를 보고 프롬프트를 만들어주는 AI

고민 끝에 찾아낸 첫 번째 솔루션은 Florence2였다.
Microsoft에서 만든 이 모델의 핵심 기능은 이미지를 보고 그 이미지를 생성할 수 있는 프롬프트를 만들어주는 것이다.

처음에는 웹사이트에서 이미지 업로드하면 프롬프트를 만들어주는 서비스를 사용했다. 결과는 괜찮았지만 무료 사용에 제한이 있었기 때문에 불편했다. 그래서 ComfyUI에서 직접 사용할 수 있는 노드를 찾아봤다.

⚙️ ComfyUI에 Florence2 설치하기

ComfyUI Manager를 통해 ComfyUI-Florence2 노드를 검색해서 설치할 수 있다.
하지만 저는 처음 설치할 때 Python 패키지 버전 충돌 문제로 조금 애를 먹었다.

⚠️ 설치 시 주의사항

Florence2는 특정 버전의 transformers와 torch가 필요하다. 만약 설치 중 에러가 발생한다면, ComfyUI의 Python 환경에서 패키지 버전을 확인해 보라. Claude나 ChatGPT에게 에러 메시지를 보여주면 대부분 해결 방법을 찾을 수 있을 것이다.

🎨 실전 활용법

Florence2의 강력한 점은 다양한 캡션 모드를 제공한다는 것이다:

<CAPTION> - 한 줄 간단 설명
<DETAILED_CAPTION> - 구조화된 상세 설명 (피사체 위치 포함)
<MORE_DETAILED_CAPTION> - 매우 상세한 설명 (프롬프트 생성에 최적)
<GENERATE_TAGS> - Danbooru 스타일 태그 생성
<MIXED_CAPTION> - 상세 설명 + 태그 혼합 (FLUX 모델에 완벽)

나는 주로 <MORE_DETAILED_CAPTION> 모드를 사용한다. 이 모드는 이미지의 구도, 조명, 색감, 인물의 포즈와 표정, 배경 디테일까지 놀라울 정도로 정확하게 분석해준다.

예시 결과:
입력: 카페에서 노트북으로 작업하는 여성 사진

Florence2 출력:
"A professional photograph of a young woman in her late 20s working on a silver laptop at a wooden cafe table, warm afternoon sunlight streaming through large windows creating soft shadows, wearing a casual cream-colored sweater, focused expression, shallow depth of field with blurred cafe background, natural color grading, professional photography, 50mm lens, f/1.8"

이렇게 생성된 프롬프트를 그대로 Qwen Image 모델이나 FLUX 모델에 넣으면, 원본 이미지와 놀랍도록 비슷한 결과물이 나온다. 아무것도 없는 상태에서 AI에게 프롬프트를 만들어달라고 했을 때보다 훨씬 좋은 품질이다.

✨ 실제 사용 후기

내가 직접 실험해본 결과, Florence2는 특히 실사 이미지에 강했다. 인물의 연령대, 표정, 의상, 조명 방향, 카메라 설정까지 세밀하게 파악한다. 물론 100% 완벽하진 않다. 가끔 세부 요소를 놓치거나 잘못 해석할 때도 있죠. 하지만 기본 프레임워크로는 충분히 훌륭하다.

특히 좋았던 점은 기술적인 카메라 설정(렌즈, 조리개, 구도)까지 추론해준다는 것이다. "50mm lens", "f/1.8", "shallow depth of field" 같은 표현들이 자동으로 포함되면서 훨씬 전문적인 이미지가 생성된다.

03. 두 번째 해결책: FLUX Prompt Generator로 세부 요소 추가

🎛️ 원하는 요소를 선택해서 추가하기

Florence2로 기본 프롬프트를 만들었다면, 이제 FLUX Prompt Generator로 원하는 요소들을 추가할 차례이다. 이 노드의 가장 큰 장점은 구조화된 방식으로 이미지 요소를 선택할 수 있다는 점이다.

📋 사용 가능한 구성 요소

FLUX Prompt Generator는 JSON 파일 기반으로 작동하며, 다음과 같은 카테고리를 제공한다:

주요 구성 요소:

artform - Photography, Digital Art, Oil Painting, Watercolor 등
photo_type - Portrait, Landscape, Macro, Street Photography 등
body_types - Slim, Athletic, Curvy, Muscular 등
roles - Business Professional, Artist, Student, Chef 등
hairstyles - Long Hair, Short Bob, Curly, Braided 등
clothing - Business Suit, Casual Dress, Sports Wear 등
photography_styles - Cinematic, Documentary, Fashion, Minimalist 등
lighting - Golden Hour, Studio Lighting, Natural Light, Dramatic 등
composition - Rule of Thirds, Symmetrical, Leading Lines 등
background - Blurred, Solid Color, Urban, Nature 등
facial_hair, skin_tone, age_group, ethnicity 등
accessories - Glasses, Hat, Jewelry, Watch 등
expression - Smiling, Serious, Thoughtful, Confident 등

🔧 커스터마이징: default_tags.json 수정하기

제가 가장 유용하게 사용한 기능은 default_tags.json 파일 편집이다. 자주 사용하는 표현이나 스타일이 있다면, 이 파일에 추가해두면 드롭다운 메뉴에서 바로 선택할 수 있다.

💡 실전 팁: 나만의 프리셋 만들기

ComfyUI 설치 폴더의 custom_nodes/Flux-Prompt-Generator/에서 JSON 파일들을 찾을 수 있다. 나는 자주 쓰는 조명 설정("soft window light from left"), 색감("warm muted tones"), 분위기("professional yet approachable") 같은 표현들을 추가해뒀다.

⚡ 실제 워크플로우 예시

실제로 내가 사용하는 워크플로우는 이렇다:

참고 이미지 준비 - 원하는 느낌의 이미지를 찾는다
Florence2로 분석 - <MORE_DETAILED_CAPTION> 모드로 기본 프롬프트 생성
FLUX Prompt Generator로 커스터마이징
- lighting을 "golden hour"로 변경
- expression을 "curious"로 설정
- background를 "Natural daylight, eye-level shot, soft focus"로 조정
최종 프롬프트로 이미지 생성 - Qwen Image 또는 FLUX 모델 사용

🎯 왜 이 조합이 효과적인가?

Florence2와 FLUX Prompt Generator를 함께 사용하면 정확성과 유연성을 동시에 얻을 수 있다. Florence2가 이미지의 기본 구조와 분위기를 잡아주고, FLUX Prompt Generator가 세부 요소를 조정하는 방식이다.

특히 비즈니스 문서나 프레젠테이션용 이미지를 만들 때 이 조합이 빛을 발한다. 전문적이면서도 일관된 스타일의 이미지를 계속 생성할 수 있기 때문이다.

04. 실전 적용 사례와 팁

📊 Case 1: 보고서용 전문 이미지

상황: 분기별 실적 보고서에 들어갈 비즈니스 미팅 이미지가 필요했다. 무료 이미지는 진부하고, 유료 이미지는 우리 회사 분위기와 안 맞았다.

해결 과정:

비슷한 느낌의 Unsplash 이미지를 찾음
Florence2로 프롬프트 추출
FLUX Prompt Generator에서 조정:
- ethnicity를 "East Asian"으로 변경(더 정확하게 하기 위해, default_tags에 "Korean Woman"을 선택-미리 설정해놔야 함)
- age_group을 "young adults"로 설정
- background를 "modern room, large window..."로 선택
결과: 우리 회사 맥락에 딱 맞는 자연스러운 이미지

🛍️ Case 2: 상품 상세페이지

상황: 온라인 쇼핑몰에서 라이프스타일 제품을 판매하는데, 분위기 있는 사용 장면 이미지가 필요했다.

해결 과정:

원하는 제품 컨셉과 비슷한 Pinterest 이미지 수집
Florence2로 여러 이미지 분석하여 공통 패턴 파악
FLUX Prompt Generator로 일관된 스타일 유지:
- lighting: "soft lighting"
- photography_style: "product photography"
- composition: "rule of thirds, eye-level shot, ... "
시리즈로 10여 장 생성 → 비용 절감 + 통일된 브랜드 이미지

⚠️ 주의: 저작권 문제

참고 이미지를 분석하는 것은 괜찮지만, 특정 사진작가의 시그니처 스타일을 그대로 복제하는 것은 윤리적 문제가 될 수 있다. Florence2로 추출한 프롬프트를 바탕으로 나만의 변형을 추가하는 것을 권장한다.

🎨 고급 팁 모음

💎 프롬프트 품질 높이는 꿀팁

네거티브 프롬프트 활용 - "blurry, low quality, distorted, watermark" 등을 네거티브에 넣어 품질 향상
가중치 조절 - 중요한 키워드에 (keyword:1.3) 형식으로 가중치 부여
배치 생성 - 같은 프롬프트로 여러 장 생성 후 베스트 선택
시드값 고정 - 마음에 드는 구도가 나오면 시드값을 고정해서 변형
ControlNet 결합 - Florence2 + ControlNet(포즈/구도)으로 더 정밀한 컨트롤

<예시: 인터넷에서 검색한 이미지들을 가지고 Florence2로 추출한 프롬프트로 생성한 이미지들>

05. 트러블슈팅: 자주 겪는 문제들

🔧 문제 1: Florence2 설치가 안 돼요

증상: ComfyUI Manager에서 설치 후 노드가 안 보이거나 에러 발생

해결법:

ComfyUI의 Python 환경 확인 (대부분 venv 또는 conda)
필요 패키지 수동 설치: pip install transformers torch pillow
특정 버전 충돌 시 Claude/ChatGPT에게 에러 로그 보여주고 해결책 요청
최종 수단: ComfyUI 재설치 (노드는 유지됨)

🎯 문제 2: 프롬프트가 너무 길어요

증상: Florence2가 생성한 프롬프트가 토큰 제한을 초과

해결법:

<DETAILED_CAPTION> 대신 <CAPTION> 모드 사용
생성된 프롬프트에서 덜 중요한 부분 수동 삭제
FLUX 모델은 긴 프롬프트를 잘 처리하므로 FLUX 사용 권장

🖼️ 문제 3: 결과물이 원본과 너무 달라요

원인: Florence2도 완벽하지 않음 + 모델 특성 차이

해결법:

img2img 모드로 원본 이미지를 참조 이미지로 사용
프롬프트 강도(CFG Scale) 조정: 각 모델별로 추천하는 강도 사이에서 조정
여러 번 생성해서 베스트 선택 (Batch Count 활용)
ControlNet의 Canny/Depth 모드로 구도 고정

06. 추천 워크플로우와 리소스

🚀 시작하기 좋은 워크플로우

ComfyUI를 처음 시작한다면 다음 순서로 진행하는 것을 추천한다:

1단계 (기초)
- Florence2만 단독으로 사용해보기
- 다양한 캡션 모드 실험
- 생성된 프롬프트로 바로 이미지 생성
2단계 (응용)
- FLUX Prompt Generator 추가
- 자주 쓰는 설정을 JSON 파일에 저장
- 일관된 스타일로 시리즈 생성
3단계 (고급)
- ControlNet, IP-Adapter 등과 결합
- 자동화 스크립트 작성
- 나만의 커스텀 노드 개발

📚 도움되는 리소스

GitHub 레포지토리:
- ComfyUI-Florence2 - 공식 Florence2 노드
- LayerStyle Advance - 고급 Florence2 기능
- Flux Prompt Generator - 프롬프트 생성기
참고 블로그:
- 카루루의 ComfyUI 가이드
커뮤니티:
- ComfyUI Discord 서버 (영어)
- 국내 AI 이미지 생성 커뮤니티

✨ 마치며: 이제 당신 차례다

AI 이미지 생성에서 가장 어려운 부분이 바로 "내가 원하는 것을 AI에게 정확히 전달하는 것"이었다. Florence2와 FLUX Prompt Generator는 이 문제를 우아하게 해결해준다.

더 이상 막연하게 "따뜻한 느낌", "전문적인 이미지"라고 말하지 않아도 된다.
마음에 드는 이미지를 찾아서 Florence2에 넣으면, 그 이미지의 DNA가 담긴 프롬프트가 나온다.
거기에 FLUX Prompt Generator로 나만의 터치를 더하면, 유료 이미지 부럽지 않은 퀄리티의 커스텀 이미지가 완성된다.

내가 이 도구들을 발견하고 가장 좋았던 점은 시행착오가 줄어들었다는 것이다.
예전에는 프롬프트 하나 만드는 데 20분씩 걸렸다면, 이제는 5분이면 충분하다. 그리고 그 5분 만에 만든 프롬프트의 품질이 훨씬 높다.

보고서, 프레젠테이션, 상세페이지, SNS 콘텐츠... 어디에 쓰든 이제 이미지 걱정은 덜었다. 여러분도 오늘부터 시작해보라. ComfyUI Manager에서 Florence2를 검색하는 것부터가 시작이다.

당신의 다음 프로젝트에 어떤 이미지가 필요하신가? 이제 만들 수 있다. 🎨

AI 이미지 생성 프롬프트 작성, 이제 Comfyui로 쉽게 하자

AI 이미지 프롬프트 작성, 이제 쉽게 하자