Training Krea 2: What matters in generative model training — Sangwu Lee, Krea.ai

한 줄 핵심

Krea 2의 성능은 모델 구조보다 데이터 품질·캡셔닝·필터링·재균형 같은 데이터 파이프라인 설계와 빠른 반복 체계에 더 크게 좌우되며, 제작용 모델에서는 일관성과 다양성의 균형을 어떻게 잡느냐가 핵심이다.

시간별 요약

1. 0:00
   Krea 2 medium 오픈소스 공개 Krea 2의 medium 버전을 오픈소스로 공개했으며, 오늘의 초점은 인프라보다 연구 관점에서 데이터 큐레이션과 학습 방식, 그리고 성능을 가장 크게 끌어올린 요인들을 정리하는 데 있다.
2. 1:40
   생산 모델에서의 일관성과 다양성 대형 생산용 이미지 모델은 느리더라도 안정적인 출력을 중시해 결과가 매우 일관적이지만 다양성이 줄어드는 경향이 있다. 반대로 Krea는 빠른 생성과 탐색성을 중시해, 아직 원하는 비주얼이 명확하지 않은 창작 워크플로에 더 적합한 방향을 추구한다.
3. 3:23
   확산 모델 학습과 latent space의 이유 확산 모델은 이미지에 노이즈를 더한 뒤 이를 복원하도록 학습시키는 방식이며, 실제 생산 환경에서는 autoencoder를 써서 latent space에서 학습하는 latent diffusion model이 주류다. 이는 raw pixel 전체를 다루는 것보다 계산 비용이 훨씬 낮고, transformer 기반 확산 모델의 확장성을 확보하기 쉽기 때문이다.
4. 5:59
   데이터가 사실상 전부인 이유 아키텍처를 정한 뒤에는 결국 모델에 무엇을 먹이느냐가 품질을 좌우하며, 특히 스타일 다양성을 유지하는 데이터 선택이 중요하다. 일반적인 이미지 품질 점수만으로 걸러내면 CRT 같은 특이한 미학까지 제거될 수 있어, 좋은 데이터의 정의를 더 넓게 잡아야 한다.
5. 6:53
   나쁜 데이터와 AI 이미지 배제 중복 샘플과 과대표현 개념은 deduplication과 clustering 기반 재균형으로 처리하며, 캡셔닝이 중요한 요소를 놓쳐 생기는 편향도 별도로 관리한다. 특히 AI 이미지는 모델에 강한 스타일 편향을 남겨 결과가 ChatGPT나 Nano Banana Pro 같은 미학으로 수렴하기 쉬워 최대한 배제한다.
6. 8:34
   캡셔닝 파이프라인과 흰 벽의 그림 이미지에서 OCR로 텍스트를 먼저 추출하고, 중요 메타데이터를 추가한 뒤, vision language model로 상세 캡션을 생성해 학습용 prompt로 재작성한다. 이 과정에서 그림이 벽에 걸려 있고 흰 배경이라는 사실을 놓치면 출력이 계속 왜곡되므로, 겉으로는 정상인 이미지도 필터링 대상이 될 수 있다.
7. 10:15
   10억 이미지 규모의 중복 제거와 저비용 분류기 대규모 데이터셋에서는 먼저 pHash나 MD5로 기본 중복을 제거하고, 이후 SSCD·SigLip 같은 embedding 기반 방법으로 의미상 유사한 near-duplicate를 정리한다. 또 대형 VLM 판단을 작은 SigLip급 분류기로 증류해, 10억 장 규모를 현실적인 비용으로 필터링할 수 있게 만든다.
8. 11:56
   비지도 태깅 시스템으로서의 sparse autoencoder sparse autoencoder는 이미지 모델 내부 특징을 활성화 패턴으로 드러내므로, horse·black and white·blurry 같은 속성을 자동 태깅하는 도구처럼 쓸 수 있다. 이 특징을 이용하면 watermark, 테두리 아티팩트, 원치 않는 패턴처럼 필터링하거나 과소/과대샘플링할 항목을 비지도 방식으로 찾을 수 있다.
9. 13:39
   Wikipedia PageRank로 지식 커버리지 확보 Wikipedia 전체를 기준으로 개념의 PageRank를 계산해 중요한 개념을 추리고, 그 키워드가 데이터셋에 포함되도록 텍스트 검색과 embedding 검색을 돌린다. 이렇게 하면 세계 지식 커버리지를 넓힐 수 있고, 예상치 못한 흥미로운 개념까지 함께 포착할 수 있다.
10. 14:35
    LLM에서 빌려온 학습 파이프라인 학습은 256에서 1K까지의 저해상도→고해상도 pre-training으로 시작해, mid-training, supervised fine-tuning, preference optimization, reinforcement learning 순서로 진행된다. 여기에 prompt expander까지 붙여 길고 상세한 prompt를 만들고, 이후에는 expert를 나눠 능력을 합치는 multi-expert distillation도 시도한다.
11. 18:54
    빠른 반복에 실제로 중요했던 것 빠르게 반복하려면 인프라, 데이터, 단순한 설계, 적은 하이퍼파라미터, 높은 효율이 중요하며, 특히 데이터는 바꾸기 어렵지만 한 번 잘 만들면 오래 가는 자산이다. LLM 연구를 적극 재사용해 커널과 아이디어를 가져오는 것도 개발 속도를 높이는 데 큰 도움이 된다.
12. 19:46
    스택은 다시 DALL-E 2 쪽으로 역전되고 있다 prompt expander와 diffusion 조합은 생성용 conditioning을 따로 만들고 이를 이미지 모델에 넣는 구조라서, 전체적으로 DALL-E 2와 비슷한 방향으로 다시 수렴하고 있다. 장기적으로는 VAE와 text encoder를 줄이고 단일한 clean transformer로 단순화하는 방향, 그리고 bounding box나 scene graph 같은 더 강력한 시각 조건 표현으로 확장하는 방향이 유망하다.

실무 인사이트

• 이미지 생성 모델의 성능 개선은 모델 자체보다 데이터 정제와 캡션 품질에서 더 큰 폭으로 나올 수 있으므로, 학습 전에 필터·재균형·중복 제거 전략을 먼저 설계해야 한다.
• 제작용 모델은 무조건적인 고품질보다 일관성과 다양성의 균형이 중요하므로, 실제 사용 시나리오가 탐색인지 확정인지에 따라 목표 분포를 다르게 잡아야 한다.
• 대규모 필터링은 대형 모델의 판단을 작은 분류기로 증류해 비용을 낮추는 방식이 실용적이며, 데이터 스케일이 커질수록 이 구조가 필수에 가깝다.