엔비디아가 블랙 포레스트 랩스(Black Forest Labs)와 협력해 플럭스.1 콘텍스트(FLUX.1 Kontext) 이미지 모델을 엔비디아(NVIDIA) RTX GPU에 최적화했다고 밝혔다. 이를 통해 복잡한 이미지 생성 워크플로우를 단순화하고, 더 빠르고 유연한 편집 환경을 제공한다.

세계 최고의 AI 연구소 중 하나인 블랙 포레스트 랩스가 이미지 생성의 판도를 바꾸고 있다.

블랙 포레스트 랩스의 플럭스.1 이미지 모델은 탁월한 프롬프트 준수로 고품질의 비주얼을 구현해 전 세계의 주목을 받았다. 이들은 이제 새로운 플럭스.1 콘텍스트 모델로 사용자가 이미지 생성 프로세스를 안내하고 개선하는 방식을 근본적으로 바꾸고 있다.

오늘날 AI 전문가들은 원하는 결과를 얻기 위해 이미지 생성기의 출력을 안내하는 AI 모델인 컨트롤넷(ControlNets)과 여러 모델을 조합한다. 이는 일반적으로 여러 개의 컨트롤넷을 결합하거나, 3D 가이드 이미지 생성용 엔비디아 AI 블루프린트(AI Blueprint)에서 사용된 것과 같은 고급 기술을 활용하는 방식이다. 이 기법에서는 이미지의 구도를 결정하기 위해 3D 장면 초안을 활용한다.

새로운 플럭스.1 콘텍스트 모델은 자연어로 이미지 생성과 편집을 모두 수행하는 단일 모델을 제공해 이 작업을 간소화한다.

엔비디아는 블랙 포레스트 랩스와 협력해 플럭스.1 콘텍스트[dev]를 엔비디아 RTX GPU에 최적화했다. 이를 위해 엔비디아 텐서RT(TensorRT) 소프트웨어 개발 키트와 양자화를 사용했으며, 더 낮은 VRAM 요구 사항으로 더 빠른 추론 속도를 구현했다.

이제 크리에이터와 개발자는 텐서RT 최적화를 통해 RTX 기반 기기에서 더 빠른 편집, 매끄러운 반복 작업, 향상된 제어력을 경험할 수 있다.

플럭스.1 콘텍스트 [dev] 플렉스: 맥락 기반 이미지 생성

지난 5월 블랙 포레스트 랩스는 텍스트와 이미지 프롬프트를 모두 지원하는 플럭스.1 콘텍스트 이미지 모델 제품군을 출시했다.

이 모델을 통해 사용자는 여러 컨트롤넷을 통한 미세 조정이나 복잡한 워크플로우 없이도 참조 이미지에서 작업을 시작하고 간단한 언어로 편집을 안내할 수 있다.

플럭스.1 콘텍스트는 이미지 편집을 위해 제작된 오픈 웨이트(open-weight) 생성 모델이다. 이는 단계별 가이드 생성 프로세스를 사용해 작은 디테일을 다듬거나 전체 장면을 변형하는 등 이미지의 진화 방식을 쉽게 제어한다. 이 모델은 텍스트와 이미지 입력을 모두 지원한다. 따라서 사용자는 시각적 콘셉트를 쉽게 참조해 자연스럽고 직관적인 방식으로 진화하는 방식을 안내할 수 있다. 이를 통해 기존 콘셉트에 충실한 일관된 고품질 이미지 편집이 가능하다.

플럭스.1 콘텍스트의 주요 기능은 다음과 같다.

- 캐릭터 일관성: 여러 장면과 각도에서 고유한 특성을 보존한다.

- 맞춤 편집: 이미지의 나머지 부분은 변경하지 않고 특정 요소만 수정할 수 있다.

- 스타일 전환: 참조 이미지의 모양과 느낌을 새로운 장면에 적용한다.

- 실시간 수행: 짧은 지연 시간의 생성으로 빠른 반복과 피드백을 지원한다.

블랙 포레스트 랩스는 허깅페이스(Hugging Face)에서 다운로드 가능한 플럭스.1 콘텍스트 가중치와 텐서RT 가속 변형을 출시했다.

기존에는 고급 이미지 편집을 하려면 복잡한 지침과 생성하기 어려운 마스크(mask), 뎁스(depth) 맵 또는 엣지(edge) 맵이 필요했다. 그러나 플럭스.1 콘텍스트 [dev]는 보다 직관적이고 유연한 인터페이스를 도입해 단계별 편집과 확산 모델 추론을 위한 최첨단 최적화를 결합한다.

[dev] 모델은 유연성과 제어를 강조한다. 이는 캐릭터 일관성, 스타일 보존, 일부 이미지 조정과 같은 기능을 지원하며, 구조화된 시각적 프롬프팅을 위한 통합 컨트롤넷 기능을 제공한다.

플럭스.1 콘텍스트 [dev]는 이미 컴피UI(ComfyUI)와 블랙 포레스트 랩스 플레이그라운드(Playground)에서 사용할 수 있다. 8월에는 엔비디아 NIM 마이크로서비스 버전이 출시될 예정이다.

텐서RT 가속을 통한 RTX용 최적화

플럭스.1 콘텍스트 [dev]는 복잡한 워크플로우를 간소화해 창의성을 가속화한다. 엔비디아와 블랙 포레스트 랩스는 이 모델을 양자화해 작업을 더욱 간소화하고 접근성을 넓혔다. 이를 통해 더 많은 사람들이 플럭스.1 콘텍스트 [dev]를 로컬에서 실행할 수 있도록 VRAM 요구 사항을 줄였으며, 텐서RT로 최적화해 성능을 두 배로 높였다.

양자화 단계는 모델의 크기를 FP8(에이다)(Ada)의 경우 24GB에서 12GB로, FP4(블랙웰)(Blackwell)의 경우 7GB로 줄인다. FP8 체크포인트는 텐서 코어(Tensor Core)에 FP8 가속기를 탑재한 지포스(GeForce) RTX 40 시리즈 GPU에 최적화돼 있다. 마찬가지로 FP4 체크포인트는 지포스 RTX 50 시리즈 GPU에 최적화돼 있으며, 모델 크기를 줄이고 높은 이미지 품질을 유지하는 새로운 방법인 SVD퀀트(SVDQuant)를 사용한다.

텐서RT는 엔비디아 RTX GPU 텐서 코어에 접근해 성능을 극대화하는 프레임워크로, 파이토치(PyTorch)에서 기존 BF16 모델을 실행할 때보다 2배 이상의 가속을 제공한다.

엔비디아 기술 블로그에서 엔비디아 최적화에 대한 자세한 내용과 플럭스.1 콘텍스트 [dev] 활용 방법을 확인할 수 있다.

플럭스.1 콘텍스트 시작하기

플럭스.1 콘텍스트 [dev]는 허깅페이스(토치(Torch), 텐서RT)에서 제공된다.

이 모델을 테스트하고자 하는 AI 애호가는 토치 버전을 다운로드해 컴피UI에서 사용할 수 있다. 블랙 포레스트 랩스는 이 모델을 테스트할 수 있는 온라인 플레이그라운드도 제공한다.

엔비디아는 고급 사용자와 개발자를 위해 텐서RT 파이프라인을 워크플로우에 쉽게 통합하는 샘플 코드를 개발 중이다. 아울러 이달 말에는 데모디퓨전(DemoDiffusion) 리포지토리를 출시할 예정이다.

더 많은 정보

지난주 구글(Google)은 새로운 멀티모달 소형 언어 모델(small language model, sLM)인 젬마 3n(Gemma 3n)을 출시했다. 이 모델은 엔비디아 지포스 RTX GPU와 엣지 AI, 로보틱스를 위한 엔비디아 젯슨(Jetson) 플랫폼에서 실행하기에 이상적이다.

AI 애호가는 애니띵LLM(AnythingLLM), LM 스튜디오(LM Studio)를 비롯한 앱을 통해 올라마(Ollama)와 라마.cpp(Llama.cpp)에서 RTX로 가속화된 젬마 3n 모델을 사용할 수 있다.

또한 개발자는 올라마를 통해 젬마 3n 모델을 손쉽게 배포하고, RTX 가속의 이점을 누릴 수 있다. 여기에서 젬마 3n을 젯슨과 RTX에서 실행하는 방법에 대해 자세히 알아볼 수 있다.

아울러 엔비디아는 오는 7월 17일(목)까지 오후 4시(한국 시간)까지 온라인으로 플러그 앤 플레이: 프로젝트 G-어시스트 플러그인 해커톤(Plug and Play: Project G-Assist Plug-In Hackathon)을 진행한다. 이번 해커톤에서는 개발자는 AI를 탐색하고 맞춤형 G-어시스트 플러그인을 제작할 수 있으며, 우수한 결과물에는 수상 기회도 주어진다. 또한, 7월 10일(목) 오전 2시에서 3시(한국 시간)까지 진행되는 G-어시스트 플러그인 웨비나에서는 프로젝트 G-어시스트의 기능과 기본 사항에 대해 자세한 설명이 제공될 예정이다. 웨비나 종료 전에는 실시간 Q&A 세션도 마련돼 다양한 질문을 자유롭게 나눌 수 있다.

엔비디아의 디스코드(Discord) 서버에 참여하면 커뮤니티 개발자, AI 애호가와 함께 RTX AI의 가능성을 토론해 볼 수 있다.

매주 RTX AI 개러지(RTX AI Garage) 블로그 시리즈에서는 커뮤니티가 주도하는 AI 혁신과 콘텐츠를 통해, NIM 마이크로서비스와 AI 블루프린트에 대해 자세히 알아보고 있다. 또한, AI PC와 워크스테이션에서 AI 에이전트, 크리에이티브 워크플로우, 디지털 휴먼, 생산성 앱 등을 구축하려는 이들을 위한 정보를 제공한다.

페이스북(Facebook), 인스타그램(Instagram), 틱톡(TikTok), X에서 엔비디아 AI PC에 대해 알아보고, RTX AI PC 뉴스레터를 구독해 최신 소식을 받아볼 수 있다.

엔비디아 워크스테이션(Workstation)의 링크드인(LinkedIn), X 채널에서도 관련 소식을 확인할 수 있다.