싱가포르 국립대학교 연구팀은 독창적인 매개변수 재사용 메커니즘을 통해 이미지 생성의 유연성과 효율성을 크게 향상시키는 OminiControl이라는 새로운 이미지 생성 프레임워크를 개발했습니다. OminiControl은 이미지 조건과 결합된 사전 훈련된 DiT(확산 변환기 모델)를 사용하여 몇 가지 추가 매개변수만으로도 강력한 테마 통합 및 공간 정렬 기능을 달성할 수 있습니다. 엣지, 깊이 맵 등의 정보를 활용하여 피사체 기반 생성, 공간 정렬 등 다양한 이미지 조절 작업을 처리할 수 있어 피사체 기반 이미지 생성 작업에 큰 장점을 발휘합니다.
오늘날 디지털 시대에 이미지 생성 기술은 놀라운 속도로 발전하고 있습니다. 최근 싱가포르 국립대학교 연구팀은 이미지 생성의 유연성과 효율성을 향상시키는 것을 목표로 OminiControl이라는 새로운 프레임워크를 제안했습니다. 이 프레임워크는 이미지 조건을 결합하고 이미 훈련된 DiT(확산 변환기) 모델을 최대한 활용하여 전례 없는 제어 기능을 제공합니다.
간단히 말해서 자료 사진을 제공하기만 하면 OminiControl을 사용하여 자료 사진의 테마를 생성된 사진에 통합할 수 있습니다. 예를 들어, 편집자는 왼쪽에 있는 자료 사진을 업로드하고 "칩맨이 진료실 테이블 옆에 놓여 있고 테이블 위에 청진기가 놓여 있습니다."라는 프롬프트 단어를 입력했습니다. 생성된 효과는 다음과 같이 비교적 일반적입니다. :
OminiControl의 핵심은 "매개변수 재사용 메커니즘"에 있습니다. 이 메커니즘을 통해 DiT 모델은 더 적은 수의 추가 매개변수를 사용하여 이미지 조건을 효과적으로 처리할 수 있습니다. 이는 기존 방법에 비해 OminiControl이 강력한 기능을 달성하려면 0.1% ~ 0.1% 더 많은 매개변수만 필요하다는 것을 의미합니다. 또한 피사체 기반 생성 및 가장자리, 깊이 맵 등과 같은 공간 정렬 조건 적용과 같은 여러 이미지 조정 작업을 균일하게 처리할 수 있습니다. 이러한 유연성은 주제 중심 생성 작업에 특히 유용합니다.
연구팀은 또한 OminiControl이 생성된 이미지를 훈련함으로써 이러한 기능을 달성한다는 점을 강조했는데, 이는 주제 중심 생성에 특히 중요합니다. 광범위한 평가를 거친 후 OminiControl은 주제 중심 생성 및 공간적으로 정렬된 조건 생성 작업 모두에서 기존 UNet 모델 및 DiT 적응 모델보다 훨씬 뛰어난 성능을 발휘합니다. 이번 연구 결과는 창작 분야에 새로운 가능성을 제시하고 있다.
더 광범위한 연구를 지원하기 위해 팀은 200,000개 이상의 신원 일치 이미지를 포함하고 효율적인 데이터 합성 파이프라인을 제공하는 Subjects200K라는 교육 데이터 세트도 출시했습니다. 이 데이터 세트는 연구자들이 주제 합의 생성 작업을 더 자세히 탐색하는 데 도움이 되는 귀중한 리소스를 제공합니다.
Omini의 출시는 이미지 생성의 효율성과 효과를 향상시킬 뿐만 아니라 예술적 창작에 더 많은 가능성을 제공합니다. 기술이 계속 발전함에 따라 미래의 이미지 생성은 더욱 지능적이고 개인화될 것입니다.
온라인 체험: https://huggingface.co/spaces/Yuanshi/OminiControl
github:https://github.com/Yuanshi9815/OminiControl
논문: https://arxiv.org/html/2411.15098v2
가장 밝은 부분:
OminiControl은 매개변수 재사용 메커니즘을 사용하여 이미지 생성 제어를 더욱 강력하고 효율적으로 만듭니다.
프레임워크는 가장자리, 깊이 맵 등과 같은 여러 이미지 조건 작업을 동시에 처리하여 다양한 창의적 요구 사항에 적응할 수 있습니다.
팀은 추가 연구와 탐색을 촉진하기 위해 200,000개 이상의 이미지로 구성된 데이터 세트인 Subjects200K를 공개했습니다.
OminiControl의 출현은 이미지 생성 기술의 새로운 이정표를 의미합니다. 효율적인 매개변수 재사용 메커니즘과 강력한 멀티태스킹 기능은 예술가와 연구자들에게 강력한 도구를 제공하고 미래 이미지 생성 기술의 무한한 잠재력을 예고합니다. 자세한 내용을 알아보고 OminiControl을 경험하려면 제공된 링크를 방문하세요.