StoryMaker
1.0.0
ストーリーメーカーはパーソナライズソリューションであり、顔の一貫性だけでなく、複数のキャラクターシーンの衣服、髪型、ボディも保存され、一連の画像で構成されるストーリーを作成できる可能性があります。
ストーリーメーカーによる生成された画像の視覚化。最初の3列は、「オフィスワーカー」の人生の1日についての物語を語り、最後の2列は「サンライズの前」の映画についての物語を語っています。
[2024/11/09]トレーニングコードをリリースします。
[2024/09/20]テクニカルレポートをリリースします。
[2024/09/02]モデルの重みをリリースします。
Huggingfaceからモデルを直接ダウンロードできます。
Huggingfaceにアクセスできない場合は、HF-Mirrorを使用してモデルをダウンロードできます。
export hf_endpoint = https：//hf-mirror.comhuggingface-cli download- resumedownload red-aigc/storymaker - local-dirチェックポイント - local-dir-use-symlinks false
フェイスエンコーダーの場合、デフォルトのリンクが無効であるため、このURLを介してmodels/buffalo_lに手動でダウンロードする必要があります。すべてのモデルを準備したら、フォルダーツリーは次のようにする必要があります。
. ├── models ├── checkpoints/mask.bin ├── pipeline_sdxl_storymaker.py └── README.md
# !pip install opencv-python transformers accelerate insightfaceimport diffusersimport cv2import torchimport numpy as npfrom PIL import Imagefrom insightface.app import FaceAnalysisfrom diffusers import UniPCMultistepSchedulerfrom pipeline_sdxl_storymaker import StableDiffusionXLStoryMakerPipeline# prepare 'buffalo_l' under ./modelsapp = FaceAnalysis(name='buffalo_l', root= './'、Providers = ['cudaexecutionprovider'、 'cpuexecutionprovider']）app.prepare（ctx_id = 0、det_size =（640、640）） 'image_encoder_path =' laion/clip-vit-h-14-laion2b-s32b-b79k '＃from https://huggingface.co/laion/clip-vit-h-14-laion2-s32b-b79kbase_model =' huaquan/yamermix_v11 https://huggingface.co/huaquan/yamermix_v11pipe = stabledifusionxlstorymakerpipeline.from_pretrained（base_model、torch_dtype = torch.float16）pipe.cuda（） ora_scale = 0.8） pipe.scheduler = unipcmultistepscheduler.from_config（pipe.scheduler.config）
次に、独自の画像をカスタマイズできます
＃画像とmaskface_image = image.open（ "Examples/ldh.png"）
face_info = app.get（cv2.cvtcolor（np.array（face_image）、cv2.color_rgb2bgr））face_info = sorted（face_info、key = lambda x：（x ['bbox'] [2] -x ['bbox'] [0]）*（x ['bbox'] [3] -x ['bbox'] [1]））[-1]＃最大faceprompt = "のみを使用しています。赤い帽子と火山が遠くにあります "n_prompt =" bad quality、nsfw、低品質、ugい、外観、変形した "generator = torch.generator（device = 'cuda'）。 （4）：output = pipe（image = face_image、mask_image = mask_image、face_info = face_info、face_info、prompt、negial_prompt = n_prompt、ip_adapter_scale = 0.8、lora_scale = 0.8、num_inference_steps = 25、guidance_scale = 7.5、width = 1280、 960、ジェネレーター=ジェネレーター、
）.images [0] output.save（f'examples/results/ldh666_new_ {i} .jpg '）私たちの作品は、IP-AdapterとInstantidに非常に触発されています。彼らの素晴らしい作品をありがとう！
Yamerを開発してくれたYamerに感謝します。デモのベースモデルとして使用します。
