Visual Story Generation Based on Emotional and Keyword Scheme

Visuelle Geschichtenerzeugung basiert auf emotionalem und Keyword -Schema

[Papier] [Modellkarte] [Deployment -Demo]

Überblick

In dieser Arbeit schlagen wir eine Pipeline für narrative Generation vor, um visuelle Geschichten mit den Benutzern zusammenzustellen. Mit der Pipeline kann der Benutzer Ereignisse und Emotionen auf dem generierten Inhalt steuern.

Die Pipeline enthält zwei Teile: Erzähl- und Bildgenerierung. In der narrativen Generation planen wir die Erzählung basierend auf den Schlüsselwörtern und emotionalen Trends in Sätzen und generieren den folgenden Geschichtensatz. Bei der Bildgenerierung verwenden wir sowohl die Disco -Diffusion als auch die stabile Diffusion, um ein visuell ansprechendes Bild zu erstellen, das die Haupthandlung der Geschichte erfasst. Wir implementieren die Objekterkennung weiter, damit Objekte in den Bildern in der zukünftigen Entwicklung der Geschichte erwähnt werden können.

Modellkarte

Domain	Name	Beschreibung	Sprachmodelltyp	Modellkarte	? Link
Vorschlag	Emotionsvorschlag	Dieses Modell ist unter Storycompenense, das verwendet wird, um Vorschläge für das Gefühl im nächsten Satz zu erteilen	Deberta-V2-Xlarge	Yuetische/deberta-finetunierte Next-Sentenz-Emotion	Umarmtes Gesicht
Vorschlag	Emotionsvorschlag	Dieses Modell ist unter Storycompenense, das früher vorgeschlagen wurde	Bert-Base-Unbekannt	Yuetische/Bert-Basis-Oncased-Finetuned-Plutchik-Emotion	Umarmtes Gesicht
Vorschlag	Keyword -Vorschlag	Dieses Modell ist unter Rocstories beendet	Opt-1.3b	Bleiben Sie dran	Bleiben Sie dran
Textrohr	NÄCHSTER STREIDENTENGERATOR	Dieses Modell nimmt Kontext, Schlüsselwort und Gefühl zusammen und generiert den nächsten Satz im Rokstories -Stil	T5-Base-Finetuned-Calengen	Yuetisch/T5-Finetuned-Storycommonsense	Umarmtes Gesicht

GUI -Demo

Wir implementieren eine einfache Demo, die die Bereitstellung ver. unseres Rahmens hier. Bitte verweisen Sie auf den Q & A -Abschnitt für weitere Informationen

Auswertung

Wir demonstrieren eine Leistungsverteilung des Basismodells und des prompt optimierten Modells in 3.748 Experimentensätzen unter verschiedenen Metriken. Die blaue Box auf der linken Seite jeder Figur repräsentiert unsere Methode und die Orange auf der rechten Seite repräsentiert das Basismodell.

Beispiele

Hier finden Sie einige Beispielgeschichten, die Sie mit diesem Framework generieren können.

#	Satz	Bild
0	Marcus sammelte Schalen am Strand.
1	Er nahm eine große schöne Hülle.
2	Er steckte es in die Tasche, um für später für zu sparen.
3	Plötzlich fühlte er eine scharfe Prise.
4	Eine Krabbe befand sich in der Schale, die sein Bein drückte.

Zitat

 @misc{chen2023visual,
      title={Visual Story Generation Based on Emotion and Keywords}, 
      author={Yuetian Chen and Ruohua Li and Bowen Shi and Peiru Liu and Mei Si},
      year={2023},
      eprint={2301.02777},
      archivePrefix={arXiv},
      primaryClass={cs.AI}
}