Visual Story Generation Based on Emotional and Keyword Scheme

Geração de história visual baseada em esquema de palavras emocionais e -chave

[Paper] [cartão de modelo] [Demonstração de implantação]

Visão geral

Neste trabalho, propomos um pipeline de geração narrativa para co-criar histórias visuais com os usuários. O pipeline permite ao usuário controlar eventos e emoções no conteúdo gerado.

O oleoduto inclui duas partes: narrativa e geração de imagens. Na geração narrativa, planejamos a narrativa com base nas palavras -chave e tendências emocionais nas frases e geramos a seguinte frase da história. Na geração de imagens, usamos a difusão de disco e a difusão estável para criar uma imagem visualmente atraente que captura o enredo principal da história; Implementamos ainda o reconhecimento de objetos para permitir que objetos nas imagens sejam mencionados no desenvolvimento futuro da história.

Cartão modelo

Domínio	Nome	Descrição	Tipo de modelo de idioma	Cartão modelo	? link
Sugestester	Sugestão de emoção	Este modelo é finonejado em StoryComensense usado para fornecer sugestões do sentimento na próxima frase	Deberta-V2-Xlarge	Yuetian/Deberta-Finetuned-Next-sensence-emtion	Abraçando o rosto
Sugestester	Sugestão de emoção	Este modelo é finonejado em StoryComensense que costumava fornecer sugestão do sentimento na próxima frase	Bert-Base-ANSed	Yuetian/Bert-Base-Base-Based-Finetuned-Pluchik-Emotion	Abraçando o rosto
Sugestester	Palavra -chave Sugestester	Este modelo é finonejado em rocstories que costumavam fornecer sugestões de entidades de nomes na próxima frase	OPT-1.3b	Fique atento	Fique atento
Tubo de texto	Gerador da próxima frase	Este modelo pega contexto, palavra -chave e sentimento juntos e gera a próxima frase em um estilo de rocstories	T5-BASE-FINETUNED-COMMENGEN	Yuetian/T5-Finetuned-StoryCommonsense	Abraçando o rosto

Demonstração da GUI

Implementamos uma demonstração simples mostrando o VER da implantação. da nossa estrutura aqui. Por favor, referisse a seção de perguntas e respostas para obter mais informações

Avaliação

Demonstramos uma distribuição de desempenho do modelo de linha de base e o modelo otimizado para 3.748 conjuntos de experimentos sob diferentes métricas. A caixa azul no lado esquerdo de cada figura representa nosso método e a laranja no lado direito representa o modelo de linha de base.

Exemplos

Aqui estão várias histórias de exemplo que você pode gerar usando essa estrutura.

#	Frase	Imagem
0	Marcus estava coletando conchas na praia.
1	Ele pegou uma grande concha linda.
2	Ele colocou no bolso para economizar mais tarde.
3	De repente, ele sentiu uma pitada afiada.
4	Um caranguejo estava dentro da concha beliscando sua perna ..

Citação

 @misc{chen2023visual,
      title={Visual Story Generation Based on Emotion and Keywords}, 
      author={Yuetian Chen and Ruohua Li and Bowen Shi and Peiru Liu and Mei Si},
      year={2023},
      eprint={2301.02777},
      archivePrefix={arXiv},
      primaryClass={cs.AI}
}