chatglm_6b_lora_ptunning
1.0.0
Ao ajustar o modelo de código aberto ChatGLM-6B usando o LORA, o modelo ChatGLM pode ser usado para processamento de tarefas composto. Este projeto lida principalmente com duas tarefas: classificação inteligente de comentários da indústria de novas mídias e extração de informações
O projeto está sendo atualizado continuamente ...
A classificação de texto refere -se ao processo de dividir um ou mais parágrafos de texto em diferentes categorias ou tags de acordo com o conteúdo ou as características do tópico. No trabalho real, a classificação de texto é amplamente utilizada, como: classificação de notícias, classificação de retomar, classificação de email, classificação de documentos do escritório, classificação de área, etc. A filtragem de texto também pode ser realizada para identificar e filtrar rapidamente informações que atendem aos requisitos especiais de uma grande quantidade de texto.
A extração de informações é uma tecnologia que identifica descrições factuais de entidades, relacionamentos, eventos etc. de textos naturais não estruturados ou semiestruturados, e armazenam e os utilizam de forma estruturada. por
"Xiao Ming e Xiao Qin são bons amigos. Ambos são de Yunnan. Xiao Ming vive em Dali e Xiao Qin vive em Lijiang."
Como exemplo, você pode obter:
<Xiao Ming, amigo, Xiao Qin> e <Xiao Qin, Vivo, Vivo, Vivo, Dali> e outras informações triplas.
Com o rápido desenvolvimento da tecnologia da Internet, a nova indústria de mídia se tornou uma das principais plataformas para disseminação de informações. Nesta era de explosão de informação, as pessoas obtêm informações por meio de mídias sociais, clientes de notícias, blogs e outros formulários. No entanto, com a crescente quantidade de informações, como gerenciar e utilizar com eficiência essas informações se tornou um problema urgente. Com base em alguns dados de "indústria da nova mídia" como pano de fundo, este projeto ajuda a nova indústria de mídia a obter informações úteis com rapidez e precisão de informações maciças e a realizar classificação e gerenciamento razoáveis por meio da classificação e extração de informações dos comentários de texto. Isso não apenas ajuda a nova plataforma de mídia a melhorar a experiência do usuário, mas também fornece aos produtores de informações análises de dados mais precisas e suporte à tomada de decisão.
Com base no modelo ChatGlm-6b + método de ajuste fino Lora, o desenvolvimento de tarefas conjuntas de classificação de texto e extração de informações é realizada
| Modelo | Memória de vídeo da GPU |
|---|---|
| Chatglm-6b | 13 GB |
| Pacote de dependência | Requisitos de versão |
|---|---|
| Protobuf | > = 3.19.5, <3.20.1 |
| transformadores | > = 4,27.1 |
| simplit | == 1.17.0 |
| conjuntos de dados | > == 2.10.1 |
| Acelerar | == 0.17.1 |
| Embalagem | > = 20.0 |
A tecnologia Lora congela os pesos do modelo pré -terenciado e injeta uma camada treinável (chamada de matriz de decomposição de classificação) em cada bloco de transformador, isto é, adiciona um "lateral" A e B ao lado da camada linear do modelo. Entre eles, A reduz os dados da dimensão D para a dimensão R, que é o posto de Lora, que é um importante hiperparâmetro; B levanta os dados da dimensão R para a dimensão D, e os parâmetros da parte B são inicialmente 0. Após a conclusão do treinamento do modelo, os parâmetros da parte A+B precisam ser combinados com os parâmetros do modelo grande original.
Formato de dados: estilo de dicionário; O conteúdo do contexto representa: texto de entrada original (prompt); Ponto alvo: texto de destino. Os conjuntos de dados mistos incluem dados de classificação de texto e dados de extração de informações.
O conjunto de dados de treinamento contém um total de: 902 amostras.
O conjunto de dados de verificação contém um total de: 122 amostras.
O uso dos pesos do modelo ChatGLM-6B neste projeto está sujeito à permissão do modelo.
