chatgpt comparison detection

Projeto Chatgpt-Comparison-Detection?

Repositório oficial do artigo "Quão perto está chatgpt de especialistas em humanos? Comparação corpus, avaliação e detecção".

Veja também → (? Espaço de feedback para detectores, sinta -se à vontade para deixar seus comentários aqui! Deixe seus comentários valiosos!)

---

Comparação de chatgpt humano Corpus (HC3) / Human - Chatgpt Pergunta e Resposta Comparação Corpus

Sim, propomos o primeiro corpus de comparação humano vs. chatgpt , chamado HC3 .

Propomos o primeiro corpus de contraste humano vs. chatgpt chamado HC3 .

A primeira versão dos conjuntos de dados HC3 já está disponível?

• HC3-INGLESSO
• HC3-Chinese

Na comunidade chinesa, o conjunto de dados HC3 também está disponível no ModelCope:

• HC3-INGLESSO
• HC3-Chinese

Splits de trem/teste e versões filtradas do artigo, ref para o Google Drive Links em hc3/readme.md.

DataSet Copyright

Se os conjuntos de dados de origem usados ​​neste corpus possuem uma licença específica mais rigorosa que o CC-BY-SA, nossos produtos seguirão o mesmo.

Divisão em inglês	Fonte	Licença de origem	Observação
reddit_eli5	Eli5	Licença BSD
open_qa	Wikiqa	PWC Custom
wiki_csai	Wikipedia	CC-BY-SA
medicamento	Diálogo médico	Desconhecido	Perguntando
financiar	Fiqa	Desconhecido	Perguntando por?

Divisão chinesa	Fonte	Licença de origem	Observação
open_qa	WebTextqa e Baikeqa	MIT Licença
Baike	Baidu Baike	Nenhum
NLPCC_DBQA	NLPCC-DBQA	Desconhecido	Perguntando
medicamento	Diálogo médico chinês	CC-BY-NC 4.0
financiar	Financezhidao	CC-BY 4.0
psicologia	No estúdio Baidu AI	CC0
lei	LegalQa	Desconhecido	Perguntando

---

Detectores / detectores de conteúdo ChatGPT

(Hospedado em? Abraçando espaços de rosto)

Fornecemos três tipos de detectores, todos em bilíngues / fornecemos três tipos de detectores, todos em inglês:

• Versão de controle de qualidade / versão e perguntas e respostas: detecte se uma resposta é gerada pelo ChatGPT para determinada pergunta , usando classes baseadas em PLM / determine se a resposta para uma pergunta é gerada pelo ChatGPT e desenvolva usando um classificador baseado em PTM;
• Versão sinlge-text / versão de texto independente: detecte se um texto é gerado por chatgpt, usando classes baseadas em PLM / determine se um único texto é gerado pelo ChatGPT e desenvolva usando um classificador baseado em PTM;
• Versão linguística / versão linguística: detecte se um texto é gerado por chatgpt, usando recursos linguísticos / determinar se um único texto é gerado pelo ChatGPT e desenvolver usando um modelo baseado em recursos lingüísticos;

Na plataforma da comunidade chinesa Modelscope, todas as três versões dos detectores também estão disponíveis:

• Versão de QA / Perguntas e Respostas
• Versão sinlge-text / versão de texto independente
• Versão linguística / versão linguística

Os pesos do modelo estão todos disponíveis?

Ponto de verificação do modelo	Comentário
ChatGPT-Detector-Roberta	Para detectar uma única peça de texto
ChatGPT-QA-Detector-Roberta	Para detectar um par de perguntas e respostas
Chatgpt-Detector-Roberta-Chinese	Detectar um único texto, versão chinesa
Chatgpt-qa-detector-roberta-chinese	Detecte um par de texto de controle de qualidade, versão chinesa

Os modelos em inglês são baseados em Roberta-Base.

---

Datas importantes / nós importantes:

Eventos	Datas
Lançamento do projeto / lançamento do projeto	2022-12-09 ✅
Coleta de dados de comparação / coleta de dados de comparação	2022-12-11 para agora? Aste
Libere o detector de chatgpt (demonstração) / liberação de demonstração do detector	2023-01-11 ✅
Modelos Libere / modelo de código aberto	2023-01-18 ✅
Comparação Liberação do Corpus / Corpus Open Source	2023-01-18 ✅
Pesquisa / lançamento de trabalho de pesquisa	2023-01-19 ✅
...	...

---

Citação

Feche este artigo ARXIV: 2301.07597

 @article{guo-etal-2023-hc3,
    title = "How Close is ChatGPT to Human Experts? Comparison Corpus, Evaluation, and Detection",
    author = "Guo, Biyang  and
      Zhang, Xin  and
      Wang, Ziyuan  and
      Jiang, Minqi  and
      Nie, Jinran  and
      Ding, Yuxuan  and
      Yue, Jianwei  and
      Wu, Yupeng",
    journal={arXiv preprint arxiv:2301.07597}
    year = "2023",
}

---

Nossa história ... / história de fundo

Em 9 de dezembro de 2022, que é 10 dias após o lançamento do ChatGPT, iniciamos este projeto, para dois propósitos:

1. Criar alguns modelos de código aberto para detectar com eficiência o conteúdo gerado por ChatGPT;
2. Coletar um corpus valioso de comparação humana-chatgpt , para facilitar a pesquisa divulgada.

Em 9 de dezembro de 2022, o 10º dia de lançamento do ChatGPT, iniciamos este projeto para dois propósitos:

1. Faça algumas ferramentas de modelo de código aberto para detectar com eficiência o conteúdo gerado pelo ChatGPT;
2. Colete um lote de corpus de perguntas e respostas bilíngues chinesas e inglesas em comparação com os seres humanos e o Chatgpt para ajudar na pesquisa acadêmica relevante.

Bem - vindo a seguir nosso projeto!
Bem -vindo a seguir nosso projeto. Estamos ansiosos para receber feedback do público em geral para nos ajudar a melhorar nosso modelo e contribuir para abrir a pesquisa acadêmica juntos!

Sobre nós / sobre nós

Somos um grupo de pesquisadores insignificantes (à sombra do ChatGPT) na esperança de fazer um trabalho significativo para a comunidade.
Somos um pequeno grupo de pesquisadores (na sombra do chatgpt), mas queremos fazer algo significativo para a comunidade. A equipe deste projeto consiste em estudantes de doutorado e engenheiros de 6 universidades/empresas.

Biyang Guo	Minqi Jiang	Ziyuan Wang	Xin Zhang
Jinran Nie	Yuxuan Ding	Jianwei Yue	Yupeng Wu