UHGEval 다운로드 UHGEval 소스 코드 다운로드

UHGEval

기타 소스코드

v2.1.4

다운로드

? uhgeval : 구속되지 않은 세대를 통한 중국 대형 언어 모델의 환각 벤치마킹

이 저장소에는 무엇이 포함되어 있습니까?
Uhgeval : 구속되지 않은 환각 평가 벤치 마크.
Eval Suite : 환각 작업을위한 사용자 친화적 인 평가 프레임 워크.
Eval Suite는 Halluqa 및 Halueval과 같은 다른 벤치 마크를 지원합니다.

빠른 시작

 # Install Eval Suite
conda create -n uhg python=3.10
conda activate uhg
pip install eval-suite

# Run evaluations with OpenAI Compatible API
eval_suite eval openai 
    --model_name gpt-4o 
    --api_key your_api_key 
    --base_url https://api.openai.com/v1 
    --evaluators ExampleQAEvaluator UHGSelectiveEvaluator

# Or run evaluations with Hugging Face Transformers
eval_suite eval huggingface 
    --model_name_or_path Qwen/Qwen2-0.5B-Instruct 
    --apply_chat_template 
    --evaluators ExampleQAEvaluator UHGSelectiveEvaluator

# After evaluation, you can gather statistics of the evaluation results
eval_suite stat

# List all available evaluators
eval_suite list

# Get help
eval_suite --help

팁

자세한 예제는 demo.ipynb 를 참조하십시오.
export HF_ENDPOINT=https://hf-mirror.com 실행하여 포옹 얼굴에 연결할 수없는 경우 중국 거울을 사용하십시오.
SilliconFlow는 많은 모델에 무료 API 키를 제공하며 https://siliconflow.cn/pricing에서 신청할 수 있습니다.

uhgeval

Uhgeval은 전문 중국 콘텐츠 세대에서 환각을 평가하기 위해 설계된 대규모 벤치 마크입니다. 제한되지 않은 텍스트 생성 및 환각 컬렉션을 바탕으로 자동 주석 및 수동 검토를 모두 통합합니다.

uhgevaldataset. uhgeval에는 두 가지 데이터 세트 버전이 포함되어 있습니다. 정식 버전에는 5,141 개의 데이터 항목이 포함되어 있으며보다 효율적인 평가를 위해 1,000 개의 항목이있는 간결한 버전이 작성되었습니다. 아래는 uhgevaldataset의 예입니다.

예

{
    "id" : " num_000432 " ,
    "headLine" : " （社会）江苏首次评选消费者最喜爱的百种绿色食品" ,
    "broadcastDate" : " 2015-02-11 19:46:49 " ,
    "type" : " num " ,
    "newsBeginning" : "  新华社南京2月11日电（记者李响）“民以食为天，食以安为先”。江苏11日发布“首届消费者最喜爱的绿色食品”评选结果，老山蜂蜜等100种食品获得消费者“最喜爱的绿色食品”称号。 " ,
    "hallucinatedContinuation" : "江苏是全国绿色食品生产最发达的省份之一。 " ,
    "generatedBy" : " InternLM_20B_Chat " ,
    "annotations" : [
        "江苏<sep>合理" ,
        "全国<sep>合理" ,
        "绿色食品生产<sep>合理" ,
        "发达<sep>不合理，没有事实证明江苏是全国绿色食品生产发达的省份，但可以确定的是，江苏在绿色食品生产上有积极的实践和推动" ,
        "省份<sep>合理" ,
        "之一<sep>不合理，没有具体的事实证据表明江苏是全国绿色食品生产发达的省份之一"
    ],
    "realContinuation" : " 61家获奖生产企业共同签署诚信公约，共建绿色食品诚信联盟。 " ,
    "newsRemainder": "61家获奖生产企业共同签署诚信公约，共建绿色食品诚信联盟。这是江苏保障食品安全、推动绿色食品生产的重要举措。n  此次评选由江苏省绿色食品协会等部门主办，并得到江苏省农委、省委农工办、省工商局、省地税局、省信用办、省消协等单位大力支持。评选历时4个多月，经企业报名、组委会初筛、消费者投票等层层选拔，最终出炉的百强食品榜单由消费者亲自票选得出，网络、短信、报纸及现场投票共310多万份票数，充分说明了评选结果的含金量。n  食品安全一直是社会关注的热点。此次评选过程中，组委会工作人员走街头、进超市，邀请媒体、消费者、专家深入产地开展绿色食品基地行，除了超市选购外，还搭建“诚信购微信商城”“中国移动MO生活绿色有机馆”等线上销售平台，开创江苏绿色食品“评展销”结合新局面。评选不仅宣传了江苏绿色品牌食品，更推动了省内绿色食品市场诚信体系的建立，为江苏绿色食品走向全国搭建了权威的平台。n  江苏省农委副主任李俊超表示，绿色食品消费是当前社会重要的消费趋势。本次评选不仅为社会培育了食品安全诚信文化，也提高了消费者对食品质量和标识的甄别能力，实现了消费者和生产企业的“双赢”。n  与会企业表示，能够入选“首届江苏消费者最喜爱的绿色食品”是消费者的信任和支持，他们将以此荣誉作为企业发展的新起点，严把食品质量关，推介放心安全的绿色品牌食品，促进产业稳定健康发展。（完）"
}

평가 방법. Uhgeval은 차별적 평가, 생성 평가 및 선택적 평가를 포함한 다양한 평가 방법을 제공합니다.

평가자	메트릭	설명
`UHGDiscKeywordEvaluator`	평균 정확도	키워드가 주어지면 LLM은 환각이 포함되어 있는지 여부를 결정합니다.
`UHGDiscSentenceEvaluator`	평균 정확도	문장이 주어지면 LLM은 환각을 포함하는지 여부를 결정합니다.
`UHGGenerativeEvaluator`	Bleu-4, Rouge-L, Kwprec, Bertscore	연속 프롬프트가 주어지면 LLM은 연속을 생성합니다.
`UHGSelectiveEvaluator`	정확성	환각 된 텍스트와 비정규 텍스트가 주어지면 LLM은 현실적인 텍스트를 선택합니다.

스위트를 평가하십시오

평가를 용이하게하기 위해 Eval Suite라는 사용자 친화적 인 평가 프레임 워크를 개발했습니다. 현재 Eval Suite는 일반적인 환각 평가 벤치 마크를 지원하여 빠른 시작 섹션에 표시된 것과 같이 하나의 명령으로 동일한 LLM의 포괄적 인 평가를 허용합니다.

기준	평가자	더 많은 정보
C-Eval	`CEvalEvaluator`	src/eval_suite/벤치/ceval
exampleQa	`ExampleQAEvaluator`	src/eval_suite/benchs/exampleQa
할루카	`HalluQAMCEvaluator`	src/eval_suite/벤치/halluqa
halueval	`HaluEvalDialogEvaluator` `HaluEvalQAEvaluator` `HaluEvalSummaEvaluator`	src/eval_suite/벤치/halueval
uhgeval	`UHGDiscKeywordEvaluator` `UHGDiscSentenceEvaluator` `UHGGenerativeEvaluator` `UHGSelectiveEvaluator`	src/eval_suite/bench/uhgeval

자세히 알아보십시오

스위트 아키텍처 평가
새로운 벤치 마크 또는 모델 로더를 추가하십시오
일부 실험 결과

소환

 @inproceedings { liang-etal-2024-uhgeval ,
    title = " {UHGE}val: Benchmarking the Hallucination of {C}hinese Large Language Models via Unconstrained Generation " ,
    author = " Liang, Xun  and
      Song, Shichao  and
      Niu, Simin  and
      Li, Zhiyu  and
      Xiong, Feiyu  and
      Tang, Bo  and
      Wang, Yezhaohui  and
      He, Dawei  and
      Peng, Cheng  and
      Wang, Zhonghao  and
      Deng, Haiying " ,
    editor = " Ku, Lun-Wei  and
      Martins, Andre  and
      Srikumar, Vivek " ,
    booktitle = " Proceedings of the 62nd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers) " ,
    month = aug,
    year = " 2024 " ,
    address = " Bangkok, Thailand " ,
    publisher = " Association for Computational Linguistics " ,
    url = " https://aclanthology.org/2024.acl-long.288 " ,
    doi = " 10.18653/v1/2024.acl-long.288 " ,
    pages = " 5266--5293 " ,
}