topicGPT

Topicgpt

พื้นที่เก็บข้อมูลนี้มีสคริปต์และแจ้งเตือนสำหรับกระดาษของเรา "TopicGpt: การสร้างแบบจำลองหัวข้อโดยการแจ้งรูปแบบภาษาขนาดใหญ่" (Naacl'24) แพ็คเกจ topicgpt_python ของเราประกอบด้วยห้าฟังก์ชั่นหลัก:

• generate_topic_lvl1 สร้างหัวข้อระดับสูงและทั่วไป
• generate_topic_lvl2 สร้างหัวข้อระดับต่ำและเฉพาะสำหรับแต่ละหัวข้อระดับสูง
• refine_topics ปรับแต่งหัวข้อที่สร้างขึ้นโดยการรวมหัวข้อที่คล้ายกันและลบหัวข้อที่ไม่เกี่ยวข้อง
• assign_topics กำหนดหัวข้อที่สร้างขึ้นให้กับข้อความอินพุตพร้อมกับใบเสนอราคาที่รองรับการกำหนด
• correct_topics แก้ไขหัวข้อที่สร้างขึ้นโดยการทำซ้ำโมเดลเพื่อให้การกำหนดหัวข้อสุดท้ายมีพื้นฐานอยู่ในรายการหัวข้อ

การอัปเดต

• [11/09/24] แพ็คเกจ Python topicgpt_python เปิดตัว! คุณสามารถติดตั้งผ่าน pip install topicgpt_python เราสนับสนุน Openai API, Vertexai, Azure API, Gemini API และ VLLM (ต้องใช้ GPU สำหรับการอนุมาน) ดู pypi
• [11/18/23] รหัสการสร้างหัวข้อระดับที่สองและรหัสการปรับแต่งจะถูกอัปโหลด
• [11/11/23] อัปโหลดไปป์ไลน์พื้นฐาน การปรับแต่งและรหัสการสร้างหัวข้อระดับที่สองกำลังจะมาเร็ว ๆ นี้

- ใช้ Topicgpt

เริ่มต้นใช้งาน

1. สร้างสภาพแวดล้อม Python 3.9+ ใหม่โดยใช้ Virtualenv หรือ Conda
2. ติดตั้งแพ็คเกจที่ต้องการ:

    pip install topicgpt_python
   

• ตั้งค่าคีย์ API ของคุณ:

   # Run in shell
  # Needed only for the OpenAI API deployment
  export OPENAI_API_KEY={your_openai_api_key}
  
  # Needed only for the Vertex AI deployment
  export VERTEX_PROJECT={your_vertex_project}   # e.g. my-project
  export VERTEX_LOCATION={your_vertex_location} # e.g. us-central1
  
  # Needed only for Gemini deployment
  export GEMINI_API_KEY={your_gemini_api_key}
  
  # Needed only for the Azure API deployment
  export AZURE_OPENAI_API_KEY={your_azure_api_key}
  export AZURE_OPENAI_ENDPOINT={your_azure_endpoint}
  

• อ้างถึง https://openai.com/pricing/ สำหรับการกำหนดราคา OpenAI API หรือ https://cloud.google.com/vertex-ai/pricing สำหรับการกำหนดราคา Vertex API

ข้อมูล

• เตรียมไฟล์ข้อมูล .jsonl ของคุณในรูปแบบต่อไปนี้:

  {
      " id " : " IDs (optional) " ,
      " text " : " Documents " ,
      " label " : " Ground-truth labels (optional) "
  }

• ใส่ไฟล์ข้อมูลของคุณใน data/input นอกจากนี้ยังมีตัวอย่างข้อมูลไฟล์ data/input/sample.jsonl เพื่อแก้ไขข้อบกพร่องของรหัส
• ชุดข้อมูลดิบที่ใช้ในกระดาษ (ตั๋วเงินและวิกิ): [ลิงก์]

ท่อส่ง

ตรวจสอบ demo.ipynb สำหรับไปป์ไลน์ที่สมบูรณ์และคำแนะนำโดยละเอียดเพิ่มเติม เราแนะนำให้คุณลองใช้งานชุดย่อยที่มีโมเดล (หรือโอเพ่นซอร์ส) ราคาถูกกว่าก่อนที่จะปรับขนาดเป็นชุดข้อมูลทั้งหมด

0. (ไม่บังคับ) กำหนดเส้นทาง I/O ใน config.yml และโหลดโดยใช้:

    import yaml
   
   with open ( "config.yml" , "r" ) as f :
       config = yaml . safe_load ( f )

1. โหลดแพ็คเกจ:

    from topicgpt_python import *

2. สร้างหัวข้อระดับสูง:

    generate_topic_lvl1 ( api , model , data , prompt_file , seed_file , out_file , topic_file , verbose )

3. สร้างหัวข้อระดับต่ำ (ไม่บังคับ)

    generate_topic_lvl2 ( api , model , seed_file , data , prompt_file , out_file , topic_file , verbose )

4. ปรับแต่งหัวข้อที่สร้างขึ้นโดยการรวมใกล้กับซ้ำและลบหัวข้อด้วยความถี่ต่ำ (ไม่บังคับ):

    refine_topics ( api , model , prompt_file , generation_file , topic_file , out_file , updated_file , verbose , remove , mapping_file )

5. กำหนดและแก้ไขหัวข้อโดยปกติจะมีโมเดลที่อ่อนแอกว่าหากใช้ API แบบชำระเงินเพื่อประหยัดค่าใช้จ่าย:

    assign_topics (
   api , model , data , prompt_file , out_file , topic_file , verbose
   )

    correct_topics(
       api, model, data_path, prompt_path, topic_path, output_path, verbose
   ) 
   

6. ตรวจสอบโฟลเดอร์ data/output สำหรับเอาต์พุตตัวอย่าง

7. นอกจากนี้เรายังนำเสนอฟังก์ชั่นการคำนวณตัวชี้วัดใน topicgpt_python.metrics เพื่อประเมินการจัดตำแหน่งระหว่างหัวข้อที่สร้างขึ้นและฉลากความจริงพื้นดิน (ดัชนีแรนด์ที่ปรับความบริสุทธิ์ฮาร์มอนิกและข้อมูลร่วมกันปกติ)

การอ้างอิง

 @misc{pham2023topicgpt,
      title={TopicGPT: A Prompt-based Topic Modeling Framework}, 
      author={Chau Minh Pham and Alexander Hoyle and Simeng Sun and Mohit Iyyer},
      year={2023},
      eprint={2311.01449},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}