GitHubSentinel

GitHub Sentinel

ภาษาอังกฤษ

สารบัญ

• GitHub Sentinel
• ฟังก์ชั่นหลัก
• ภาพหน้าจอผลิตภัณฑ์
• เริ่มต้น
  • 1. การติดตั้งการพึ่งพา
  • 2. กำหนดค่าแอปพลิเคชัน
  • 3. วิธีการวิ่ง
    • A. เรียกใช้เป็นเครื่องมือบรรทัดคำสั่ง
    • B. ทำงานเป็นบริการพื้นหลัง
    • C. เรียกใช้เป็นเซิร์ฟเวอร์ gradio
• การติดตั้งและการบริการ Ollama
• การทดสอบหน่วย
  • การทดสอบหน่วยและการตรวจสอบสคริปต์การตรวจสอบ validate_tests.sh
    • ใช้
    • การทำงาน
• สร้างและตรวจสอบด้วย Docker
  • 1. Dockerfile
    • ใช้
    • ขั้นตอนสำคัญ
  • 2. build_image.sh
    • ใช้
    • การทำงาน
• มีส่วนช่วย
• ใบอนุญาต
• เชื่อมต่อ

GitHub Sentinel เป็น AI Agent ที่ออกแบบมาสำหรับการดึงข้อมูลอัจฉริยะและการขุดเนื้อหาที่มีมูลค่าสูงซึ่งออกแบบมาเป็นพิเศษสำหรับยุคของรุ่นใหญ่ (LLMS) มันมีวัตถุประสงค์เพื่อผู้ใช้ที่ต้องการความถี่สูงและการเก็บข้อมูลจำนวนมากโดยเฉพาะอย่างยิ่งผู้ที่ชื่นชอบโอเพนซอร์สนักพัฒนารายบุคคลและนักลงทุน

ฟังก์ชั่นหลัก

• การจัดการการสมัครสมาชิก : จัดการและติดตามพื้นที่เก็บข้อมูล GitHub ที่คุณติดตามได้อย่างง่ายดาย
• อัปเดตการดึงข้อมูล : ดึงและสรุปการอัปเดตล่าสุดของที่เก็บการสมัครสมาชิกโดยอัตโนมัติรวมถึงบันทึกการส่งคำถามและคำขอดึง
• ระบบการแจ้งเตือน : แจ้งสมาชิกเกี่ยวกับความคืบหน้าล่าสุดของโครงการแบบเรียลไทม์ผ่านอีเมลและวิธีการอื่น ๆ
• การสร้างรายงาน : สร้างรายงานความคืบหน้าของโครงการโดยละเอียดตามการอัปเดตที่ดึงมาสนับสนุนรูปแบบและเทมเพลตหลายรูปแบบเพื่อตอบสนองความต้องการที่แตกต่างกัน
• การสนับสนุนแบบหลายรูปแบบ : การรวมโมเดล OpenAI และ Ollama รายงานโครงการภาษาธรรมชาติถูกสร้างขึ้นเพื่อให้บริการข้อมูลที่ชาญฉลาดและแม่นยำยิ่งขึ้น
• งานเวลา : รองรับการดำเนินงานเวลาในแบบ daemon เพื่อให้แน่ใจว่ามีการอัปเดตข้อมูลและรับข้อมูลที่เหมาะสม
• อินเทอร์เฟซกราฟิก : ขึ้นอยู่กับ Gradio จะตระหนักถึงโหมดการทำงาน GUI ที่ใช้งานง่ายและใช้งานง่ายลดเกณฑ์สำหรับการใช้งาน
• คอนเทนเนอร์ : โครงการสนับสนุนการก่อสร้าง Docker และการปรับใช้คอนเทนเนอร์ซึ่งอำนวยความสะดวกในการปรับใช้และการดำเนินงานอย่างรวดเร็วในสภาพแวดล้อมที่แตกต่างกัน
• การรวมอย่างต่อเนื่อง : การทดสอบหน่วยที่สมบูรณ์ถูกนำมาใช้เพื่ออำนวยความสะดวกในการกำหนดค่าเพิ่มเติมของกระบวนการ CI/CD ระดับการผลิตเพิ่มเติมเพื่อให้แน่ใจว่าโครงการเสถียรภาพและการส่งมอบคุณภาพสูง

GitHub Sentinel ไม่เพียง แต่ช่วยให้ผู้ใช้ติดตามและวิเคราะห์การอัปเดตล่าสุดของ GitHub 开源项目โดยอัตโนมัติ แต่ยังขยายไปยังช่องข้อมูลอื่น ๆ อย่างรวดเร็วเช่นหัวข้อยอดนิยมของ Hacker News ซึ่งให้ความสามารถในการขุดและการวิเคราะห์ข้อมูลที่ครอบคลุมมากขึ้น

ภาพหน้าจอผลิตภัณฑ์

การติดตามความคืบหน้าของโครงการ GitHub และสรุป

Hacker News Hot Tech Tope Mining

เริ่มต้น

1. การติดตั้งการพึ่งพา

ขั้นแรกให้ติดตั้งการพึ่งพาที่ต้องการ:

pip install -r requirements.txt

2. กำหนดค่าแอปพลิเคชัน

แก้ไขไฟล์ config.json เพื่อตั้งค่าโทเค็น GitHub ของคุณการตั้งค่าอีเมล (ใช้ Tencent WeChat Mailbox เป็นตัวอย่าง), ไฟล์สมัครสมาชิก, การตั้งค่าอัปเดต, การกำหนดค่าบริการโมเดลขนาดใหญ่ (รองรับ OpenAI GPT API และบริการรุ่นใหญ่ของ OpenAI GPT

{
    "github" : {
        "token" : " your_github_token " ,
        "subscriptions_file" : " subscriptions.json " ,
        "progress_frequency_days" : 1 ,
        "progress_execution_time" : " 08:00 "
    },
    "email" :  {
        "smtp_server" : " smtp.exmail.qq.com " ,
        "smtp_port" : 465 ,
        "from" : " [email protected] " ,
        "password" : " your_email_password " ,
        "to" : " [email protected] "
    },
    "llm" : {
        "model_type" : " ollama " ,
        "openai_model_name" : " gpt-4o-mini " ,
        "ollama_model_name" : " llama3 " ,
        "ollama_api_url" : " http://localhost:11434/api/chat "
    },
    "report_types" : [
        " github " ,
        " hacker_news_hours_topic " ,
        " hacker_news_daily_report "
    ],
    "slack" : {
        "webhook_url" : " your_slack_webhook_url "
    }
}

ด้วยเหตุผลด้านความปลอดภัย: ทั้งโทเค็น GitHub และการตั้งค่ารหัสผ่านอีเมลสนับสนุนการกำหนดค่าโดยใช้ตัวแปรสภาพแวดล้อมเพื่อหลีกเลี่ยงการกำหนดค่าข้อมูลที่สำคัญอย่างชัดเจนดังแสดงด้านล่าง:

 # Github
export GITHUB_TOKEN= " github_pat_xxx "
# Email
export EMAIL_PASSWORD= " password "

3. วิธีการวิ่ง

GitHub Sentinel รองรับการวิ่งสามวิธีต่อไปนี้:

A. เรียกใช้เป็นเครื่องมือบรรทัดคำสั่ง

คุณสามารถเรียกใช้แอปแบบโต้ตอบได้จากบรรทัดคำสั่ง:

python src/command_tool.py

ในโหมดนี้คุณสามารถป้อนคำสั่งด้วยตนเองเพื่อจัดการการสมัครสมาชิกดึงข้อมูลอัปเดตและสร้างรายงาน

B. ทำงานเป็นบริการพื้นหลัง

ในการเรียกใช้แอพเป็นบริการพื้นหลัง (daemon) จะได้รับการอัปเดตโดยอัตโนมัติตามการกำหนดค่าที่เกี่ยวข้อง

คุณสามารถเริ่มสถานะการสืบค้นปิดและรีสตาร์ทโดยตรงโดยใช้สคริปต์การจัดการ daemon daemon_control.sh:

1. เริ่มบริการ:

   $ ./daemon_control.sh start
   Starting DaemonProcess...
   DaemonProcess started.

   • สิ่งนี้จะเริ่มต้น [./src/daemon_process.py] สร้างรายงานเป็นประจำตามความถี่และจุดเวลาที่ตั้งไว้ใน config.json และส่งอีเมล
   • บันทึกบริการนี้จะถูกบันทึกลงในไฟล์ logs/DaemonProcess.log ในเวลาเดียวกันบันทึกสะสมในอดีตจะถูกผนวกเข้ากับไฟล์ logs/app.log log

2. สถานะบริการค้นหา:

   $ ./daemon_control.sh status
   DaemonProcess is running.

3. ปิดบริการ:

   $ ./daemon_control.sh stop
   Stopping DaemonProcess...
   DaemonProcess stopped.

4. รีสตาร์ทบริการ:

   $ ./daemon_control.sh restart
   Stopping DaemonProcess...
   DaemonProcess stopped.
   Starting DaemonProcess...
   DaemonProcess started.

C. เรียกใช้เป็นเซิร์ฟเวอร์ gradio

ในการเรียกใช้แอปพลิเคชันโดยใช้อินเทอร์เฟซ gradio ให้ผู้ใช้สามารถโต้ตอบกับเครื่องมือผ่านเว็บอินเตอร์เฟส:

python src/gradio_server.py

• สิ่งนี้จะเริ่มต้นเว็บเซิร์ฟเวอร์บนเครื่องของคุณช่วยให้คุณจัดการการสมัครสมาชิกและสร้างรายงานผ่านอินเทอร์เฟซที่ใช้งานง่าย
• โดยค่าเริ่มต้นเซิร์ฟเวอร์ Gradio จะสามารถเข้าถึงได้ที่ http://localhost:7860 แต่คุณสามารถแชร์ต่อสาธารณะได้หากคุณต้องการ

การติดตั้งและการบริการ Ollama

Ollama เป็นเครื่องมือจัดการโมเดลขนาดใหญ่ส่วนตัวที่รองรับการปรับใช้ในท้องถิ่นและคอนเทนเนอร์การโต้ตอบบรรทัดคำสั่งและการโทร REST API

สำหรับคำแนะนำโดยละเอียดเกี่ยวกับการเปิดตัวการติดตั้ง Ollama และบริการจำลองการแปรรูปของ Ollama โปรดดูที่การปรับใช้และบริการการติดตั้ง Ollama

การติดตั้งอย่างเป็นทางการของ Ollama โดยย่อ

หากต้องการโทรหาบริการจำลองส่วนตัวโดยใช้ Ollama ใน GitHub Sentinel ให้ทำตามขั้นตอนเหล่านี้เพื่อติดตั้งและกำหนดค่า:

1. ติดตั้ง Ollama : โปรดดาวน์โหลดและติดตั้งบริการ Ollama ตามเอกสารอย่างเป็นทางการของ Ollama Ollama รองรับระบบปฏิบัติการที่หลากหลายรวมถึง Linux, Windows และ MacOS

2. เริ่มบริการ Ollama : หลังจากการติดตั้งเสร็จสมบูรณ์ให้เริ่มบริการ Ollama ด้วยคำสั่งต่อไปนี้:

   ollama serve

   โดยค่าเริ่มต้น Ollama API จะทำงานที่ http://localhost:11434

3. การกำหนดค่า Ollama ใช้ใน GitHub Sentinel : ในไฟล์ config.json กำหนดค่าข้อมูลที่เกี่ยวข้องกับ Ollama API:

   {
       "llm" : {
           "model_type" : " ollama " ,
           "ollama_model_name" : " llama3 " ,
           "ollama_api_url" : " http://localhost:11434/api/chat "
       }
   }

4. ตรวจสอบการกำหนดค่า : เริ่ม GitHub Sentinel ด้วยคำสั่งต่อไปนี้และสร้างรายงานเพื่อตรวจสอบว่าการกำหนดค่า Ollama นั้นถูกต้อง:

   python src/command_tool.py

   หากกำหนดค่าอย่างถูกต้องคุณจะสามารถสร้างรายงานผ่านโมเดล Ollama

การทดสอบหน่วย

เพื่อให้แน่ใจว่าคุณภาพและความน่าเชื่อถือของรหัส GitHub Sentinel ใช้โมดูล unittest สำหรับการทดสอบหน่วย สำหรับคำอธิบายโดยละเอียดของ unittest และเครื่องมือที่เกี่ยวข้องเช่น @patch และ MagicMock โปรดดูรายละเอียดการทดสอบหน่วย

การทดสอบหน่วยและการตรวจสอบสคริปต์การตรวจสอบ validate_tests.sh

ใช้

validate_tests.sh เป็นเชลล์สคริปต์ที่เรียกใช้การทดสอบหน่วยและตรวจสอบผลลัพธ์ มันถูกดำเนินการในระหว่างกระบวนการสร้างภาพ Docker เพื่อให้แน่ใจว่าความถูกต้องและความเสถียรของรหัส

การทำงาน

• สคริปต์เรียกใช้การทดสอบหน่วยทั้งหมดและส่งผลลัพธ์ผลลัพธ์ไปยังไฟล์ test_results.txt
• หากการทดสอบล้มเหลวสคริปต์จะส่งผลการทดสอบและทำให้บิลด์ Docker ล้มเหลว
• หากการทดสอบทั้งหมดผ่านสคริปต์จะยังคงสร้างกระบวนการต่อไป

สร้างและตรวจสอบด้วย Docker

เพื่ออำนวยความสะดวกในการก่อสร้างและการปรับใช้โครงการ GitHub Sentinel ในสภาพแวดล้อมที่หลากหลายเราให้การสนับสนุน Docker การสนับสนุนนี้รวมถึงไฟล์และคุณสมบัติต่อไปนี้:

1. Dockerfile

ใช้

Dockerfile เป็นไฟล์การกำหนดค่าที่ใช้เพื่อกำหนดวิธีการสร้างอิมเมจนักเทียบท่า มันอธิบายขั้นตอนในการสร้างภาพรวมถึงการติดตั้งการพึ่งพาการคัดลอกไฟล์โครงการการทดสอบหน่วยการรัน ฯลฯ ฯลฯ

ขั้นตอนสำคัญ

• ใช้ python:3.10-slim เป็นภาพพื้นฐานและตั้งค่าไดเรกทอรีการทำงานเป็น /app
• คัดลอกไฟล์ requirements.txt ของโครงการ txt และติดตั้งการพึ่งพา Python
• คัดลอกไฟล์ทั้งหมดของโครงการไปยังคอนเทนเนอร์และให้สิทธิ์การดำเนินการสคริปต์ validate_tests.sh
• เรียกใช้สคริปต์ validate_tests.sh ระหว่างกระบวนการสร้างเพื่อให้แน่ใจว่าการทดสอบหน่วยทั้งหมดผ่าน หากการทดสอบล้มเหลวกระบวนการสร้างจะยกเลิก
• หลังจากบิลด์สำเร็จแล้ว src/main.py จะถูกเรียกใช้โดยค่าเริ่มต้นเป็นจุดเริ่มต้นของคอนเทนเนอร์

2. build_image.sh

ใช้

build_image.sh เป็นเชลล์สคริปต์สำหรับการสร้างภาพท่าเทียบเรือโดยอัตโนมัติ ใช้ชื่อสาขาจากสาขา GIT ปัจจุบันและใช้เป็นฉลากสำหรับภาพนักเทียบท่าทำให้ง่ายต่อการสร้างภาพนักเทียบท่าที่แตกต่างกันในสาขาที่แตกต่างกัน

การทำงาน

• รับชื่อสาขา GIT ปัจจุบันและใช้เป็นฉลากสำหรับภาพ Docker
• ใช้คำสั่ง docker build เพื่อสร้างอิมเมจนักเทียบท่าและใช้ชื่อสาขา GIT ปัจจุบันเป็นฉลาก

ตัวอย่างการใช้งาน

chmod +x build_image.sh
./build_image.sh

ผ่านสคริปต์และไฟล์การกำหนดค่าเหล่านี้จะทำให้มั่นใจได้ว่าในสาขาการพัฒนาที่แตกต่างกันภาพ Docker ที่สร้างขึ้นจะขึ้นอยู่กับรหัสที่ทดสอบโดยหน่วยซึ่งจะปรับปรุงคุณภาพของรหัสและความน่าเชื่อถือการปรับใช้

มีส่วนช่วย

การมีส่วนร่วมคือสิ่งที่ทำให้ชุมชนโอเพ่นซอร์สน่าทึ่งในการเรียนรู้สร้างแรงบันดาลใจและสร้าง ขอบคุณมากสำหรับการบริจาคใด ๆ ที่คุณทำ หากคุณมีคำแนะนำหรือคำขอคุณสมบัติโปรดเริ่มหัวข้อเพื่อหารือเกี่ยวกับสิ่งที่คุณต้องการเปลี่ยนแปลง

ใบอนุญาต

โครงการได้รับใบอนุญาตภายใต้ข้อกำหนดของใบอนุญาต Apache-2.0 ดูไฟล์ใบอนุญาตสำหรับรายละเอียด

เชื่อมต่อ

django peng - [email protected]

ลิงค์โครงการ: https://github.com/djangopeng/githubsentinel