AIPE

AIPE: AI Pipeline Engine

การแนะนำ

AIPE (AI Pipeline Engine) เป็นเครื่องมือที่ยืดหยุ่นและทรงพลังสำหรับการสร้างและดำเนินการเวิร์กโฟลว์ AI ที่ซับซ้อน ช่วยให้คุณสามารถรวมงาน AI ต่างๆเช่นการค้นหาเว็บการสร้างข้อความการประมวลผลคำพูดและการสร้างภาพลงในไปป์ไลน์ที่มีความเหนียวซึ่งสามารถกำหนดค่าได้ทั้งหมดผ่านไฟล์ YAML ที่เรียบง่าย

คุณสมบัติ

• - ห่วงโซ่ AI หลายงานเป็นเวิร์กโฟลว์เดียว
• - การรวมการค้นหาเว็บ (Duckduckgo และ Serper API)
• - การสร้างข้อความโดยใช้รุ่น LLM ต่างๆ (Ollama, OpenAI)
• ความสามารถในการพูดและพูดเป็นข้อความเป็นข้อความ
• ️การสร้างภาพโดยใช้การแพร่กระจายที่เสถียร
• การรวม Webhook สำหรับการโทรภายนอก API
• - การกำหนดค่าที่ใช้ YAML สำหรับการตั้งค่าไปป์ไลน์ง่ายๆ
• การเชื่อมโยงแบบไดนามิกของบริบทและเอาต์พุตขั้นตอน

ใช้เคส

AIPE (AI Pipeline Engine) เป็นเครื่องมืออเนกประสงค์ที่สามารถนำไปใช้กับโดเมนและงานต่างๆ นี่คือกรณีการใช้งานที่อาจเกิดขึ้นบางกรณี:

1. ผู้ช่วยวิจัยอัตโนมัติ : สร้างท่อที่ค้นหาเว็บสำหรับหัวข้อเฉพาะสรุปผลการวิจัยและสร้างรายงานที่ครอบคลุมพร้อมการอ้างอิง

2. เวิร์กโฟลว์การสร้างเนื้อหา : ออกแบบท่อที่สร้างแนวคิดบทความเขียนเนื้อหาร่างสร้างภาพประกอบและเตรียมโพสต์โซเชียลมีเดียสำหรับการส่งเสริมการขาย

3. การวิเคราะห์ความเชื่อมั่นและการตรวจสอบแบรนด์ : ตั้งค่าท่อที่ขูดโซเชียลมีเดียและเว็บไซต์ข่าวสำหรับการกล่าวถึงแบรนด์ดำเนินการวิเคราะห์ความเชื่อมั่นและสร้างรายงานประจำวันด้วยข้อมูลเชิงลึก

4. การสนับสนุนลูกค้าอัตโนมัติ : พัฒนาไปป์ไลน์ที่ดำเนินการสอบถามข้อมูลลูกค้าค้นหาฐานความรู้สำหรับข้อมูลที่เกี่ยวข้องและสร้างคำตอบส่วนบุคคล

5. การวิเคราะห์ข้อมูลและการสร้างภาพข้อมูล : สร้างท่อที่รวบรวมข้อมูลจากแหล่งต่าง ๆ ดำเนินการวิเคราะห์ทางสถิติสร้างข้อมูลเชิงลึกและสร้างการสร้างภาพข้อมูล

6. บริการการแปลภาษา : สร้างไปป์ไลน์ที่ใช้ข้อความในภาษาเดียวแปลเป็นภาษาเป้าหมายหลายภาษาและสร้างการออกเสียงเสียงสำหรับการแปลแต่ละครั้ง

7. การตรวจสอบรหัสอัตโนมัติ : ออกแบบไปป์ไลน์ที่วิเคราะห์ที่เก็บรหัสระบุปัญหาที่อาจเกิดขึ้นหรือการปรับปรุงและสร้างรายงานการตรวจสอบรหัสโดยละเอียด

8. การวิเคราะห์แนวโน้มของตลาด : ตั้งท่อที่ตรวจสอบข่าวการเงินวิเคราะห์ข้อมูลตลาดและสร้างรายงานการคาดการณ์เกี่ยวกับแนวโน้มของตลาดที่มีศักยภาพ

9. การสร้างเนื้อหาการศึกษา : สร้างท่อที่ใช้สาขาวิชาสร้างเนื้อหาการศึกษาแบบทดสอบและสื่อเสริมสำหรับหลักสูตรออนไลน์

10. ผู้รวบรวมข่าวส่วนบุคคล : พัฒนาท่อที่รวบรวมข่าวจากแหล่งต่าง ๆ ตามการตั้งค่าของผู้ใช้สรุปบทความและสร้างการบรรยายสรุปข่าวประจำวันส่วนบุคคล

กรณีการใช้งานเหล่านี้แสดงให้เห็นถึงความยืดหยุ่นและพลังของ AIPE ในการทำงานที่ซับซ้อนโดยอัตโนมัติในอุตสาหกรรมและแอพพลิเคชั่นที่แตกต่างกัน ธรรมชาติแบบแยกส่วนของไปป์ไลน์ช่วยให้สามารถปรับแต่งและขยายได้ง่ายเพื่อให้เหมาะกับความต้องการเฉพาะ

- ขั้นตอนท่อ

เอ็นจิ้น AI Agent Pipeline รองรับขั้นตอนต่อไปนี้:

• WebSearch : ค้นหาเว็บโดยใช้ Duckduckgo หรือ Serper API
• WebScrape : ขูดเนื้อหาจาก URL ที่ระบุ
• RunInference : สร้างข้อความโดยใช้รุ่น LLM (Ollama, OpenAI)
• TextToSpeech : แปลงข้อความเป็นคำพูด
• SpeechToText : ถอดความคำพูดเป็นข้อความ
• LoadImageModel : โหลดโมเดลข้อความไปยังภาพ
• GenerateImage : สร้างภาพจากข้อความแจ้ง
• CallWebhook : โทรออกจากภายนอก

การติดตั้ง

1. โคลนที่เก็บ:

    git clone https://github.com/yourusername/AIPE.git
   cd AIPE
   

2. ติดตั้งการพึ่งพาที่ต้องการ:

    pip install -r app/requirements.txt
   

3. ตั้งค่าตัวแปรสภาพแวดล้อมสำหรับคีย์ API (ถ้าจำเป็น):

    export OPENAI_API_KEY=your_openai_api_key
   export SERPER_API_KEY=your_serper_api_key
   

การใช้งาน

1. สร้างไฟล์กำหนดค่า YAML สำหรับไปป์ไลน์ของคุณ ตัวอย่าง:

    pipeline :
    context :
        topic : " artificial intelligence with crypto "
        num_results : 5
        model_name : " llama2 "
   
    steps :
        - name : " web_search "
        type : " WebSearch "
        query : " latest developments in {context.topic} "
        search_type : " serper "
        num_results : " {context.num_results} "
   
        - name : " summarize_findings "
        type : " RunInference "
        source : " ollama "
        model_name : " llama2 "
        prompt : " Summarize the latest developments in {context.topic} based on the following information: {steps.web_search} "
   
        - name : " text_to_speech "
        type : " TextToSpeech "
        text : " {steps.summarize_findings} "
        result_path : " /app/output/summary_audio.wav "
   
        - name : " generate_image "
        type : " GenerateImage "
        prompt : " A futuristic representation of {context.topic} "
        result_path : " /app/output/ai_developments.png "
        image_params :
            num_inference_steps : 50
            guidance_scale : 7.5
   
        - name : " final_report "
        type : " RunInference "
        source : " ollama "
        model_name : " llama2 "
        prompt : " Create a final report on {context.topic} incorporating the following elements: n 1. Web search results: {steps.web_search} n 2. Summarized findings: {steps.summarize_findings} n 4. Generated image description: A futuristic representation of {context.topic} n 5. Transcription accuracy check: Compare the original summary with the transcribed text and comment on any discrepancies. "
        result_path : " /app/output/final_report.txt "

2. เรียกใช้ท่อ:

    python app/main.py config/config.yaml
   

3. ตรวจสอบเอาต์พุต: ไปป์ไลน์จะบันทึกเอาต์พุตในโฟลเดอร์ output ซึ่งรวมถึงไฟล์ที่สร้างขึ้นเช่นเสียงรูปภาพและรายงานข้อความตามที่ระบุไว้ในการกำหนดค่าของคุณ

- ฝ่ายสนับสนุนนักเทียบท่า

โครงการรวมถึง DockerFile เพื่อการจัดคอนเทนเนอร์ได้ง่าย ในการสร้างและเรียกใช้โดยใช้ Docker:

 docker build -t AIPE .
docker run -it --gpus all --env-file .env AIPE

ไปป์ไลน์จะบันทึกเอาต์พุตในโฟลเดอร์ output ภายในคอนเทนเนอร์ Docker ซึ่งรวมถึงไฟล์ที่สร้างขึ้นเช่นเสียงรูปภาพและรายงานข้อความตามที่ระบุไว้ในการกำหนดค่าของคุณ

การปรับใช้ Spheron

เพื่อปรับใช้โครงการ AIPE ของคุณบน Spheron:

1. อัปเดต spheron.yaml ในรูทโครงการของคุณพร้อมรายละเอียดรูปภาพของคุณ

2. ติดตั้ง spheronctl CLI: คู่มือการติดตั้ง

3. สร้างการปรับใช้:

   sphnctl deployment create spheron.yaml

4. ตรวจสอบสถานะการปรับใช้ (แทนที่ <LID> ด้วยรหัสการปรับใช้ของคุณ):

   sphnctl deployment get --lid < LID >

5. ดูบันทึกการปรับใช้:

   sphnctl deployment logs --lid < LID >

6. เข้าถึงเชลล์การปรับใช้:

   sphnctl deployment shell aipet /bin/sh --lid < LID > --stdin --tty

สำหรับรายละเอียดเพิ่มเติมดูเอกสาร Spheron

- การบริจาค

ยินดีต้อนรับ! โปรดส่งคำขอดึง

- ใบอนุญาต

โครงการนี้ได้รับใบอนุญาตภายใต้ใบอนุญาต MIT - ดูไฟล์ใบอนุญาตสำหรับรายละเอียด

- ติดต่อ

หากคุณมีคำถามใด ๆ อย่าลังเลที่จะติดต่อ Mitra