FilterRSS

Фильтруя RSS-подача GPT-4

Скрипт Python для фильтрации RSS-канала, запрашивая оценки актуальности от GPT-4 и только включающие записи, которые соответствуют определяемому пользователю порога. Пробовал и проверил с Twitter2rss.

Использование

 python filter_rss.py <rss_feed_path> <rss_dest_path> <system_prompt_path> [--threshold THRESHOLD]

• rss_feed_path : Путь к исходному файлу подачи RSS.
• rss_dest_path : Путь к файлу фиксации RSS.
• system_prompt_path : Путь к текстовому файлу, содержащему подсказку системы.
• --threshold : (необязательно) порог для фильтрации записей на основе оценки GPT-4. По умолчанию 0,5.

Перед использованием этого сценария убедитесь, что вы установили переменную среды OPENAI_API_KEY с вашим ключом API OpenAI.

Системная подсказка

Текстовый файл, упомянутый System_prompt_path, инструктирует GPT-4 работать в качестве системы модерации контента. Это образец (также воспроизведенный в образце-prompt.txt, готов к использованию):

 You are a content moderation system. Rate the relevance of the input on a scale of 0 to 1. Only numbers are permitted replies. prioritize tweets that contain insightful, informative, or thought-provoking content. Avoid: overly promotional, political issues, platitudes, languages other than English or German.

Чтобы создать системную подсказку для GPT-4, вы можете использовать сам GPT-4, чтобы учиться на нескольких примерах, с такой подсказкой системы, как это:

 You are given multiple user inputs which represent tweets to learn from. These are prefixed with either [WANTED] or [UNWANTED] for you, but these prefixes are not in the real data. From these inputs, create one System instruction for you, GPT-4, to use for future content ranking. This instruction only needs to be understandable by you. Tweets will be submitted individually to you, so while repetitive content is unwanted, you will not be able to infer it from the individual tweets.

и пользовательские подсказки такие:

 [UNWANTED]Insightful_User Retweeted Boring_User
Trying out @bluesky for the past couple of days.

Сохраните сгенерированную подсказку в текстовом файле и предоставьте путь к файлу при запуске скрипта.

Зависимости

• FeedParser
• BeautifulSoup4
• Openai

Установите зависимости, используя PIP:

 pip install feedparser beautifulsoup4 openai

Лицензия

Этот проект лицензирован в рамках общей публичной лицензии GNU Affero V3.0 (AGPLV3). Для получения более подробной информации см. Файл лицензии.