bromate

브롬 메이트

Bromate 는 웹 브라우저 상호 작용을 자동화하기위한 에이전트 워크 플로의 기능을 탐색하는 실험 프로젝트입니다.

개요

Bromate는 자연 언어로 표현 된 사용자 요청을 이해하고 웹 브라우징 작업을 자동화하는 일련의 작업으로 변환하기 위해 대형 언어 모델 (LLM), 특히 Google의 Gemini의 힘을 활용합니다.

브라우저 제어 및 상호 작용에 셀레늄을 사용하여 웹 브라우저 환경 내에서 복잡한 워크 플로우를 자동화하는 완벽한 방법을 제공합니다.

전제 조건

Bromate를 사용하기 전에 Gemini API의 경우 Google에서 API 키를 얻어야합니다. 다음 단계를 수행하여 키를 얻을 수 있습니다.

1. Google AI 스튜디오로 이동하여 "API 키 얻기"를 클릭하십시오.
2. 비밀 키를 시스템에서 환경 변수로 설정하십시오.

개발 중에 .env 에서 API 키 설정 :

프로젝트 저장소에서 .env 파일에서 API 키를 설정할 수 있습니다.

GOOGLE_API_KEY=YOUR_API_KEY

쉘에서 echo $GOOGLE_API_KEY 입력하여 키가 구성되어 있는지 확인할 수 있습니다.

설치

Bromate는 PYPI에서 사용할 수 있으며 PIP를 사용하여 쉽게 설치할 수 있습니다.

pip install bromate

용법

Bromate를 사용하려면 자동화하려는 작업을 설명하는 자연어 쿼리를 제공 할 수 있습니다. 그런 다음 Bromate는 에이전트 (Gemini)와 상호 작용하여 쿼리를 해석하고 Selenium Webdriver가 실행할 일련의 조치를 생성합니다.

예 1 : MLOPS 커뮤니티 뉴스 레터 구독 :

Bromate "https://mlops.community 웹 사이트를 엽니 다. 'Join'링크를 클릭하십시오. 'hello@mlops'주소를 작성하십시오."

예 2 : Python 언어의 최신 버전 찾기 :

bromate-interaction.stay_open = false --agent.name "gemini-1.5-pro-latest" "python.org로 이동하십시오. 다운로드 페이지를 클릭하십시오. 향후 Python 릴리스를 위해 PEP 링크를 클릭하십시오. 릴리스 일정 날짜를 요약하십시오."

논쟁

bromate -h
usage: bromate [-h] [--agent JSON] [--agent.api_key {SecretStr,null}] [--agent.name str] [--agent.temperature float] [--agent.candidate_count int]
               [--agent.max_output_tokens int] [--agent.system_instructions str] [--action JSON] [--action.sleep_time float] [--driver JSON]
               [--driver.name {Chrome,Firefox}] [--driver.keep_alive bool] [--driver.maximize_window bool] [--execution JSON] [--execution.stop_actions list[str]]
               [--execution.default_message str] [--interaction JSON] [--interaction.stay_open bool] [--interaction.interactive bool] [--interaction.max_interactions int]
               QUERY

Execute actions on web browser from a user query in natural language.

positional arguments:
  QUERY                 User query in natural language

options:
  -h , --help            show this help message and exit

agent options:
  Configuration of the agent

  --agent JSON          set agent from JSON string
  --agent.api_key {SecretStr,null}
                        API key of the agent platform (Google) (default: ********** )
  --agent.name str      Name of the agent to use (default: gemini-1.5-flash-latest)
  --agent.temperature float
                        Temperature of the agent (default: 0.0)
  --agent.candidate_count int
                        Number of candidates to generate (default: 1)
  --agent.max_output_tokens int
                        Maximum output tokens to generate (default: 1000)
  --agent.system_instructions str
                        System instructions for the agent (default: You are a browser automation system. Your goal is to understand the user request and execute actions
                        on its browser using the tools at your disposal. After each step, you will receive a screenshot and the page source of the current browser
                        window.)

action options:
  Configuration for all actions

  --action JSON         set action from JSON string
  --action.sleep_time float
                        Time to sleep after loading a page (default: 0.5)

driver options:
  Configuration of the web driver

  --driver JSON         set driver from JSON string
  --driver.name {Chrome,Firefox}
                        Name of the driver to use (default: Chrome)
  --driver.keep_alive bool
                        Keep the browser open at the end of the execution (default: True)
  --driver.maximize_window bool
                        Maximize the browser window at the start of the execution (default: True)

execution options:
  Configuration of the execution

  --execution JSON      set execution from JSON string
  --execution.stop_actions list[str]
                        Name of actions that can stop the execution (default: [ ' done ' ])
  --execution.default_message str
                        Default message to send to the agent when no input is provided by the user (default: Continue the execution if necessary or call the done tool if
                        you are done)

interaction options:
  Configuration of the interaction

  --interaction JSON    set interaction from JSON string
  --interaction.stay_open bool
                        Keep the browser open before exiting (default: True)
  --interaction.interactive bool
                        Ask for user input after every action (default: False)
  --interaction.max_interactions int
                        Maximum number of interactions for the agent (default: 5)

작동 방식

Bromate는 루프에서 작동하여 Gemini 에이전트 및 Selenium Webdriver와 지속적으로 상호 작용하여 브라우저 작업을 자동화합니다. 다음은 핵심 행동의 고장입니다.

1. 초기화 :

• 셀레늄 웹 드라이버는 구성 (예 : Chrome 또는 Firefox)에 따라 초기화됩니다. 이는 브라우저를 제어하기위한 인터페이스를 제공합니다.
• Gemini LLM이 초기화되고 "도구"가 정의됩니다. 이러한 도구는 모델이 WebDriver에게 수행하도록 지시 할 수있는 동작에 해당합니다. 사용 가능한 작업은 src/bromate/actions.py 파일에 정의됩니다. 예제는 다음과 같습니다.
  • get : 브라우저에서 특정 URL을 엽니 다.
  • click : CSS 선택기에서 식별 된 요소를 클릭하십시오.
  • write : 요소에 텍스트를 입력하십시오.
  • back : 이전 페이지로 다시 탐색하십시오.
  • done : 자동화 작업의 끝을 신호하십시오.

2. 행동 선택 및 실행 :

• 자동화하려는 작업을 설명하는 자연어로 초기 쿼리를 제공합니다.
• 각 단계에서 Gemini 모델은 브라우저의 현재 상태 (HTML 코드 및 스크린 샷)를 분석하고 쿼리 및 이전 상호 작용을 고려하며 가장 관련성이 높은 조치를 결정합니다.
• 그런 다음 선택한 동작은 셀레늄 웹 드라이버에 의해 실행되어 브라우저 상태를 수정합니다.

3. 피드백 루프 :

• 각 작업이 수행되면 페이지의 업데이트 된 HTML 코드와 브라우저 창의 스크린 샷이 Gemini 모델로 다시 전송됩니다. 이것은 모델에 행동의 영향에 대한 피드백을 제공합니다.
• 루프는 모델이 done 작업을 실행하기로 결정할 때까지 계속됩니다. 작업이 완료되거나 최대 상호 작용에 도달 할 수 있습니다.

이 반복 프로세스를 통해 Bromate는 브라우저 환경의 변화에 ​​동적으로 적응하고 자연어 지침에 따라 복잡한 자동화 작업을 수행 할 수 있습니다.

개발

Bromate의 개발 워크 플로우는 Pyinvoke를 사용하여 관리됩니다. tasks/ 폴더에는 프로젝트 관리를위한 다양한 작업이 포함되어 있습니다.

• Checks.py : 코드 품질 검사 작업 (라인, 유형 확인, 테스트, 보안).
• cleans.py : 빌드 아티팩트와 캐시를 청소하는 작업.
• 컨테이너.
• Docs.py : API 문서를 생성하고 제공하는 작업.
• formats.py : 코드 형식의 작업.
• installs.py : 종속성 및 사전 커밋 후크 설치 작업.
• packages.py : 파이썬 패키지를 구축하고 게시하는 작업.
• Publishes.py : 소프트웨어 저장소에 아티팩트를 게시하는 작업.

특허

Bromate는 MIT 라이센스에 따라 라이센스가 부여됩니다. 자세한 내용은 라이센스 파일을 참조하십시오.