labml

Мониторинг обучения модели глубокого обучения и использования оборудования от мобильного телефона.

Функции

• Мониторинг экспериментов с мобильным телефоном или ноутбуком
• Мониторинг использования оборудования на любом компьютере с помощью одной команды
• Интегрируйте только с 2 строками кода (см. Примеры ниже)
• Отслеживает эксперименты, включая инфомации, такие как Commit, конфигурации и гиперпараметры
• API для пользовательских визуализаций
• Красивые журналы прогресса в обучении
• Открытый исходный код!

Хостинг сервера экспериментов

Предварительные условия

Чтобы установить MongoDB , обратитесь к официальной документации здесь.

Установка

Установите пакет с помощью PIP:

pip install labml-app

Запуск сервера

 # Start the server on the default port (5005)
labml app-server

# To start the server on a different port, use the following command
labml app-server --port PORT

Необязательно: Для настройки и настройки Nginx на вашем сервере обратитесь к этому.

Вы можете получить доступ к пользовательскому интерфейсу, посетив http://localhost:{port} или, если он настроен на отдельной машине, путем навигации по http://{server-ip}:{port} .

Мониторинг экспериментов

Установка

1. Установите пакет с помощью PIP.

pip install labml

2. Создайте файл с именем .labml.yaml на верхнем уровне папки проекта и добавьте следующую строку в файл:

 app_url : http://localhost:{port}/api/v1/default

# If you are setting up the project on a different machine, include the following line instead,
app_url : http://{server-ip}:{port}/api/v1/default 

Пример питтера

 from labml import tracker , experiment

with experiment . record ( name = 'sample' , exp_conf = conf ):
    for i in range ( 50 ):
        loss , accuracy = train ()
        tracker . save ( i , { 'loss' : loss , 'accuracy' : accuracy })

Распределенный пример обучения

 from labml import tracker , experiment

uuid = experiment . generate_uuid () # make sure to sync this in every machine
experiment . create ( uuid = uuid ,
                  name = 'distributed training sample' ,
                  distributed_rank = 0 ,
                  distributed_world_size = 8 ,
                  )
with experiment . start ():
    for i in range ( 50 ):
        loss , accuracy = train ()
        tracker . save ( i , { 'loss' : loss , 'accuracy' : accuracy })

Документация

• Python API Ссылка
• Образцы

Гиды

• API для создания экспериментов
• Отслеживать метрики обучения
• Контролируемая петля обучения и другие итераторы
• API для пользовательских визуализаций
• API управления конфигурациями
• Регистратор для стилизованных журналов

? Скриншоты

Отформатированный выход учебной петли

Пользовательские визуализации на основе журналов Tensorboard

Мониторинг использования оборудования

 # Install packages and dependencies
pip install labml psutil py3nvml

# Start monitoring
labml monitor

Цитируя

Если вы используете LabML для академических исследований, пожалуйста, укажите библиотеку, используя следующую запись Bibtex.

 @misc{labml,
 author = {Varuna Jayasiri, Nipun Wijerathne, Adithya Narasinghe, Lakshith Nishshanke},
 title = {labml.ai: A library to organize machine learning experiments},
 year = {2020},
 url = {https://labml.ai/},
}