awesome open data centric ai

Потрясающий AI, ориентированный на открытые данные

Инструменты с открытым исходным кодом для ИИ, ориентированного на данные, на неструктурированных данных

Renumics Spotlight Инструмент курирования для неструктурированных данных, которые соединяют ваш стек к экосистеме ИИ, ориентированной на данные. Аргилла Аргилла помогает доменным экспертам и командам данных создавать лучшие наборы данных НЛП за меньшее время.

Исследовательский анализ данных (EDA)

Имя	Тип данных	Описание	Блокнот
Понять распределения	изображение	Используйте библиотеку Trangenceface Transformers для вычисления встроенных изображений и изучения набора данных на основе карты сходства и дополнительных Metdata.

Уборка

Имя	Тип данных	Описание	Блокнот
Обнаружение дубликатов	агностик	Используйте библиотеку «Раздражание», чтобы обнаружить ближайших соседей в пространстве встраивания, и проверьте точки данных, которые являются дубликатами / близкими дубликатами.
Обнаружить выбросы	агностик	Используйте библиотеку Cleanlab для вычисления выбросов на основе вывода модели (Entgdings, вероятности) и проверьте кандидатов на выбросы.
Обнаружение проблем с изображением	изображение	Используйте библиотеку Cleanvision для экстрапакта типичных проблем с изображениями (яркости, размытие, соотношение сторон, SNR и дубликаты) и определить критические сегменты с помощью ручной проверки.

Аннотация

Имя	Тип данных	Описание	Блокнот
Найти несоответствия ярлыка	агностик	Используйте библиотеку Cleanlab для вычисления флагов ошибок метки на основе вероятностей модели и вручную проверить критические сегменты данных.

Моделирование

Имя	Тип данных	Описание	Блокнот
Обнаружить утечку	агностик	Используйте ближайший сосед

Валидация

Имя	Тип данных	Описание	Блокнот
Осмотрите границы решений	агностик	Вычислить оценку границы принятия решений на основе коэффициентов определенности и осмотрите результаты на графике рассеяния.

Мониторинг

Имя	Тип данных	Описание	Блокнот
Обнаружить дрейф данных	агностик	Вычислите расстояние косинуса от ближней соседа K-ближе к встроенному пространству в качестве расстояния дрейфа и осмотрите критические сегменты.

Дальнейшее чтение

Чтобы сохранить полезный фокус и предотвратить дубликат работы, мы исключили некоторые темы из этого списка. Узнайте больше о них здесь:

1. DCAI инструменты для табличных данных. Существует потрясающий список для этого команды Ydata.
2. Инструменты маркировки. Хотя маркировка является частью рабочего процесса DCAI, мы ссылаемся на удивительный список команды Zenml по этой теме.
3. MLOPS Tooling. Мы исключаем все темы, которые явно выходят из прицела DCAI, и обращаемся к установленным спискам MLOPS для этих инструментов.
4. Исследовательские работы. Мы сосредоточены на готовом промышленном инструменте с открытым исходным кодом, ознакомьтесь с этим списком, чтобы получить ориентированный на исследования представление о DCAI.