trafilatura

Trafilatura: обнаружить и извлечь текстовые данные в Интернете

Введение

Trafilatura-это передовый пакет Python и инструмент командной строки, предназначенный для сбора текста в Интернете и упрощения процесса превращения необработанного HTML в структурированные, значимые данные . Он включает в себя все необходимые компоненты обнаружения и обработки текста для выполнения ползания, загрузки, соскоба и извлечения основных текстов, метаданных и комментариев. Он направлен на то, чтобы оставаться удобным и модульным : база данных не требуется, вывод может быть преобразован в обычно используемые форматы.

Переход от HTML -объема к основным частям может смягчить многие проблемы, связанные с качеством текста, сосредоточив внимание на фактическом содержании , избегая шума, вызванного повторяющимися элементами, такими как заголовки и нижние колонтитулы, и понимая данные и метаданные с выбранной информацией. Экстрактор достигает баланса между ограничивающим шумом (точностью) и включением всех действительных деталей (отзыв). Это надежно и достаточно быстро .

Trafilatura широко используется и интегрируется в тысячи проектов таких компаний, как Hurgingface, IBM и Microsoft Research, а также такие учреждения, как Институт Аллена, Стэнфорд, Токийский институт технологии и Мюнхенский университет.

Функции

• Усовершенствованные веб -полки и открытие текста:

  • Поддержка STEMAP (TXT, XML) и FEEDS (Atom, JSON, RSS)
  • Умный ползание и управление URL (фильтрация и дедупликация)

• Параллельная обработка онлайн и автономного ввода:

  • Живые URL -адреса, эффективная и вежливая обработка очередей загрузки
  • Ранее загруженные HTML -файлы и анализируемые HTML -деревья

• Надежная и настраиваемая извлечение ключевых элементов:

  • Основной текст (общие шаблоны и общие алгоритмы, такие как Jousext и читаемость)
  • Метаданные (заголовок, автор, дата, имя сайта, категории и теги)
  • Форматирование и структура: параграфы, названия, списки, кавычки, код, разрывы строк, встроенное форматирование текста
  • Дополнительные элементы: комментарии, ссылки, изображения, таблицы

• Несколько форматов вывода:

  • TXT и Markdown
  • CSV
  • Json
  • HTML, XML и XML-TEI

• Дополнительные дополнения:

  • Обнаружение языка при извлеченном контенте
  • Оптимизация скорости

• Активно поддерживается при поддержке сообщества с открытым исходным кодом:

  • Регулярные обновления, дополнения к функциям и оптимизации
  • Комплексная документация

Оценка и альтернативы

Trafilatura постоянно превосходит другие библиотеки с открытым исходным кодом в критериях извлечения текста, демонстрируя ее эффективность и точность при извлечении веб-контента. Экстрактор пытается набрать баланс между ограничивающим шумом и включая все действительные детали.

Для получения дополнительной информации см. В разделе «Конфликт» и «Оценка» для запуска оценки с последними данными и пакетами.

Другие оценки:

• Наиболее эффективная библиотека с открытым исходным кодом в тесте извлечения статьи ScrapingHub
• Лучший общий инструмент в соответствии с сыном Bien Choisir outil d'Extraction de Contenu à partir du Web (Lejeune & Barbaresi 2020)
• Лучший единственный инструмент от Rouge-LSUM Средний балл F1 в эмпирическом сравнении алгоритмов извлечения веб-контента (Bevendorff et al. 2023)

Использование и документация

Начало работы с Trafilatura просто. Для получения дополнительной информации и подробных гидов, посетите документацию Trafilatura:

• Установка
• Использование: в командной линии, с Python, с R
• Основные функции Python
• Интерактивный ноутбук Python: обзор Trafilatura
• Учебные пособия и варианты использования

Плейлист YouTube с видеоуроками на нескольких языках:

• Учебные пособия по скребке и как

Лицензия

Этот пакет распространяется по лицензии Apache 2.0.

Версии до v1.8.0 находятся под лицензией GPLV3+.

Внося

Взносы всех видов приветствуются. Посетите страницу для получения дополнительной информации. Отчеты об ошибках могут быть поданы на специальной странице выпуска.

Большое спасибо участникам, которые расширили документы или отправили отчеты об ошибках, функции и ошибки!

Контекст

Эта работа началась как PhD -проект на перекрестке лингвистики и НЛП, этот опыт сыграл важную роль в формировании трафилатура на протяжении многих лет. Первоначально запущенный для создания текстовых баз данных для исследовательских целей в Берлин-Бренденбургской академии наук (DWD и ZDL-единицы), этот пакет продолжает сохраняться, но его будущее развитие зависит от поддержки сообщества.

Если вы цените это программное обеспечение или зависите от него для своего продукта, рассмотрите возможность спонсировать его и внести свой вклад в его кодовую базу . Ваша поддержка поможет поддерживать и улучшить этот популярный пакет, обеспечивая его рост, надежность и доступность для разработчиков и пользователей по всему миру.

Trafilatura - это итальянское слово для проводного чертежа, символизирующего процесс уточнения и преобразования. Это также способ формируется формы пасты.

Автор

Обратитесь через репозиторий программного обеспечения или страницу контактов для запросов, сотрудничества или обратной связи. Смотрите также социальные сети для последних обновлений.

• Barbaresi, A. trafilatura: библиотека веб-царапин и инструмент командной строки для обнаружения и извлечения текста, Труды ACL/IJCNLP 2021: Системные демонстрации, 2021, с. 122-131.
• Barbaresi, A. «Общий добыча веб-контента с помощью программного обеспечения с открытым исходным кодом», Trootings of Konvens 2019, Abstracts Kaleidoscope, 2019.
• Barbaresi, A. «Эффективное строительство метаданных веб-корпораций», «Труды 10-й сети» как Corpus Workshop (WAC-X), 2016.

Цитируя Trafilatura

Trafilatura широко используется в академической области, главным образом для сбора данных. Вот как это цитировать:

@inproceedings{barbaresi-2021-trafilatura,
  title = {{Trafilatura: A Web Scraping Library and Command-Line Tool for Text Discovery and Extraction}},
  author = " Barbaresi, Adrien " ,
  booktitle = " Proceedings of the Joint Conference of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing: System Demonstrations " ,
  pages = " 122--131 " ,
  publisher = " Association for Computational Linguistics " ,
  url = " https://aclanthology.org/2021.acl-demo.15 " ,
  year = 2021,
}

Программная экосистема

Совместно разработанные плагины и дополнительные пакеты также способствуют извлечению и анализу веб -данных:

Соответствующие посты можно найти на кусочках языка.

Впечатляет, вы достигли конца страницы: Спасибо за ваш интерес!