Spider — очень полезная программа в Интернете. Поисковые системы используют программы-пауки для сбора веб-страниц в базы данных. Компании используют программы-пауки для мониторинга веб-сайтов конкурентов и отслеживания изменений. Отдельные пользователи используют программы-пауки для загрузки веб-страниц с целью их удаления. При использовании на компьютере разработчики используют программы-пауки для сканирования своей сети на наличие недействительных ссылок... Программы-пауки имеют разное применение для разных пользователей. Итак, как же работают программы-пауки?
Паук — это полуавтоматическая программа. Подобно тому, как настоящий паук путешествует по своей сети (паутине), программа-паук также перемещается по сети, сотканной из веб-ссылок. Причина, по которой программа-паук является полуавтоматической, заключается в том, что ей всегда нужна начальная ссылка (начальная точка), но ее последующая работа определяется сама. Программа-паук сканирует ссылки, содержащиеся на стартовой странице, а затем получает доступ к этим ссылкам. указывать на страницы, а затем анализировать и отслеживать ссылки, содержащиеся на этих страницах. Теоретически, программа-паук в конечном итоге посетит каждую страницу в Интернете, поскольку почти на каждую страницу в Интернете всегда ссылаются другие более или менее страницы.
В этой статье рассказывается, как использовать язык C# для создания программы-паука, которая может загружать содержимое всего веб-сайта в указанный каталог. Рабочий интерфейс программы показан на рисунке 1. Вы можете легко создать свою собственную программу-паук, используя несколько основных классов, представленных в этой статье.
Для получения дополнительной информации прочитайте: http://info.codepub.com/2008/03/info-18319.html.
Расширять
