Предисловие
Перед началом следует отметить, что между установкой Storm и Kafka Cluster нет необходимой связи. Я написал эти два вместе, потому что им оба управляют Zookeeper и полагаются на среду JDK. Чтобы не повторять конфигурацию, я написал эти два вместе. Если вам нужен только один, просто выберите выбранное вами чтение. Я не скажу многое ниже, давайте посмотрим на подробное введение вместе.
Зависимости этих двух следующих:
Примечание: Storm1.0 и Kafka2.0 требуют JDK не менее 1,7 и Zookeeper3.0 или выше.
Адрес загрузки:
Установка JDK
Каждая машина должна быть установлена с JDK! ! !
Примечание. Как правило, CentOS поставляется с OpenJDK, но мы используем JDK Oracle. Таким образом, вам нужно написать Uninstall OpenJDK, а затем установить JDK, загруженный в Oracle. Если вы удалили, вы можете пропустить этот шаг.
Сначала введите java -version
Проверьте, установлен ли JDK. Если он установлен, но версия не подходит, удалите ее.
входить
rpm -qa | Греп Джава
Просмотреть информацию
Затем введите:
rpm -e -nodeps "Вы хотите удалить информацию о JDK"
Например: rpm -e --nodeps java-1.7.0-openjdk-1.7.0.99-2.6.5.1.el6.x86_64
После подтверждения того, что это исчезло, расстегнут скачанный JDK
TAR -XVF JDK-8U144-LINUX-X64.TAR.GZ
Перейдите в папку Opt/Java, создайте новые без них и переименуйте папку в JDK1.8.
MV jdk1.8.0_144 /opt /javamv jdk1.8.0_144 jdk1.8
Затем отредактируйте файл профиля и добавьте следующую конфигурацию
входить:
Vim /и т. Д. /Профиль
Добавить в:
Экспорт java_home =/opt/java/jdk1.8export jre_home =/opt/java/jdk1.8/jreexport classpath =.: $ java_home/lib/dt.jar: $ java_home/lib/инструмент.
После успешного дополнения введите
Источник /и т. Д. /ProfileJava -version
Проверьте, успешно ли конфигурация
Установка среды Zookeeper
1. Подготовка документа
Разарзание загруженного файла конфигурации Zookeeper
Введите на Linux:
tar -xvf Zookeeper -3.4.10.tar.gz
Затем перейдите в /opt /Zookeeper, создайте новый без него, а затем переименуйте папку в Zookeeper3.4
входить
MV Zookeeper-3.4.10 /opt /Zookeepermv Zookeeper-3.4.10 Zookeeper3.4
2. Конфигурация среды
РЕДАКТИРОВАТЬ /и т. Д. /Файл профиля
входить:
Экспорт zk_home =/opt/Zookeeper/Zookeeper3.4 Path =.: $ {java_home}/bin: $ {zk_home}/bin: $ pathвходить:
Источник /и т. Д. /Профиль
Сделать конфигурацию эффективной
3. Измените файл конфигурации
3.3.1 Создание файлов и каталогов
Создать эти каталоги на серверах в кластере
mkdir/opt/zookeeper/data mkdir/opt/zookeeper/datalog
И создать файл myid в/opt/Zookeeper/Data Directory
входить:
Прикоснись к Мейиду
После успешного создания измените файл myID.
Для удобства я изменил содержание файлов MyID Master, Slave1 и Slave2 на 1, 2, 3
3.3.2 Создать новый Zoo.cfg
Переключить на /пт/zookeeper/zookeeper3.4/conf каталог
Если нет файла Zoo.cfg, скопируйте файл Zoo_sample.cfg и переименовать его в Zoo.cfg.
Измените этот недавно созданный файл Zoo.cfg
datadir =/opt/Zookeeper/dataDatalogdir =/opt/Zookeeper/datalogserver.1 = Мастер: 2888: 3888Server.2 = Slave1: 2888: 3888Server.3 = Slave2: 2888: 3888
Описание: клиент -порт, как следует из названия, является портом, где клиент подключается к службе Zookeeper. Это порт TCP. Datalogdir - это журнал заказа (Wal). Datadir ставит снимок структур данных памяти, что облегчает быстрое восстановление. Чтобы максимизировать производительность, обычно рекомендуется разделить DataDir и Datalogdir на разные диски, чтобы можно было полностью использовать характеристики написания на диске. DataDir и Datalogdir должны быть созданы самим собой, и каталоги могут быть сформулированы сами, и они могут быть соответствующими. Это 1 в сервере. Это 2 в сервере.2 должно соответствовать значению в файле MyID в каталоге DataDir в Slav1. Это 3 в сервере.3 должно соответствовать значениям в файле MyID в каталоге DataDir на Slave2. Конечно, вы можете использовать значения, как вам нравится, так же, как они соответствуют. Номера портов 2888 и 3888 также могут использоваться случайно, потому что это не имеет значения, если вы используете то же самое на разных машинах.
1.ticktime: CS Communication Communication Heartbeat Number
Временной интервал между серверами Zookeeper или между клиентами и серверами поддерживает сердцебиение, то есть каждое время тика будет отправлять сердцебиение. Ticktime находится в миллисекундах.
tickTime=2000
2.Initlimit: LF начальный ограничение по времени связи
Максимальное количество сердцебиения (количество тик), которое может переносить во время начального соединения между сервером последователей (F) и сервером лидера (L) в кластере.
initLimit=10
3.synclimit: LF синхронное ограничение по времени связи
Максимальное количество сердцебиения (количество тик), которое можно допустить между запросами и ответами между серверами последователей и серверами лидеров в кластере.
syncLimit=5
Все еще перенесите Zookeeper на другие машины. Не забудьте изменить MyID в под/opt/Zookeeper/Data, это не может быть последовательным.
входить:
scp -r/opt/zookeeper root@slave1:/optscp -r/opt/zookeeper root@slave2:/opt
4. Начните Zookeeper
Поскольку Zookeeper является избирательной системой, его отношения с мастером-рабов не указаны как Hadoop. Для получения подробной информации вы можете обратиться к официальной документации.
После успешной настройки Zookeeper запустите Zookeeper на каждой машине.
Переключиться в каталог Zookeeper
CD /Opt/zookeeper/zookeeper3.4/bin
входить:
zkserver.sh Start
После успешного стартапа
Просмотреть статус ввод:
zkserver.sh Статус
Вы можете просмотреть лидера и последователя Zookeeper на каждой машине
Установка штормовой среды
1. Подготовка документа
Распаковывать загруженный файл конфигурации шторма
Введите на Linux:
TAR -xvf Apache-Storm-1.1.1.tar.gz
Затем переместите его в /Opt /Storm, создайте его, если его не существует, а затем переименовать папку в Storm1.1
входить
MV Apache-Storm-1.1.1 /Opt /Storm MV Apache-Storm-1.1.1 Storm1.1
РЕДАКТИРОВАТЬ /и т. Д. /Файл профиля
Добавить в:
Export Storm_home =/opt/Storm/Storm1.1export path =.: $ {java_home}/bin: $ {zk_home}/bin: $ {Storm_home}/bin: $ path Введите версию Storm, чтобы просмотреть информацию о версии
3. Измените файл конфигурации
Редактировать Storm.yarm of Storm/conf.
Сделайте следующие изменения:
входить:
vim storm.yarm
Slave.zookeeper.servers: - «Мастер» - "slave1" - "slave2" Storm.local.dir: "/root/storm"nimbus.seeds: [" Master "] Supervisor.slots.ports: - 6700 - 6701 - 6702 - 6703
иллюстрировать:
1. Storm.zookeeper.servers - это адрес обслуживания указанного зоопери.
Поскольку информация о хранении Storm находится на Zookeeper, адрес службы Zookeeper должен быть настроен. Если Zookeeper является автономной машиной, вам нужно только указать его!
2. Storm.local.dir представляет каталог хранения.
Нимбусу и руководителю Демоны должны хранить каталог на местном диске для хранения небольшого количества состояний (такого как банки, CONS и т. Д.). Может быть создан на каждой машине и дано разрешения.
3. Nimbus.seeds представляет ведущего кандидата.
Рабочий должен знать, какая машина является кандидатом на хозяйку (кластер Zookeeper - выборы), чтобы можно было загрузить банки топологии и CORF.
4. Supervisor.Slots.Ports представляет порт работника.
Для каждой машины супервизора мы можем использовать это для настройки того, сколько работников для работы на этой машине. Каждый работник использует отдельный порт для получения сообщений, который также определяет, какие порты открыты для использования. Если вы определяете 5 портов здесь, это означает, что до 5 рабочих можно запустить на этом узле супервизора. Если определены 3 порта, это означает, что до 3 работников можно запустить. По умолчанию (т.е., настроенный в Default.yaml), в портах 6700, 6701, 6702 и 6703 будут четыре работники.
Супервайзер не начинает этих четырех работников сразу после стартапа. Вместо этого он начнется только тогда, когда назначенная задача будет принята. Особое количество работников для начала должно быть определена на основе того, сколько работников нам нужно в этом руководителе по топологии. Если указанная топология будет выполнена только одним работником, то руководитель запускает одного работника и не запустит все.
Примечание: перед этими конфигурациями нет мест! ! ! , в противном случае ошибка будет сообщена. Имя хоста (отображение) используется здесь, и IP также можно использовать. Фактическая ситуация основана на вашей собственной.
Вы можете использовать команду SCP или программное обеспечение FTP для копирования Storm на другие машины.
После успешной конфигурации вы можете начать Storm, но убедитесь, что JDK и Zookeeper были установлены правильно и что Zookeeper успешно начал.
4. Начните шторм
Переключиться в каталог шторма/бин
Начать ввод в главном узле:
Storm Nimbus>/dev/null 2> & 1 & &
Доступ к входу веб -интерфейса (Master):
Шторм UI
Введите из узла (Slave1, Slave2):
Штормовой супервайзер>/dev/null 2> & 1 & &
Введите в интерфейс браузера: порт 8080
Интерфейс успешно открывается, указывая на то, что конфигурация среды успешна:
Установка среды Кафки
KAFKA-это высокопроизводительная потоковая система распределенных сообщений, используемая для обработки активных потоковых данных, таких как посещение веб-страницы PM, журналы и т. Д., Которые могут не только обрабатывать большие данные в режиме реального времени, но и автономный режим.
1. Подготовка документа
Распаковывать загруженный файл конфигурации Kafka
Введите на Linux:
tar -xvf kafka_2.12-1.0.0.tgz
Затем переместите его в /opt /kafka, создайте его, если его не существует, а затем переименовать папку в kafka2.12
входить
MV KAFKA_2.12-1.0.0 /OPT /KAFKA MV KAFKA_2.12-1.0.0 KAFKA2.12
2. Конфигурация среды
РЕДАКТИРОВАТЬ /и т. Д. /Файл профиля
входить:
Экспорт kafka_home =/opt/kafka/kafka2.12 export path =.: $ {java_home}/bin: $ {kafka_home}/bin: $ {zk_home}/bin: $ pathвходить:
Источник /и т. Д. /Профиль
Сделать конфигурацию эффективной
3. Измените файл конфигурации
Примечание. На самом деле, если это автономная машина, файл конфигурации Kafka может быть запущен непосредственно в каталоге BIN без его изменения. Но мы здесь кластер, так что просто измените его.
Переключитесь на каталог Kafka/Config
Изменить файл Server.properties
Что нужно изменить, так это адрес Zookeeper:
Найдите конфигурацию Zookeeper, укажите адрес кластера Zookeeper и измените ее следующим образом
Zookeeper.connect = Master: 2181, Slave1: 2181, Slave2: 2181zookeeper.connection.Timeout.ms = 6000
Другие варианты изменений - это
1, num.partitions представляет указанное разделение, по умолчанию 1
2. log.dirs kafka log path, просто измените это в соответствии с личными потребностями.
...
Примечание. Существуют другие конфигурации, вы можете просмотреть официальную документацию. Если нет особых требований, просто используйте по умолчанию.
После конфигурации не забудьте использовать команду SCP для передачи в другие кластеры!
4. Начните Кафку
Каждый кластер должен работать каждый кластер!
Переключитесь на каталог Kafka/Bin
входить:
KAFKA-Server-START.SH
Затем введите имя JPS, чтобы увидеть, начинается ли оно успешно:
После успешного запуска вы можете выполнить простой тест
Сначала создайте тему
входить:
kafka-topics.sh-zookeeper Master: 2181-Create-Topic t_test-Partitions 5-Factor 2-Replication 2
Описание: Вот тема с именем T_TEST, и указаны 5 разделов, каждый раздел имеет 2 реплики. Если раздел не указан, раздел по умолчанию настроен в файле конфигурации.
Затем производственные данные
входить:
Kafka-console-producer.sh-Брокер-спирт Мастер: 9092-Topic T_Test
Вы можете использовать Ctrl+D для выхода
Затем мы открываем еще одно окно Xshell
Потреблять
входить:
KAFKA-CONSOLE-CONSUMER.SH --ZOOKEEPER MASTER: 2181-TOPIC T_TEST
Вы можете использовать Ctrl+C для выхода
Вы можете видеть, что данные потреблялись нормально.
5. Некоторые обычно используемые команды кафки
1. Начните и закрывайте кафку
bin/kafka-server-start.sh config/server.properties >>/dev/null 2> & 1 & bin/kafka-server-stop.sh
2. Проверьте очередь сообщений и конкретную очередь в кластере Kafka
Просмотреть все темы в кластере
Kafka-topics.sh-zookeeper Master: 2181, Slave1: 2181, Slave2: 2181-list
Просмотреть информацию о теме
kafka-topics.sh-zookeeper Мастер: 2181-describe-topic t_test
3. Создайте тему
kafka-topics.sh-zookeeper Master: 2181-Create-Topic t_test-Partitions 5-Factor 2-Replication 2
4. Данные по производству и потребление
Kafka-console-producer.sh-Брокер-спирт Мастер: 9092-Topic T_Test
Ctrl+D Exit
KAFKA-CONSOLE-CONSUMER.SH --ZOOKEEPER MASTER: 2181-TOPIC T_TEST
Ctrl+C Exit
5. Кафка команда Delete
kafka-topics.sh-delete-zookeeper Master: 2181-Topic t_test
6. Добавить раздел
kafka-topics.sh-alter-topict_test-zookeeper Master: 2181-Партия 10
другой
Ссылка на официальный документ для строительства среды шторма: http://storm.apache.org/releases/1.1.1/setting-ast-storm-cluster.html
Кафка Справочник по строительству Справочник Официальный документ: http://kafka.apache.org/quickstart
Суммировать
Вышеуказанное - все содержание этой статьи. Я надеюсь, что содержание этой статьи имеет определенную справочную ценность для каждого обучения или работы. Если у вас есть какие -либо вопросы, вы можете оставить сообщение для общения. Спасибо за поддержку Wulin.com.