clair cicd скачать - clair cicd Source Head Download

clair cicd

Другие категории

v1.0.2

Скачать

CLAIR-CICD

Клер, выпущенный Coreos в ноябре 16, является очень эффективным инструментом для статического анализа изображений Docker, чтобы определить, какие известные уязвимости существуют на изображениях. Интеграция CLAIR в трубопровод CI/CD:

сложный (верю, что это отчасти проблема с документацией)
Создает проблемы с производительностью (построение требуемой Clair Batabase Batabase of Alenerainators - это медленное).
Само по себе недостаточно с точки зрения оценки риска, потому что после определения уязвимостей не хватает предписывающего руководства о том, как действовать на выявленных уязвимостях

Этот репо был создан для решения вышеуказанных проблем.

Фон

Корни этого репо -центра вокруг следующих убеждений:

При вставке в трубопровод CI/CD, CLAIR может быть очень эффективной основой для автоматизации оценки риска уязвимостей изображения Docker
Услуги должны быть запускаются в контейнерах Docker, и, следовательно, трубопроводы CI/CD должны быть сосредоточены на автоматизированной генерации, оценке и в конечном итоге развертывания изображений Docker
Понимание и оценка профиля риска услуг важно, т.е. Безопасность важна
Изображения Docker не должны быть перемещены в реестр Docker, пока их профиль риска не будет понят (это важный)
CI/CD трубопроводы должны быть быстрыми. Как быстро? В идеале <5 минут между кодовым коммитом и автоматическим развертыванием начинается
Должно быть четкое разделение обязанностей между теми, кто создает изображение Docker (сервис -инженер), и теми, кто определяет риск уязвимости на изображении Docker (аналитик безопасности)
Процесс оценки риска должен генерировать доказательства, которые могут быть использованы для понимания решения оценки риска

Ключевые участники

Инженер -сервис - Отвечает за реализацию сервиса, упакованной в изображение Docker
Аналитик по безопасности - Ответственный за определение белых списков, которые используются clair_cicd , чтобы повлиять на решения о оценке риска изображения Docker

Как использовать

Начиная

Чтобы начать использовать clair-cicd , сервисный инженер вставляет одну строку кода в трубопровод CI службы. Единственная строка кода запускает Shell Script Assage-Image-Risk.sh. Часть ответственности трубопровода CI состоит в том, чтобы построить изображение Docker, а затем выдвинуть это изображение Docker в реестр Docker. Единственная линия кода clair-cicd должна появляться после того, как изображение Docker будет построено и протестировано, но до того, как изображение Docker будет выдвинуто в реестр Docker.

В этом простом случае Assess-Image-Risk.SH возвращает статус выхода с нулевым выходом, если изображение Docker не содержит известных уязвимостей выше тяжести средней тяжести. Если изображение Docker содержит какие-либо известные уязвимости с серьезностью, превышающей среду, Assage-Image-Risk.sh возвращает ненулевой выход, а сборка не удается, т. Е. Сборка должна потерпеть неудачу до того, как изображение Docker будет выдвинуто в реестр Docker.

Пример иллюстрирует, о чем описано для альпийского изображения: 3.4 Docker Image.

 ~ > curl -s -L 
  https://raw.githubusercontent.com/simonsdave/clair-cicd/master/bin/assess-image-risk.sh | 
  bash -s -- alpine:3.4
~ > echo $?
0
~ >

Понимание решения оценки риска

Чтобы понять, как assess-image-risk.sh принимает решение о оценке риска, попробуйте использовать флаг -v .

 ~ > curl -s -L 
  https://raw.githubusercontent.com/simonsdave/clair-cicd/master/bin/assess-image-risk.sh | 
  bash -s -- -v alpine:3.4
2020-01-12 16:43:35 pulling clair database image ' simonsdave/clair-cicd-database:latest '
2020-01-12 16:44:17 successfully pulled clair database image
2020-01-12 16:44:17 starting clair database container ' clair-db-c1dbb5f93ae98755 '
2020-01-12 16:44:23 waiting for database server in container ' clair-db-c1dbb5f93ae98755 ' to start ...........................
2020-01-12 16:44:54 successfully started clair database container
2020-01-12 16:44:54 clair configuration in ' /var/folders/7x/rr443kj575s8zz54jrbrp4jc0000gn/T/tmp.ElAlhGNl '
2020-01-12 16:44:59 pulling clair image ' simonsdave/clair-cicd-clair:latest '
2020-01-12 16:45:13 successfully pulled clair image ' simonsdave/clair-cicd-clair:latest '
2020-01-12 16:45:13 starting clair container ' clair-e9573ae537134fa0 '
2020-01-12 16:45:15 successfully started clair container ' clair-e9573ae537134fa0 '
2020-01-12 16:45:15 saving docker image ' alpine:3.4 ' to ' /tmp/tmp.IaNHCH '
2020-01-12 16:45:16 successfully saved docker image ' alpine:3.4 '
2020-01-12 16:45:16 starting to create clair layers
2020-01-12 16:45:16 creating clair layer ' 378cb6b4a17e08c366cebd813d218f60889848387fa61a56ac054ca027a4890d '
2020-01-12 16:45:16 successfully created clair layer ' 378cb6b4a17e08c366cebd813d218f60889848387fa61a56ac054ca027a4890d '
2020-01-12 16:45:16 done creating clair layers
2020-01-12 16:45:16 starting to get vulnerabilities for clair layers
2020-01-12 16:45:16 saving vulnerabilities to directory ' /tmp/tmp.MDncHN '
2020-01-12 16:45:16 getting vulnerabilities for layer ' 378cb6b4a17e08c366cebd813d218f60889848387fa61a56ac054ca027a4890d '
2020-01-12 16:45:16 successfully got vulnerabilities for layer ' 378cb6b4a17e08c366cebd813d218f60889848387fa61a56ac054ca027a4890d '
2020-01-12 16:45:16 done getting vulnerabilities for clair layers
2020-01-12 21:45:17 INFO io:89 Looking for vulnerabilities in directory ' /tmp/tmp.MDncHN '
2020-01-12 21:45:17 INFO io:95 Found 1 files with vulnerabilities in directory ' /tmp/tmp.MDncHN '
2020-01-12 21:45:17 INFO io:104 Looking for vulnerabilities in ' /tmp/tmp.MDncHN/378cb6b4a17e08c366cebd813d218f60889848387fa61a56ac054ca027a4890d.json '
2020-01-12 21:45:17 INFO io:122 Found 0 vulnerabilities in ' /tmp/tmp.MDncHN/378cb6b4a17e08c366cebd813d218f60889848387fa61a56ac054ca027a4890d.json '
2020-01-12 21:45:17 INFO io:133 Found 0 vulnerabilities in 1 files in directory ' /tmp/tmp.MDncHN '
2020-01-12 21:45:17 INFO assessor:19 Assessment starts
2020-01-12 21:45:17 INFO assessor:26 Assessment ends - pass
~ > echo $?
0
~ >

Добавление белого списка уязвимости

В приведенных выше примерах использовался белый список уязвимости по уязвимости. Когда это указано в качестве документа JSON, этот белый список будет:

{
  "ignoreSevertiesAtOrBelow" : " medium "
}

По умолчанию Assess-Image-Risk.SH возвращает ненулевой статус выхода, если на изображении выявлены какие-либо уязвимости с серьезностью, превышающей среду. Среда получена из белого списка уязвимости по умолчанию.

Приведенный ниже пример иллюстрирует, как указать белый список уязвимости и с тяжестью, отличной от среды. Обратите внимание на использование префикса json:// чтобы указать, что это встроенный белый список.

 ~ > curl -s -L 
  https://raw.githubusercontent.com/simonsdave/clair-cicd/master/bin/assess-image-risk.sh | 
  bash -s -- -v --whitelist ' json://{"ignoreSevertiesAtOrBelow": "negligible"} ' ubuntu:18.04
2020-01-12 16:46:56 pulling clair database image ' simonsdave/clair-cicd-database:latest '
2020-01-12 16:46:58 successfully pulled clair database image
2020-01-12 16:46:58 starting clair database container ' clair-db-3b0811925f7e8bc2 '
2020-01-12 16:46:59 waiting for database server in container ' clair-db-3b0811925f7e8bc2 ' to start .............................
2020-01-12 16:47:32 successfully started clair database container
2020-01-12 16:47:32 clair configuration in ' /var/folders/7x/rr443kj575s8zz54jrbrp4jc0000gn/T/tmp.BXCs3Giy '
2020-01-12 16:47:34 pulling clair image ' simonsdave/clair-cicd-clair:latest '
2020-01-12 16:47:36 successfully pulled clair image ' simonsdave/clair-cicd-clair:latest '
2020-01-12 16:47:36 starting clair container ' clair-fc579c71e7daba57 '
2020-01-12 16:47:38 successfully started clair container ' clair-fc579c71e7daba57 '
2020-01-12 16:47:38 saving docker image ' ubuntu:18.04 ' to ' /tmp/tmp.lPDhNd '
2020-01-12 16:47:43 successfully saved docker image ' ubuntu:18.04 '
2020-01-12 16:47:43 starting to create clair layers
2020-01-12 16:47:43 creating clair layer ' cc59b0ca1cf21d77c81a98138703008daa167b1ab1a115849d498dba64e738dd '
2020-01-12 16:47:43 successfully created clair layer ' cc59b0ca1cf21d77c81a98138703008daa167b1ab1a115849d498dba64e738dd '
2020-01-12 16:47:43 creating clair layer ' 27a911bb510bf1e9458437f0f44216fd38fd08c462ed7aa026d91aab8c054e54 '
2020-01-12 16:47:44 successfully created clair layer ' 27a911bb510bf1e9458437f0f44216fd38fd08c462ed7aa026d91aab8c054e54 '
2020-01-12 16:47:44 creating clair layer ' d80735acaa72040a0a98ca3ae6891f9abb4e2f5d627b4099c4fefdc3ce1e696e '
2020-01-12 16:47:44 successfully created clair layer ' d80735acaa72040a0a98ca3ae6891f9abb4e2f5d627b4099c4fefdc3ce1e696e '
2020-01-12 16:47:44 creating clair layer ' 1ee34a985f7aef86436a5519f5ad83f866a74c7d9a0c22e47c4213ee9cb64e6d '
2020-01-12 16:47:44 successfully created clair layer ' 1ee34a985f7aef86436a5519f5ad83f866a74c7d9a0c22e47c4213ee9cb64e6d '
2020-01-12 16:47:44 done creating clair layers
2020-01-12 16:47:44 starting to get vulnerabilities for clair layers
2020-01-12 16:47:44 saving vulnerabilities to directory ' /tmp/tmp.dkfgmI '
2020-01-12 16:47:44 getting vulnerabilities for layer ' cc59b0ca1cf21d77c81a98138703008daa167b1ab1a115849d498dba64e738dd '
2020-01-12 16:47:44 successfully got vulnerabilities for layer ' cc59b0ca1cf21d77c81a98138703008daa167b1ab1a115849d498dba64e738dd '
2020-01-12 16:47:44 getting vulnerabilities for layer ' 27a911bb510bf1e9458437f0f44216fd38fd08c462ed7aa026d91aab8c054e54 '
2020-01-12 16:47:44 successfully got vulnerabilities for layer ' 27a911bb510bf1e9458437f0f44216fd38fd08c462ed7aa026d91aab8c054e54 '
2020-01-12 16:47:44 getting vulnerabilities for layer ' d80735acaa72040a0a98ca3ae6891f9abb4e2f5d627b4099c4fefdc3ce1e696e '
2020-01-12 16:47:44 successfully got vulnerabilities for layer ' d80735acaa72040a0a98ca3ae6891f9abb4e2f5d627b4099c4fefdc3ce1e696e '
2020-01-12 16:47:44 getting vulnerabilities for layer ' 1ee34a985f7aef86436a5519f5ad83f866a74c7d9a0c22e47c4213ee9cb64e6d '
2020-01-12 16:47:44 successfully got vulnerabilities for layer ' 1ee34a985f7aef86436a5519f5ad83f866a74c7d9a0c22e47c4213ee9cb64e6d '
2020-01-12 16:47:44 done getting vulnerabilities for clair layers
2020-01-12 21:47:45 INFO io:89 Looking for vulnerabilities in directory ' /tmp/tmp.dkfgmI '
2020-01-12 21:47:45 INFO io:95 Found 4 files with vulnerabilities in directory ' /tmp/tmp.dkfgmI '
2020-01-12 21:47:45 INFO io:104 Looking for vulnerabilities in ' /tmp/tmp.dkfgmI/27a911bb510bf1e9458437f0f44216fd38fd08c462ed7aa026d91aab8c054e54.json '
2020-01-12 21:47:45 INFO io:122 Found 33 vulnerabilities in ' /tmp/tmp.dkfgmI/27a911bb510bf1e9458437f0f44216fd38fd08c462ed7aa026d91aab8c054e54.json '
2020-01-12 21:47:45 INFO io:104 Looking for vulnerabilities in ' /tmp/tmp.dkfgmI/cc59b0ca1cf21d77c81a98138703008daa167b1ab1a115849d498dba64e738dd.json '
2020-01-12 21:47:45 INFO io:122 Found 33 vulnerabilities in ' /tmp/tmp.dkfgmI/cc59b0ca1cf21d77c81a98138703008daa167b1ab1a115849d498dba64e738dd.json '
2020-01-12 21:47:45 INFO io:104 Looking for vulnerabilities in ' /tmp/tmp.dkfgmI/1ee34a985f7aef86436a5519f5ad83f866a74c7d9a0c22e47c4213ee9cb64e6d.json '
2020-01-12 21:47:45 INFO io:122 Found 33 vulnerabilities in ' /tmp/tmp.dkfgmI/1ee34a985f7aef86436a5519f5ad83f866a74c7d9a0c22e47c4213ee9cb64e6d.json '
2020-01-12 21:47:45 INFO io:104 Looking for vulnerabilities in ' /tmp/tmp.dkfgmI/d80735acaa72040a0a98ca3ae6891f9abb4e2f5d627b4099c4fefdc3ce1e696e.json '
2020-01-12 21:47:45 INFO io:122 Found 33 vulnerabilities in ' /tmp/tmp.dkfgmI/d80735acaa72040a0a98ca3ae6891f9abb4e2f5d627b4099c4fefdc3ce1e696e.json '
2020-01-12 21:47:45 INFO io:133 Found 33 vulnerabilities in 4 files in directory ' /tmp/tmp.dkfgmI '
2020-01-12 21:47:45 INFO assessor:19 Assessment starts
2020-01-12 21:47:45 INFO assessor:34 Assessing vulnerability CVE-2018-11236 - start
2020-01-12 21:47:45 INFO assessor:52 Vulnerability CVE-2018-11236 @ severity medium greater than whitelist severity @ negligible - fail
2020-01-12 21:47:45 INFO assessor:36 Assessing vulnerability CVE-2018-11236 - finish
2020-01-12 21:47:45 INFO assessor:23 Assessment ends - fail
~ > echo $?
1
~ >

Выше приведено примером встроенного белого списка. Также возможно указать белый список в файле. Пример ниже иллюстрирует использование. Примечание Использование file:// prefix, чтобы указать, что белый список содержится в файле.

 ~ > cat whitelist.json
{
  " ignoreSevertiesAtOrBelow " : " medium "
}
~ > curl -s -L 
  https://raw.githubusercontent.com/simonsdave/clair-cicd/master/bin/assess-image-risk.sh | 
  bash -s -- -v --whitelist file://whitelist.json alpine:3.4
2020-01-12 16:48:41 pulling clair database image ' simonsdave/clair-cicd-database:latest '
2020-01-12 16:48:42 successfully pulled clair database image
2020-01-12 16:48:42 starting clair database container ' clair-db-191152e37b864e4b '
2020-01-12 16:48:43 waiting for database server in container ' clair-db-191152e37b864e4b ' to start .............................
2020-01-12 16:49:16 successfully started clair database container
2020-01-12 16:49:16 clair configuration in ' /var/folders/7x/rr443kj575s8zz54jrbrp4jc0000gn/T/tmp.GdlBNmiG '
2020-01-12 16:49:19 pulling clair image ' simonsdave/clair-cicd-clair:latest '
2020-01-12 16:49:20 successfully pulled clair image ' simonsdave/clair-cicd-clair:latest '
2020-01-12 16:49:20 starting clair container ' clair-747d1c50606fba7e '
2020-01-12 16:49:21 successfully started clair container ' clair-747d1c50606fba7e '
2020-01-12 16:49:22 saving docker image ' alpine:3.4 ' to ' /tmp/tmp.Eldkbe '
2020-01-12 16:49:23 successfully saved docker image ' alpine:3.4 '
2020-01-12 16:49:23 starting to create clair layers
2020-01-12 16:49:23 creating clair layer ' 378cb6b4a17e08c366cebd813d218f60889848387fa61a56ac054ca027a4890d '
2020-01-12 16:49:23 successfully created clair layer ' 378cb6b4a17e08c366cebd813d218f60889848387fa61a56ac054ca027a4890d '
2020-01-12 16:49:23 done creating clair layers
2020-01-12 16:49:23 starting to get vulnerabilities for clair layers
2020-01-12 16:49:23 saving vulnerabilities to directory ' /tmp/tmp.pCOhlL '
2020-01-12 16:49:23 getting vulnerabilities for layer ' 378cb6b4a17e08c366cebd813d218f60889848387fa61a56ac054ca027a4890d '
2020-01-12 16:49:23 successfully got vulnerabilities for layer ' 378cb6b4a17e08c366cebd813d218f60889848387fa61a56ac054ca027a4890d '
2020-01-12 16:49:23 done getting vulnerabilities for clair layers
2020-01-12 21:49:23 INFO io:89 Looking for vulnerabilities in directory ' /tmp/tmp.pCOhlL '
2020-01-12 21:49:23 INFO io:95 Found 1 files with vulnerabilities in directory ' /tmp/tmp.pCOhlL '
2020-01-12 21:49:23 INFO io:104 Looking for vulnerabilities in ' /tmp/tmp.pCOhlL/378cb6b4a17e08c366cebd813d218f60889848387fa61a56ac054ca027a4890d.json '
2020-01-12 21:49:23 INFO io:122 Found 0 vulnerabilities in ' /tmp/tmp.pCOhlL/378cb6b4a17e08c366cebd813d218f60889848387fa61a56ac054ca027a4890d.json '
2020-01-12 21:49:23 INFO io:133 Found 0 vulnerabilities in 1 files in directory ' /tmp/tmp.pCOhlL '
2020-01-12 21:49:23 INFO assessor:19 Assessment starts
2020-01-12 21:49:23 INFO assessor:26 Assessment ends - pass
~ > echo $?
0
~ >

Конкретные уязвимости также могут быть белые. Пример ниже иллюстрирует эту возможность. Если вы добавите флаг -v (словес) в assess-image-risk.sh Vulnerability CVE-2019-13627 in whitelist - pass

 ~ > curl -s -L 
  https://raw.githubusercontent.com/simonsdave/clair-cicd/master/bin/assess-image-risk.sh | 
  bash -s -- --whitelist ' json://{"ignoreSevertiesAtOrBelow":"low"} ' ubuntu:18.04
~ > echo $?
1
~ > cat whitelist.json
{
  " ignoreSevertiesAtOrBelow " : " low " ,
  " vulnerabilities " : [
    { " cveId " : " CVE-2018-20839 " , " rationale " : " reason #1 " },
    { " cveId " : " CVE-2019-5188 " , " rationale " : " reason #2 " },
    { " cveId " : " CVE-2018-11236 " , " rationale " : " reason #3 " },
    { " cveId " : " CVE-2019-13627 " , " rationale " : " reason #4 " },
    { " cveId " : " CVE-2019-13050 " , " rationale " : " reason #5 " },
    { " cveId " : " CVE-2018-11237 " , " rationale " : " reason #6 " },
    { " cveId " : " CVE-2018-19591 " , " rationale " : " reason #7 " }
  ]
}
~ > curl -s -L 
  https://raw.githubusercontent.com/simonsdave/clair-cicd/master/bin/assess-image-risk.sh | 
  bash -s -- --whitelist ' file://whitelist.json ' ubuntu:18.04
~ > echo $?
0
~ >

Ito WhiteLists Стоит увидеть проблему № 7, в которой говорится:

При указании белого списка для assess-image-risk.sh с аргументом командной строки --whitelist должен поддерживать схему https:// в дополнение к существующим схемам json:// , file:// . Почему это важно? В идеале белые списки должны поддерживаться аналитиком безопасности, а не инженером по обслуживанию. Это означает, что белые списки должны поддерживаться в другом репо с соответствующим процессом управления изменениями. Схемы json:// и file:// подходят для поддержания белых списков в одном и том же репо -коде. Тем не менее, было бы лучше поддерживать белые списки в репо, которая читается для инженеров -сервисных инженеров и редактируется только аналитиками безопасности, которые могут применять соответствующие процессы управления изменениями, используются для внесения изменений (обзоры кода, филиалы функций и т. Д.).

Как это работает + требования/предположения

Есть 3 движущихся частях:

Assess-Image Risk.sh-это сценарий, который делает тяжелую работу, чтобы координировать взаимодействие двух других движущихся предметов
База данных о уязвимости Клэра, которая упакована в изображение Docker Simonsdave/Clair-Database-работа Circleci Cron используется для восстановления Simonsdave/Clair-Database 3 дня в неделю, чтобы обеспечить актуальную базу данных уязвимости
Набор сценариев оценки риска Python и Bash, упакованных в изображение Docker Docker Simonsdave/Clair-Clair, которое основано на Docker Image Quay.io/coreos/clair, который упаковывает Clair

Из образцов в начале этого DOC вы увидите подход скручивания последнего выпуска оценки-риска. Assess-Image-Risk.SH затем раскручивает контейнер, используя Simonsdave/Clair-Database. Затем используется другой контейнер с использованием Simonsdave/Clair-CICD-Clair с контейнером SimonsDave/Clair-CICD-CLAIR, который может разговаривать с контейнером-датабазой SimonsDave/Clair. После того, как контейнер Simonsdave/Clair-CICD-Clair будет запущен, Assess-Image-Risk.sh Docker Exec's This Bash Script, который проводит фактическую оценку риска.

Вооружившись пониманием того, как работает clair-cicd вы оцените, что способность выполнять оценку-риск .sh-это то, что определяет требования к среде выполнения. Assess-Image Risk.sh-это сценарий, используемый для запуска процесса оценки риска, и поэтому этот сценарий определяет основную часть предположений/требований для clair-cicd -в скрипте используется Docker, SED и OpenSSL, поэтому clair-cicd

Ссылки

12 мая 22 года - Определите известные уязвимости на изображении Docker, используя CLAIR
1 ноября 20 - практическое введение в безопасность контейнеров
5 августа '20 - Как выполнить управление уязвимостью с Docker и CI/CD
20 мая 20 - сканеры безопасности для Python и Docker: от кода к зависимостям
29 января '20 - что такое Devsecops, и чем они отличаются от DevOps?
26 декабря 1919 года - Coreos Clair - Часть 2: Установка и интеграция
4 октября 1919 года - Coreos Clair - Часть 1: сканирование изображений контейнера
1 октября 18 - соответствие выпечки в вашем трубопроводе CI/CD
11 сентября '18 - Что такое Devsecops?
20 июня '18 - Где в цикле DevOps вы занимаетесь безопасностью?
8 мая 18 - Devsecops: 7 привычек сильных организаций безопасности
18 апреля '18 - Cloudcast #343 - сканирование уязвимости контейнера
21 февраля '18 - Инструмент автоматического тестирования соответствия ускоряет DevSecops
20 февраля 18 - 6 требований к достижению DevSecops
22 января '18 - DevOps и безопасность: как преодолеть культурные проблемы и трансформироваться в True Devsecops
15 января '18 - Почему Devsecops имеет значение для ИТ -лидеров
27 ноября 17 года - что такое управление уязвимостью? Процессы и программное обеспечение для определения приоритетов угроз
23 октября 17
9 октября 17 - 10 слоев безопасности контейнера Linux
5 октября 17 года - как сохранить безопасность при развертывании DevOps
26 января 17
26 июля 16 года - инъекция безопасности в непрерывную доставку
5 июня '16 - < - Сдвига безопасности влево
Пять секретов и два общих «gotchas» сканирования уязвимостей