clair cicdダウンロードclair cicdソースヘッドダウンロード

clair cicd

その他のカテゴリー

v1.0.2

ダウンロード

Clair-Cicd

Coreosが16年11月にリリースしたClairは、Docker画像を静的に分析して、画像に存在する既知の脆弱性を判断するための非常に効果的なツールです。 ClairをCI/CDパイプラインに統合する：

複雑です（これは部分的にドキュメントの課題であると信じています）
パフォーマンスの問題を作成します（脆弱性のポストグレスデータベースが必要なクレアの構築は遅いです）
脆弱性が特定されると、特定された脆弱性に基づいて行動する方法に関する規範的なガイダンスが不足しているため、リスク評価の観点からは不十分です。

このレポは、上記の課題に対処するために作成されました。

背景

次の信念をめぐるこのレポのルーツのルーツ：

CI/CDパイプラインに挿入すると、ClairはDockerイメージの脆弱性のリスク評価を自動化するための非常に効果的な基盤となります
サービスはDockerコンテナで実行する必要があります。したがって、CI/CDパイプラインは、自動化された生成、評価、最終的にDocker画像の展開に焦点を当てる必要があります。
サービスのリスクプロファイルを理解して評価することは重要です。セキュリティは重要です
Docker画像は、リスクプロファイルが理解されるまでDockerレジストリにプッシュしないでください（これは重要なものです）
CI/CDパイプラインは速くなければなりません。どれくらい速く？理想的には、コードコミットと自動展開の間に5分未満が始まります
Dockerイメージ（サービスエンジニア）を作成する人と、Dockerイメージの脆弱性のリスクを判断する人（セキュリティアナリスト）との間には、明確な責任の分割が必要なはずです。
リスク評価プロセスは、リスク評価の決定を理解するために使用できる証拠を生成する必要があります

主要な参加者

サービスエンジニア - Docker画像にパッケージ化されたサービスの実装を担当します
セキュリティアナリスト - clair_cicdによって消費されているホワイトリストの定義を担当して、Dockerイメージのリスク評価の決定に影響を与える

使い方

はじめる

clair-cicdの使用を開始するには、サービスエンジニアが1行のコードをサービスのCIパイプラインに挿入します。コードの単一行は、Shell Script Assess-Image-risk.shを実行します。 CIパイプラインの責任の一部は、Dockerイメージを構築し、そのDockerイメージをDockerレジストリにプッシュすることです。 clair-cicdコードの単一行は、Dockerイメージが構築およびテストされた後、Docker画像がDockerレジストリにプッシュされる前に表示されます。

この単純なケースでは、Docker画像に中程度の重大度を超える既知の脆弱性が含まれていない場合、assess-image-risk.shはゼロ出口ステータスを返します。 Docker画像に、媒体よりも高い重大度を持つ既知の脆弱性が含まれている場合、assess-image-risk.shはゼロ以外の出口ステータスを返し、ビルドはIEに失敗します。 Docker画像がDockerレジストリにプッシュされる前に、ビルドが失敗するはずです。

この例は、高山について説明されていることを示しています：3.4 Docker Image。

 ~ > curl -s -L 
  https://raw.githubusercontent.com/simonsdave/clair-cicd/master/bin/assess-image-risk.sh | 
  bash -s -- alpine:3.4
~ > echo $?
0
~ >

リスク評価の決定を理解する

assess-image-risk.shどのようにリスク評価の決定を下しているかを理解するには、 -vフラグを使用して試してみてください。

 ~ > curl -s -L 
  https://raw.githubusercontent.com/simonsdave/clair-cicd/master/bin/assess-image-risk.sh | 
  bash -s -- -v alpine:3.4
2020-01-12 16:43:35 pulling clair database image ' simonsdave/clair-cicd-database:latest '
2020-01-12 16:44:17 successfully pulled clair database image
2020-01-12 16:44:17 starting clair database container ' clair-db-c1dbb5f93ae98755 '
2020-01-12 16:44:23 waiting for database server in container ' clair-db-c1dbb5f93ae98755 ' to start ...........................
2020-01-12 16:44:54 successfully started clair database container
2020-01-12 16:44:54 clair configuration in ' /var/folders/7x/rr443kj575s8zz54jrbrp4jc0000gn/T/tmp.ElAlhGNl '
2020-01-12 16:44:59 pulling clair image ' simonsdave/clair-cicd-clair:latest '
2020-01-12 16:45:13 successfully pulled clair image ' simonsdave/clair-cicd-clair:latest '
2020-01-12 16:45:13 starting clair container ' clair-e9573ae537134fa0 '
2020-01-12 16:45:15 successfully started clair container ' clair-e9573ae537134fa0 '
2020-01-12 16:45:15 saving docker image ' alpine:3.4 ' to ' /tmp/tmp.IaNHCH '
2020-01-12 16:45:16 successfully saved docker image ' alpine:3.4 '
2020-01-12 16:45:16 starting to create clair layers
2020-01-12 16:45:16 creating clair layer ' 378cb6b4a17e08c366cebd813d218f60889848387fa61a56ac054ca027a4890d '
2020-01-12 16:45:16 successfully created clair layer ' 378cb6b4a17e08c366cebd813d218f60889848387fa61a56ac054ca027a4890d '
2020-01-12 16:45:16 done creating clair layers
2020-01-12 16:45:16 starting to get vulnerabilities for clair layers
2020-01-12 16:45:16 saving vulnerabilities to directory ' /tmp/tmp.MDncHN '
2020-01-12 16:45:16 getting vulnerabilities for layer ' 378cb6b4a17e08c366cebd813d218f60889848387fa61a56ac054ca027a4890d '
2020-01-12 16:45:16 successfully got vulnerabilities for layer ' 378cb6b4a17e08c366cebd813d218f60889848387fa61a56ac054ca027a4890d '
2020-01-12 16:45:16 done getting vulnerabilities for clair layers
2020-01-12 21:45:17 INFO io:89 Looking for vulnerabilities in directory ' /tmp/tmp.MDncHN '
2020-01-12 21:45:17 INFO io:95 Found 1 files with vulnerabilities in directory ' /tmp/tmp.MDncHN '
2020-01-12 21:45:17 INFO io:104 Looking for vulnerabilities in ' /tmp/tmp.MDncHN/378cb6b4a17e08c366cebd813d218f60889848387fa61a56ac054ca027a4890d.json '
2020-01-12 21:45:17 INFO io:122 Found 0 vulnerabilities in ' /tmp/tmp.MDncHN/378cb6b4a17e08c366cebd813d218f60889848387fa61a56ac054ca027a4890d.json '
2020-01-12 21:45:17 INFO io:133 Found 0 vulnerabilities in 1 files in directory ' /tmp/tmp.MDncHN '
2020-01-12 21:45:17 INFO assessor:19 Assessment starts
2020-01-12 21:45:17 INFO assessor:26 Assessment ends - pass
~ > echo $?
0
~ >

脆弱性ホワイトリストの追加

上記の例では、デフォルトの脆弱性ホワイトリストが使用されました。 JSONドキュメントとして指定された場合、このホワイトリストは次のとおりです。

{
  "ignoreSevertiesAtOrBelow" : " medium "
}

デフォルトでは、Assess-Image-risk.shは、画像で脆弱性が識別されている場合、ゼロ以外の出口ステータスを返します。媒体は、デフォルトの脆弱性ホワイトリストから導出されます。

以下の例は、脆弱性ホワイトリストと媒体以外の重大度を指定する方法を示しています。 json://プレフィックスの使用は、これがインラインホワイトリストであることを示すことに注意してください。

 ~ > curl -s -L 
  https://raw.githubusercontent.com/simonsdave/clair-cicd/master/bin/assess-image-risk.sh | 
  bash -s -- -v --whitelist ' json://{"ignoreSevertiesAtOrBelow": "negligible"} ' ubuntu:18.04
2020-01-12 16:46:56 pulling clair database image ' simonsdave/clair-cicd-database:latest '
2020-01-12 16:46:58 successfully pulled clair database image
2020-01-12 16:46:58 starting clair database container ' clair-db-3b0811925f7e8bc2 '
2020-01-12 16:46:59 waiting for database server in container ' clair-db-3b0811925f7e8bc2 ' to start .............................
2020-01-12 16:47:32 successfully started clair database container
2020-01-12 16:47:32 clair configuration in ' /var/folders/7x/rr443kj575s8zz54jrbrp4jc0000gn/T/tmp.BXCs3Giy '
2020-01-12 16:47:34 pulling clair image ' simonsdave/clair-cicd-clair:latest '
2020-01-12 16:47:36 successfully pulled clair image ' simonsdave/clair-cicd-clair:latest '
2020-01-12 16:47:36 starting clair container ' clair-fc579c71e7daba57 '
2020-01-12 16:47:38 successfully started clair container ' clair-fc579c71e7daba57 '
2020-01-12 16:47:38 saving docker image ' ubuntu:18.04 ' to ' /tmp/tmp.lPDhNd '
2020-01-12 16:47:43 successfully saved docker image ' ubuntu:18.04 '
2020-01-12 16:47:43 starting to create clair layers
2020-01-12 16:47:43 creating clair layer ' cc59b0ca1cf21d77c81a98138703008daa167b1ab1a115849d498dba64e738dd '
2020-01-12 16:47:43 successfully created clair layer ' cc59b0ca1cf21d77c81a98138703008daa167b1ab1a115849d498dba64e738dd '
2020-01-12 16:47:43 creating clair layer ' 27a911bb510bf1e9458437f0f44216fd38fd08c462ed7aa026d91aab8c054e54 '
2020-01-12 16:47:44 successfully created clair layer ' 27a911bb510bf1e9458437f0f44216fd38fd08c462ed7aa026d91aab8c054e54 '
2020-01-12 16:47:44 creating clair layer ' d80735acaa72040a0a98ca3ae6891f9abb4e2f5d627b4099c4fefdc3ce1e696e '
2020-01-12 16:47:44 successfully created clair layer ' d80735acaa72040a0a98ca3ae6891f9abb4e2f5d627b4099c4fefdc3ce1e696e '
2020-01-12 16:47:44 creating clair layer ' 1ee34a985f7aef86436a5519f5ad83f866a74c7d9a0c22e47c4213ee9cb64e6d '
2020-01-12 16:47:44 successfully created clair layer ' 1ee34a985f7aef86436a5519f5ad83f866a74c7d9a0c22e47c4213ee9cb64e6d '
2020-01-12 16:47:44 done creating clair layers
2020-01-12 16:47:44 starting to get vulnerabilities for clair layers
2020-01-12 16:47:44 saving vulnerabilities to directory ' /tmp/tmp.dkfgmI '
2020-01-12 16:47:44 getting vulnerabilities for layer ' cc59b0ca1cf21d77c81a98138703008daa167b1ab1a115849d498dba64e738dd '
2020-01-12 16:47:44 successfully got vulnerabilities for layer ' cc59b0ca1cf21d77c81a98138703008daa167b1ab1a115849d498dba64e738dd '
2020-01-12 16:47:44 getting vulnerabilities for layer ' 27a911bb510bf1e9458437f0f44216fd38fd08c462ed7aa026d91aab8c054e54 '
2020-01-12 16:47:44 successfully got vulnerabilities for layer ' 27a911bb510bf1e9458437f0f44216fd38fd08c462ed7aa026d91aab8c054e54 '
2020-01-12 16:47:44 getting vulnerabilities for layer ' d80735acaa72040a0a98ca3ae6891f9abb4e2f5d627b4099c4fefdc3ce1e696e '
2020-01-12 16:47:44 successfully got vulnerabilities for layer ' d80735acaa72040a0a98ca3ae6891f9abb4e2f5d627b4099c4fefdc3ce1e696e '
2020-01-12 16:47:44 getting vulnerabilities for layer ' 1ee34a985f7aef86436a5519f5ad83f866a74c7d9a0c22e47c4213ee9cb64e6d '
2020-01-12 16:47:44 successfully got vulnerabilities for layer ' 1ee34a985f7aef86436a5519f5ad83f866a74c7d9a0c22e47c4213ee9cb64e6d '
2020-01-12 16:47:44 done getting vulnerabilities for clair layers
2020-01-12 21:47:45 INFO io:89 Looking for vulnerabilities in directory ' /tmp/tmp.dkfgmI '
2020-01-12 21:47:45 INFO io:95 Found 4 files with vulnerabilities in directory ' /tmp/tmp.dkfgmI '
2020-01-12 21:47:45 INFO io:104 Looking for vulnerabilities in ' /tmp/tmp.dkfgmI/27a911bb510bf1e9458437f0f44216fd38fd08c462ed7aa026d91aab8c054e54.json '
2020-01-12 21:47:45 INFO io:122 Found 33 vulnerabilities in ' /tmp/tmp.dkfgmI/27a911bb510bf1e9458437f0f44216fd38fd08c462ed7aa026d91aab8c054e54.json '
2020-01-12 21:47:45 INFO io:104 Looking for vulnerabilities in ' /tmp/tmp.dkfgmI/cc59b0ca1cf21d77c81a98138703008daa167b1ab1a115849d498dba64e738dd.json '
2020-01-12 21:47:45 INFO io:122 Found 33 vulnerabilities in ' /tmp/tmp.dkfgmI/cc59b0ca1cf21d77c81a98138703008daa167b1ab1a115849d498dba64e738dd.json '
2020-01-12 21:47:45 INFO io:104 Looking for vulnerabilities in ' /tmp/tmp.dkfgmI/1ee34a985f7aef86436a5519f5ad83f866a74c7d9a0c22e47c4213ee9cb64e6d.json '
2020-01-12 21:47:45 INFO io:122 Found 33 vulnerabilities in ' /tmp/tmp.dkfgmI/1ee34a985f7aef86436a5519f5ad83f866a74c7d9a0c22e47c4213ee9cb64e6d.json '
2020-01-12 21:47:45 INFO io:104 Looking for vulnerabilities in ' /tmp/tmp.dkfgmI/d80735acaa72040a0a98ca3ae6891f9abb4e2f5d627b4099c4fefdc3ce1e696e.json '
2020-01-12 21:47:45 INFO io:122 Found 33 vulnerabilities in ' /tmp/tmp.dkfgmI/d80735acaa72040a0a98ca3ae6891f9abb4e2f5d627b4099c4fefdc3ce1e696e.json '
2020-01-12 21:47:45 INFO io:133 Found 33 vulnerabilities in 4 files in directory ' /tmp/tmp.dkfgmI '
2020-01-12 21:47:45 INFO assessor:19 Assessment starts
2020-01-12 21:47:45 INFO assessor:34 Assessing vulnerability CVE-2018-11236 - start
2020-01-12 21:47:45 INFO assessor:52 Vulnerability CVE-2018-11236 @ severity medium greater than whitelist severity @ negligible - fail
2020-01-12 21:47:45 INFO assessor:36 Assessing vulnerability CVE-2018-11236 - finish
2020-01-12 21:47:45 INFO assessor:23 Assessment ends - fail
~ > echo $?
1
~ >

上記は、インラインホワイトリストの例です。ファイルにホワイトリストを指定することも可能です。以下の例は、使用法を示しています。 file://プレフィックスを使用して、ホワイトリストがファイルに含まれていることを示します。

 ~ > cat whitelist.json
{
  " ignoreSevertiesAtOrBelow " : " medium "
}
~ > curl -s -L 
  https://raw.githubusercontent.com/simonsdave/clair-cicd/master/bin/assess-image-risk.sh | 
  bash -s -- -v --whitelist file://whitelist.json alpine:3.4
2020-01-12 16:48:41 pulling clair database image ' simonsdave/clair-cicd-database:latest '
2020-01-12 16:48:42 successfully pulled clair database image
2020-01-12 16:48:42 starting clair database container ' clair-db-191152e37b864e4b '
2020-01-12 16:48:43 waiting for database server in container ' clair-db-191152e37b864e4b ' to start .............................
2020-01-12 16:49:16 successfully started clair database container
2020-01-12 16:49:16 clair configuration in ' /var/folders/7x/rr443kj575s8zz54jrbrp4jc0000gn/T/tmp.GdlBNmiG '
2020-01-12 16:49:19 pulling clair image ' simonsdave/clair-cicd-clair:latest '
2020-01-12 16:49:20 successfully pulled clair image ' simonsdave/clair-cicd-clair:latest '
2020-01-12 16:49:20 starting clair container ' clair-747d1c50606fba7e '
2020-01-12 16:49:21 successfully started clair container ' clair-747d1c50606fba7e '
2020-01-12 16:49:22 saving docker image ' alpine:3.4 ' to ' /tmp/tmp.Eldkbe '
2020-01-12 16:49:23 successfully saved docker image ' alpine:3.4 '
2020-01-12 16:49:23 starting to create clair layers
2020-01-12 16:49:23 creating clair layer ' 378cb6b4a17e08c366cebd813d218f60889848387fa61a56ac054ca027a4890d '
2020-01-12 16:49:23 successfully created clair layer ' 378cb6b4a17e08c366cebd813d218f60889848387fa61a56ac054ca027a4890d '
2020-01-12 16:49:23 done creating clair layers
2020-01-12 16:49:23 starting to get vulnerabilities for clair layers
2020-01-12 16:49:23 saving vulnerabilities to directory ' /tmp/tmp.pCOhlL '
2020-01-12 16:49:23 getting vulnerabilities for layer ' 378cb6b4a17e08c366cebd813d218f60889848387fa61a56ac054ca027a4890d '
2020-01-12 16:49:23 successfully got vulnerabilities for layer ' 378cb6b4a17e08c366cebd813d218f60889848387fa61a56ac054ca027a4890d '
2020-01-12 16:49:23 done getting vulnerabilities for clair layers
2020-01-12 21:49:23 INFO io:89 Looking for vulnerabilities in directory ' /tmp/tmp.pCOhlL '
2020-01-12 21:49:23 INFO io:95 Found 1 files with vulnerabilities in directory ' /tmp/tmp.pCOhlL '
2020-01-12 21:49:23 INFO io:104 Looking for vulnerabilities in ' /tmp/tmp.pCOhlL/378cb6b4a17e08c366cebd813d218f60889848387fa61a56ac054ca027a4890d.json '
2020-01-12 21:49:23 INFO io:122 Found 0 vulnerabilities in ' /tmp/tmp.pCOhlL/378cb6b4a17e08c366cebd813d218f60889848387fa61a56ac054ca027a4890d.json '
2020-01-12 21:49:23 INFO io:133 Found 0 vulnerabilities in 1 files in directory ' /tmp/tmp.pCOhlL '
2020-01-12 21:49:23 INFO assessor:19 Assessment starts
2020-01-12 21:49:23 INFO assessor:26 Assessment ends - pass
~ > echo $?
0
~ >

特定の脆弱性もホワイトリストできます。以下の例は、この機能を示しています。 -v （verbose）フラグを追加してassess-image-risk.shを追加すると、ホワイトリストがどのようにリスク評価に影響を与えるかを正確に確認してくださいVulnerability CVE-2019-13627 in whitelist - pass

 ~ > curl -s -L 
  https://raw.githubusercontent.com/simonsdave/clair-cicd/master/bin/assess-image-risk.sh | 
  bash -s -- --whitelist ' json://{"ignoreSevertiesAtOrBelow":"low"} ' ubuntu:18.04
~ > echo $?
1
~ > cat whitelist.json
{
  " ignoreSevertiesAtOrBelow " : " low " ,
  " vulnerabilities " : [
    { " cveId " : " CVE-2018-20839 " , " rationale " : " reason #1 " },
    { " cveId " : " CVE-2019-5188 " , " rationale " : " reason #2 " },
    { " cveId " : " CVE-2018-11236 " , " rationale " : " reason #3 " },
    { " cveId " : " CVE-2019-13627 " , " rationale " : " reason #4 " },
    { " cveId " : " CVE-2019-13050 " , " rationale " : " reason #5 " },
    { " cveId " : " CVE-2018-11237 " , " rationale " : " reason #6 " },
    { " cveId " : " CVE-2018-19591 " , " rationale " : " reason #7 " }
  ]
}
~ > curl -s -L 
  https://raw.githubusercontent.com/simonsdave/clair-cicd/master/bin/assess-image-risk.sh | 
  bash -s -- --whitelist ' file://whitelist.json ' ubuntu:18.04
~ > echo $?
0
~ >

伊藤ホワイトリストは、次のような問題＃7を見る価値があります

--whitelistコマンドライン引数を使用してassess-image-risk.shのホワイトリストを指定する場合、既存のjson:// 、 file:// schemesに加えてhttps:// //スキームをサポートする必要があります。なぜこれが重要なのですか？理想的には、ホワイトリストは、サービスエンジニアではなく、セキュリティアナリストが維持する必要があります。これは、適切な変更管理プロセスを備えた別のリポジトリでホワイトリストを維持する必要があることを意味します。 json:// and file://スキームは、同じリポジトリでホワイトリストを維持するために問題ありません。ただし、適切な変更管理プロセスを適用できるセキュリティアナリストが変更を行うために使用できるセキュリティアナリスト（コードレビュー、機能ブランチなど）が使用できるセキュリティアナリストのみが編集可能なホワイトリストをレポで維持することをお勧めします。

それがどのように機能するか +要件/仮定

3つの感動的なピースがあります：

Assess-Image-risk.shは、他の2つの動画の相互作用を調整するために重い持ち上げを行うBashスクリプトです
Docker画像内にパッケージ化されたClairの脆弱性データベースSimonsDave/Clair-Database-Circleci Cronジョブは、SimonsDave/Clair-Databaseを週3日再構築するために使用され、脆弱性データベースが最新であることを確認します
docker image quay.io/coreos/clairに基づくsimonsdave/clair-cicd-clairdocker画像にパッケージ化されたPythonおよびBashリスク評価スクリプトのセット

このドキュメントの開始時のサンプルから、Assess-Image-risk.shの最新リリースをローカリランバッシュシェルにカールするアプローチが表示されます。 simonsdave/clair-databaseを使用して、assess-image-risk.shを使用してコンテナをスピンアップします。その後、SimonsDave/Clair-Cicd-Cicd-clairコンテナを使用して、Simonsdave/Clair-Cicd-clairを使用して別のコンテナを実行し、Simonsdave/Clair-Databaseコンテナと話すことができます。 SimonsDave/Clair-Cicd-clairコンテナが実行されると、実際のリスク評価を行うDocker exec.sh Docker execのこのBashスクリプトが実行されます。

clair-cicdどのように機能するかを理解して武装して、Assess-Image-risk.shを実行する能力が実行環境の要件を定義するものであることを理解しています。 Assess-Image-risk.shは、リスク評価プロセスを起動するために使用されるBASHスクリプトであるため、 clair-cicdの仮定/要件の大部分を定義するのはこのclair-cicdです。