kawipiko

kawipiko

その他のカテゴリー

1.0.0

ダウンロード

./documentation/assets/github-banner.png

Kawipiko -Blazsingly Fast Static HTTPサーバー

目次：
マニュアルと例
インストールとFAQ
機能とベンチマーク
著作権とライセンス、SBOM、および参照について
Discordでチャットするか、Githubで話し合い、著者にメールしてください

について

kawipiko 、GOで記述された軽量の静的HTTPサーバーです。静的コンテンツを可能な限り高速かつ効率的に提供し、最低のレイテンシーで、リソース消費量が最も低く（CPU、RAM、IO）にサービスを提供することに焦点を当てています。 HTTP/1（TLSの有無にかかわらず）、HTTP/2およびHTTP/3（QUICを超える）の両方をサポートしています。他の依存関係なしで、静的にリンクされた単一の実行可能ファイルとして利用できます。

kawipiko動作しているのを見たいですか？

kawipiko-examples.volution.ro-ここにカウィピコに最適ないくつかのデモがあります。 /documentationよく圧縮される静的サイトを表します。その間、 /carina-nebula 、 /openstreetmap 、および/fontawesome多くの小さなリクエストを生成する静的サイトを表します。（このインスタンスはCloudFlareの背後にあることに注意してくださいが、端に何もキャッシュしないように指示されました。）（サーバーは現在、住宅繊維接続でホストされています;）
notes.volution.ro-以前にNetlifyでホストされていた私の個人的なメモ /ブログサイト。（現在、サーバーは住宅繊維接続でホストされています;）

ただし、単純なことは愚かなものでも限られているわけではなく、代わりに余分な特徴を除去することで効率的であることを意味し、したがって、Unixの「1つのことを行い、うまくやる」という古い哲学と一致しています。したがって、 GETリクエストのみをサポートし、動的なコンテンツ生成、認証、逆プロキシなどの機能を提供しません。一方、まだ圧縮（ gzip 、 zopfli 、またはbrotli ）を提供し、さらにHTML-CSS-JS Minifice（TODO）を提供します。

What kawipiko does provide is something very unique, that no other HTTP server offers: the static content is served from a CDB file with almost no latency (as compared to classical static servers that still have to pass through the OS via the open-read-close syscallsをopen-read-close ）。さらに、前述のように、静的コンテンツは事前に圧縮または縮小することができ、CPUだけでなく帯域幅と潜時も減少させることができます。

CDBファイルは、主に低いオーバーヘッドルックアップ操作、マルチスレッド /マルチプロセスシナリオのゼロロック、および「Atomicicic）のために、一部のDNSおよびSMTPサーバーで最初に使用されていた効率的な読み取り専用のキー値ルックアップテーブルを提供するバイナリデータベースファイルです。「マルチレコードアップデート。これにより、HTTPを介した低遅延の静的コンテンツにも適しています。これは、このプロジェクトが提供するものです。

Netlify（またはCloudFlareページ、GitHubページなどのような競合他社）に精通している人のために、 kawipikoホストの代替品です。

シンプルな構成による自己完結型の展開。（つまり、実行可能ファイルを取得して適切なフラグを使用するだけです;）
低くて一定の資源消費（CPUとRAMの両方で）; （つまり、負荷をかけているときは驚きはありません;）
（うまくいけば）非常に安全です。（つまり、プロセスを起動せず、他のサービスやデータベースに接続せず、ファイルなどを開くこともありません。基本的に、簡単にchroot 、最近のようにコンテナ化できます;）
高度にポータブルで、少なくともLinux（メイン開発、テスト、展開プラットフォーム）、FreeBSD、OpenBSD、およびOSXをサポートします。

機能の完全なリストについては、機能セクションを参照してください。残念ながら、制限セクションで説明されているトレードオフもあります（ただし、重要なものはありません）。

With regard to performance, as described in the benchmarks section, kawipiko is at least on-par with NGinx, sustaining over 100K requests / second with 0.25ms latency for 99% of the requests even on my 6 years old laptop.ただし、Nginxよりも主な利点は、生のパフォーマンスではなく、展開と構成のシンプルさに加えて、多くの小さなファイルの大規模なコレクションの効率的な管理と保存です。

kawipikoに関連して、私は自分のサイトにいくつかの記事を公開しました。

Securing my static site server with seccomp -- describes how I have employed Linux's seccomp syscall filtering to improve the security by reducing the attack surface;
ハードレスをホストする静的サイト - このシンプルなHTTPサーバーの実装の背後にある理由について説明します。
HTTP/1.1とHTTP/2の視覚的比較 - FirefoxとChromiumがHTTP/1.1対HTTP/2で多くのリソースロードを処理する方法のいくつかの実験。（reverterientsに使用されるサーバーはkawipikoでした;）

マニュアル

ワークフロー
kawipiko-server
kawipiko-archiver

ワークフロー

このプロジェクトは、次の実行可能ファイルを提供します（他の依存関係なしで、静的にリンクされています）：

kawipiko-server -HTTP（TLSの有無にかかわらず）、HTTP/2、またはHTTP/3（QUICを超える）を介してCDBアーカイブの静的コンテンツを提供します。
kawipiko-archiver静的コンテンツを保持しているソースフォルダーからCDBアーカイブを作成し、オプションでファイルを圧縮および模倣します。
kawipikoすべての機能を1つの実行可能ファイルにバンドルするオールインワン実行可能ファイル。（すなわち、 kawipiko server ...またはkawipiko archiver ... ）;

Unlike most (if not all) other servers out-there, in which you just point your web server to the folder holding the static website content root, kawipiko takes a radically different approach: in order to serve the static content, one has to first archive the content into the CDB archive through kawipiko-archiver , and then one can serve it from the CDB archive through kawipiko-server .

この2つのステップフェーズには、いくつかの機会もあります。

他のソフトウェアプロジェクトで行われているように同様のCI/CDパイプラインを使用することにより、静的Webサイトの「建物」、「テスト」、および「公開」フェーズを切り離すことができます。
新しく公開されたバージョンに問題がある場合、以前のバージョンに瞬時にロールバックできます。
one can apply extreme compression (eg zopfli or brotli ), to trade CPU during deployment vs latency and bandwidth at runtime.

kawipiko-server

専用のマニュアルを参照してください。

このドキュメントは、プレーンテキストまたはマンページとしても入手できます。

kawipiko-archiver

専用のマニュアルを参照してください。

このドキュメントは、プレーンテキストまたはマンページとしても入手できます。

例

Python 3.10ドキュメントHTMLアーカイブを取得して抽出します。

 curl 
        -s -s -f 
        -o ./python-3.10.1-docs-html.tar.bz2 
        https://docs.python.org/3/archives/python-3.10.1-docs-html.tar.bz2 
＃

tar 
        -x -j -v 
        -f ./python-3.10.1-docs-html.tar.bz2 
＃

CDBアーカイブを作成します（圧縮なし）：

 kawipiko-archiver 
        -archive ./python-3.10.1-docs-html-nocomp.cdb 
        ---sources ./python-3.10.1-docs-html 
        -debug 
＃

CDBアーカイブを作成します（ gzip圧縮付き）：

 kawipiko-archiver 
        -archive ./python-3.10.1-docs-html-gzip.cdb 
        ---sources ./python-3.10.1-docs-html 
         -  gzipを圧縮
        -debug 
＃

CDBアーカイブを作成します（ zopfli圧縮付き）：

 kawipiko-archiver 
        -archive ./python-3.10.1-docs-html-zopfli.cdb 
        ---sources ./python-3.10.1-docs-html 
         -  Zopfliを圧縮
        -debug 
＃

create the CDB archive (with brotli compression):

 kawipiko-archiver 
        -archive ./python-3.10.1-docs-html-brotli.cdb 
        ---sources ./python-3.10.1-docs-html 
         -  brotliを圧縮
        -debug 
＃

CDBアーカイブ（ gzip圧縮付き）を提供します。

 kawipiko-server 
         - バインド127.0.0.1:8080 
        -archive ./python-3.10.1-docs-html-gzip.cdb 
        -ARCHIVE-MMAP 
        -Archive-Preload 
        -debug 
＃

ソースとアーカイブのサイズを比較してください：

 du 
        -h -s 
        
        ./python-3.10.1-docs-html-nocomp.cdb 
        ./python-3.10.1-docs-html-gzip.cdb 
        ./python-3.10.1-docs-html-zopfli.cdb 
        ./python-3.10.1-docs-html-brotli.cdb 
        
        ./python-3.10.1-docs-html 
        ./python-3.10.1-docs-html.tar.bz2 
＃

45m ./python-3.10.1-docs-html-nocomp.cdb
9.7m ./python-3.10.1-docs-html-gzip.cdb
??? ./python-3.10.1-docs-html-zopfli.cdb
7.9m ./python-3.10.1-docs-html-brotli.cdb

46m ./python-3.10.1-Docs-html
6.0m ./python-3.10.1-docs-html.tar.bz2

インストール

専用のインストールドキュメントを参照してください。

特徴

実装
保留中
制限

実装

以下は、最も重要な機能のリストです。

（オプション）静的コンテンツは、CDBアーカイブが作成されると圧縮または削除されるため、リクエストの提供中にCPUサイクルは使用されません。
(optionally) the static content can be compressed with either gzip , zopfli or brotli ;
(optionally) in order to reduce the serving latency even further, one can preload the entire CDB archive in memory, or alternatively mapping it in memory (using mmap );これはCPUのメモリを取引します。
（オプション）静的コンテンツフィンガープリントと圧縮をキャッシュするため、CDBアーカイブの再構築時間を大幅に削減し、ソースファイルシステムのIOを大幅に削減します。
原子静的ウェブサイトのコンテンツの変更。 because the entire content is held in a single CDB archive, and because the file replacement is atomically achieved via the rename syscall (or the mv tool), all served resources are observed to change at the same time;
_wildcard.* files (where .* are the regular extensions like .txt , .html , etc.) which will be used if an actual resource is not found under that folder; （これらのファイルは、階層のツリー構造を尊重します。つまり、「より深い」ものを「root」に近いものにオーバーライドします。）
support for HTTP/1 (with or without TLS), by leveraging github.com/valyala/fasthttp ;
support for HTTP/2, by leveraging Go's net/http ;
support for HTTP/3 (over QUIC), by leveraging github.com/lucas-clemente/quic-go ;

保留中

以下は、現在欠落しており、実装される予定の最も重要な機能のリストです。

（TODO）カスタムHTTP応答ヘッダー（特定のファイル、特定のフォルダーなど）のサポート。 (currently only Content-Type , Content-Length , Content-Encoding are included; additionally Cache-Control: public, immutable, max-age=3600 , optionally ETag , and a few TLS or security related headers can also be included;)
（TODO）仮想ホストをキープレフィックスにマッピングするためのサポート。 (currently virtual hosts, ie the Host header, is supported by the server, and partially by the archiver;)
（TODO）仮想ホストを複数のCDBアーカイブにマッピングするためのサポート。（つまり、それぞれが独自のCDBアーカイブを備えた複数のドメインを提供する機能;）
（TODO）CDBアーカイブの自動リロード。
(TODO) minifying HTML, CSS and JavaScript, by leveraging https://github.com/tdewolff/minify ;
（TODO）カスタマイズされたエラーページ（CDBアーカイブに埋め込まれています）; (currently only 404 wildcards are supported;)

制限

Aboutセクションで述べたように、無料で何もありません。これらすべての機能を提供するために、いくつかのコーナーをカットする必要がありました。

（TODO）現在、CDBアーカイブが変更された場合、変更されたファイルをピックアップするためにサーバーを再起動する必要があります。
(won't fix) the CDB archive maximum size is 4 GiB (after compression and minifying), and there can't be more than 16M resources; （ただし、これほど大きい静的Webサイトがある場合は、大きなファイルをAWS S3のようなものにオフロードし、CloudFlareやAWS CloudFrontのようなCDNを介して提供する必要があるため、おそらく非常に間違ったことをしている可能性があります。）
(won't fix) the server does not support per-request decompression / recompression ; this implies that if the content was saved in the CDB archive with compression (say brotli ), the server will serve all resources compressed (ie Content-Encoding: brotli ), regardless of what the browser accepts (ie Accept-Encoding: gzip );非圧縮コンテンツにも同じことが当てはまります。 (however always using gzip compression is safe enough, as it is implemented in virtually all browsers and HTTP clients out there;)
（修正しない）「Atomic」静的Webサイトの変更に関しては、リソースの「古い」バージョンを取得したクライアント（HTMLページなど）を取得した小さな時間枠がありますが、まだ取得していません。必要なリソース（CSSまたはJSファイルなど）、およびHTMLとCSS/JSの取得の間にCDBアーカイブが変更されたため、クライアントはこれらの必要なリソースの新しいバージョンを取得します。ただし、レイテンシが低いため、この時間枠は非常に小さいです。 ( this is not a limitation of this HTTP server, but a limitation of the way websites are built; always use fingerprints in your resources URL, and perhaps always include the current and previous version on each deploy;)

ベンチマーク

専用のベンチマークドキュメントを参照してください。

よくある質問

助けを求める方法は？

バグに遭遇した場合は、GitHubの問題を使用してください。

何かについて確信が持てない場合は、フィードバックを提供するか、新機能をリクエストしたい場合は、GitHubディスカッションを使用してください。

簡単な質問をしたい場合、または簡単なチャットをしたい場合は、Discord Channelにアクセスしてください。

生産は準備ができていますか？

はい、現在、〜600kのHTMLページを提供しています。

ただし、オープンソースであるため、要件内で機能することを確認する責任があります！

ただし、展開と使用について相談することができます。 :)

なぜCDB？

CDBは、dj Bernstein、https：//cr.yp.to/cdb.htmlによって実装された由緒あるキー値埋め込みデータベースであり、彼が実装した多くのソフトウェアソリューション、特にqmailとtinydnsで使用されました。そこから、他の多くのネットワークサービスによって取り上げられました。これは、ユーザーデータベースの代替としてPostFixなど、ほとんど静的な低オーバーヘッドルックアップテーブルを必要としました。

サービスの静的WebサイトコンテンツにCDBを使用することを選択した理由を拡張するまで、SpotifyのSparkeyについて読むことができます。

使用されているCDB実装は、次のカスタムフォークです。

github.com/colinmarc/cdb- goの元のCDB実装。
github.com/cipriancraciun/go-cdb-lib-上記の私自身のカスタムフォーク。（メモリマップされたCDBファイルのサポートに加えて、キー[]バイトスライスがGOコンパイラの要求に応じて「ヒープに逃げない」ことを確認することにより、パフォーマンスを改善するためのいくつかの変更を追加します。）