KU courses

ku-courses

アプリケーション全体は、 docker-compose.ymlファイルを介して管理され、 docker composeで構築されています。

アプリケーションの開始

1. dockerとdocker-composeをインストールすると、Dockerは非常に低レベルのプログラムであるため、システムの再起動が必要になる場合があります。
2. Run Dockerは、Dockerへの権限を持つユーザーとして、またはsudo / doasを使用してdocker compose up --build 。バックエンドまたはフロントエンドコード-d変更された場合、Buildフラグが必要です。
3. バックエンドのスクレーパーがスクレイピングページを完了するのを待ってください。これには約15分かかる場合があります。
4. Run docker compose restart 。これは、パーサーが実行され、Vectorストアが新しい埋め込みを作成できるようにするために必要です。
5. ???
6. 利益！！！

DB-Manager

バックエンドは、Java仮想マシンで実行されるLISPに基づいた機能的なプログラミング言語であるClojureで構築されています。
この部分は複数の目的を果たしており、KUのコースページとSTADSの統計を削減する責任があります。
また、バックエンドはフロントエンドを提供し、「データスクリプト」データベースを含み、リフレッシュしてさまざまなサービスを担当します（この機能は現時点で部分的に壊れています）。

vector_store

このサービスは、 get_course_overviewsルートで使用されるセマンティック検索を担当します。Trigramsまたはフルテキストを使用する代わりに、ベクトル検索をより低いレイテンシに使用することにしました。

rust_parser

このサービスは、スクレイプされたコースページを取得し、それらをデータベースで使用してフロントエンドにサービングするために使用できる形式に分割するパーサーです。

フロントエンド

FrontEndはSvelte/Typescriptに組み込まれています。これは非常に責任あるスパで、コースをクリックしてコースのより詳細なビューを取得できるカードの形でコースを表示します。

クレジット

• Pythonで元のコースパーサーを作成してくれたJákupLützenに感謝します。
• 元のフロントエンドを作成してくれたKristian Pedersenに感謝し、アーキテクチャと最初のデータベーススキーマの設計に役立ちます。
• Statistics Parserを作成してくれたZander Bournonvilleに感謝します。