osrs hiscores

OSRS-Hiscores

對舊派符號Hiscores的定量分析。

該存儲庫貢獻以下內容：

1. 用於Web的代碼，將OSRS HISCORS以及結果數據集以及所得數據集刮除。
2. 機器學習管道的代碼，該管道以帳戶相似性將播放器總數簇聚集。
3. 一種用於可視化播放器結果的交互式Web應用程序。

數據集由以下文件組成：

1. player-stats.csv ：所有23個技能的技能水平，用於前200萬個OSRS帳戶。
2. cluster-centroids.csv ：基於帳戶相似性將播放器數據集分為組的群集的中心值。每個質心是“ OSRS技能”空間中1-99之間的值的向量。
3. player-clusters.csv ：三個單獨的群集運行的每個播放器群集ID，通過查看（i）所有技能，（ii）僅戰鬥技能以及（iii）非戰鬥技能來分組類似的帳戶。
4. player-stats-raw.csv ：排名，級別，XP，線索，迷你游戲和老闆統計數據，是前200萬OSRS播放器的。該文件是刮擦過程（1.7 GB）的原始輸出。

由於文件大小約束，這些文件未進入存儲庫。它們可以從Google Drive分開下載：https：//bit.ly/osrs-hiscores-dataset

2022年7月21日的24小時內，從官方OSRS HISCORES收集了播放器統計數據。

項目組織

 ├── LICENSE
├── Makefile         <- Top-level Makefile for building and running project.
├── README.md        <- The top-level README for developers using this project.
│
├── app              <- Application code and assets.
├── bin              <- Utility executables.
│
├── data
│   ├── final        <- The final, canonical data set.
│   ├── interim      <- Intermediate data that has been transformed.
│   └── raw          <- The original, immutable data dump.
│
├── ref              <- Reference files used in data processing.
├── scripts          <- Scripts for the stages of the data processing pipeline.
│
├── src
│   ├── analysis     <- Data science and analytics.
│   └── scrape       <- Scraping hiscores data.
│
├── test             <- Unit tests.
│
├── Procfile         <- Entry point for deployment as a Heroku application.
├── requirements.txt <- Dependencies file for reproducing the project environment.
├── runapp.py        <- Main script for Dash application.
└── setup.py         <- Setup file for installing this project through pip.

用法

在高水平上，該存儲庫實現了數據科學管道：

 scrape OSRS hiscores data
         ↓
cluster players by stats
         ↓
project clusters to 3D
         ↓
build application data

以及可視化結果的破折號應用程序。

數據管道的階段是由每個處理階段具有頂級make目標的Makefile驅動的：

1. make init ：設置項目環境並安裝依賴關係。
2. make scrape ：從官方OSRS HISCORES中刮擦數據，然後轉換為清潔的數據集。
3. make cluster ：根據他們的統計數據將群體群體分成類似帳戶的組。 FAISS庫實現的使用K-均值作為聚類算法。
4. make postprocess ：將簇質心從高維空間到3D投影（用於可視化目的）（UMAP是用於降低維度的算法）。根據其中包含的玩家群體為每個群集計算四分位數。
5. make build-app ：使用所有先前的分析結果構建應用程序數據和數據庫。該目標將在URL localhost:27017 （默認情況下）的Docker容器內啟動MongoDB實例。

步驟2和3可以通過簡單地運行make download-dataset來跳過（並且應該），從而從S3存儲桶中獲取了刮擦數據和聚類的結果。這需要一個AWS帳戶，該帳戶具有位於~/.aws目錄中的憑據。

要啟動該應用程序，請在Web瀏覽器中訪問make run-app並訪問URL localhost:8050 。

最終應用程序可以通過make app構建並運行，該應用程序使用下載的數據，而不是從頭開始刮擦和群集數據。目標make all是用來構建此存儲庫的最終結果的方法。如果刮擦數據，請注意，HISCORS API的高使用可能會導致您的IP被阻止。在您使用此代碼時，請保留和尊重Jagex的服務器資源。

運行make help以查看更多頂級目標。

配置

設置了許多環境變量以配置應用程序。

• OSRS_APPDATA_URI ：應用程序數據.pkl文件（S3或local）的路徑
• OSRS_MONGO_URI ：MongoDB實例的URL
• OSRS_MONGO_COLL ：以此名稱從收集中存儲/檢索播放器數據

在數據管道的每個階段，也有定義文件名的環境變量。

所有環境變量的默認值是在.env.default中定義的，並且每當運行make目標時導入。如果存在稱為.env的文件，則任何設置都將覆蓋.env.default中的文件。

依賴性

• Python 3.9或更高（在此處下載）
• Docker（在此處下載）
• AWS帳戶中安裝了~/.aws目錄中的憑據（在此處創建帳戶）

方法

• 在OSRS HISCORS上，數據刮了數據的前200萬球員。數據包括每個OSR技能和總體上的XP，等級和級別，以及線索捲軸，迷你櫃和老闆的等級和得分統計數據。
• 將帳戶數據刪除，分類和亞採樣，以僅保留技能級列。重複數據刪除後，保留了1999625記錄。每個記錄都是長度為23矢量，在23個OSRS技能中給出了帳戶的水平。
• 根據三組功能列或數據集“拆分”的技能相似性，將帳戶細分為2000個集群：
  • all ：所有23個OSR技能
  • cb ：7個戰鬥技能
  • noncb ：16個非戰鬥技能
• 對於數據集的每個拆分，聚類產生了一組2000個集群質心（具有23、7或16的維度）和與每個玩家關聯的集群ID。使用L2距離的標準實現進行聚類。
• 使用UMAP將簇質心從其環境維度投射到3D空間。 UMAP參數n_neighbors=10 ， min_dist=0.25用於all和noncb ； n_neighbors=20 ， min_dist=0.25用於分裂cb 。
• 通過匯總屬於每個集群的帳戶來計算每個技能中的四分位數（0、25、50、75和100個百分位數）。
• 聚類結果被組裝到序列化數據文件中。玩家統計信息被寫入數據庫，以提供快速的結果查找。最終應用利用了這兩個資源。

項目想法

以下是數據科學項目的一些想法。

• 對OSRS Ironman Hiscores進行相同的分析。
• 創建一種方法來識別數據集中的機器人群集。
• 鑑於一個帳戶的所有其他技能，看看您能預測一項未知技能的能力。對於某些技能而言，這比其他技能更容易，並且可以用遊戲元來解釋嗎？
• 執行分層聚類以識別超級群體或在簇中搜索細粒度的結構。註釋這些集群將是邁向OSRS帳戶的真正分類法的一步。
• 創建一個反向查找工具，在給定用戶名的情況下，可以找到具有相似統計數據的其他帳戶。