spotify charts analysis

Spotifyチャートデータ

このレポでは、Spotifyチャートに掲載されているトラックに関連するデータを収集および探索します。私はこのレポで行った作業に基づいて、すでにかなりのことをしました。残念ながら、このプロジェクトのデータ処理は本当に面倒だったので、クリーンなデータセットを作成するためにゼロから開始することにしました。

データ収集スクリプト

Spotifyチャートに関連するデータを取得するためのCLIスクリプトを思いつきました。これらは、このプロジェクトのcli_scriptsサブフォルダーにあります。フォルダー名が示すように、スクリプトはすべてコマンドラインから直接呼び出すことができます。 -hオプションを使用して各スクリプトを呼び出して、受け入れられた引数に関する情報を取得できます（例： python cli_scripts/get_all.py -h ）。

チャートデータスクレイピング

最初に、Spotify Daily Top 200のトラックのデータをアセンブルするためのスクリプトを思いつきました。残念ながら、このデータはAPIで使用できません。さらに、各リージョンのチャートCSVファイルをダウンロードし、個別に（Spotifyチャートページに移動してダウンロードボタンをクリックすることにより）非常に不便なものを追跡する必要があります。

ただし、2つのスクリプトを作成することでこれを回避しました（ spotify_chartsサブフォルダーを参照）：

• download.py ：いくつかの領域（引数を介して指定されたすべてまたはサブセットのいずれか）と特定の日付範囲（開始 +終了日）のチャートseleniumファイルをダウンロードするプロセス（Spotifyアカウント/資格情報が必要です！）を自動化します。
• combine_charts.py ：指定されたディレクトリにあるダウンロードしたSpotifyチャートCSVファイルを単一の.parquetファイルに組み合わせます

Spotify APIのメタデータ

Spotifyの音楽に関する多くの興味深い情報とメタデータも、Spotifyの公式APIから取得できます。 Spotify APIを使用して（ spotipy Python APIラッパー経由）すべてのスクリプトは、 spotify_apiにあります。

• get_track_metadata.py feetches /tracks api endpointからmetadataを作成します.parquetいくつかのメタデータ.parquetファイルのフォルダーを出力します
• get_album_metadata.py ：上記と同じことを行い、トラックの代わりにアルバムのみで行います（ /albums APIエンドポイントを使用）
• get_artist_metadata.py ：いくつかの入力ファイル（それぞれがartists_id列を持っている）のすべての一意のアーティストIDのアーティストメタデータを取得し、上記の他のスクリプトのようなフォルダーにメタデータも保存します
• get_all.py ：すべてのスクリプトを組み合わせて、最初にトラックメタデータを取得し、次にトラックに関連付けられたすべてのアルバムのアルバムメタデータを、最後にすべてのトラックおよびアルバムアーティストのアーティストメタデータを組み合わせます。

無整合Spotify APIのメタデータ

残念ながら、トラッククレジット（具体的には、ソングライターとプロデューサー）の情報も、Public Spotify APIを介して利用できません。しかし、私はそれを回避する方法を思いつきました。 Spotify Webアプリによって行われた特定のリクエストに使用されるリクエストヘッダーを抽出できます。たとえば、トラックページでShow Creditsポップアップを再利用して、同じ（非公式/内部）APIエンドポイントに他のリクエストを作成することができます。

このアプローチは使用できます

例：2022年のSpotify毎日のトップ200チャートの周りにデータセットを作成する

pt。 1：チャートをダウンロードします

 # download CSVs; might take a loooong time, can be interrupted and restarted/resumed later
python cli_scripts/spotify_charts/download.py -s 2022-01-01 -e 2022-12-31 -o data/scraper_downloads

# combine downloaded CSVs into single parquet file
python cli_scripts/spotify_charts/combine.py -o data/top200_2022

pt。 2：APIからのメタデータ

python cli_scripts/spotify_api/get_all.py -i data/top200_2022/charts.parquet

pt。 3：追加（内部）APIデータ

TODO：スクリプトが「完成」したら適切なコマンドを追加します（十分に良い）

追加のセットアップ手順

すべてを機能させるには、これらの指示に従うことができます（最近のバージョンのPythonがインストールされていると仮定します）

必要に応じて、 condaを使用して、新しい環境を作成できます。

 conda env create --name=spotify-charts-analysis
conda activate spotify-charts-analysis

すべてのスクリプトをすぐに動作させるには、実行してhelpersパッケージを単純にインストールすることができます

 pip install -e .

あるいは、もちろん、パッケージを1つずつインストールすることもできます。

調査結果

Spotifyでのトラックの歌詞は、かなり人気のある曲であっても間違っている可能性があります（たとえば、何らかの理由で歌詞があるこのインストゥルメンタルトラック）。

公開されている質問

• 内部APIから歌詞を取得するときに404および403 HTTPエラーの原因を特定します。最初は、これはトラックの可用性と関係があると思いました（つまり、関連するユーザーの領域で利用可能なトラックのデータのみを取得できます。データの取得に使用されるSpotifyアカウント、またはトラックが利用可能な場所からリクエストを行っている場合）。これは虚偽であることが証明されました。時には、利用可能な市場のないトラックや、他の市場で利用可能なトラックでも歌詞がフェッチされることもありますが、ユーザーの1人ではありません。