music recommendation web application based on rhythmic similarity using locality sensitive hashing

音樂推薦Web應用程序基於節奏相似性，使用對局部敏感的哈希（LSH）：

該存儲庫包含一個與音樂推薦系統集成的Web應用程序，該應用程序利用了3,415個音頻文件的數據集，每個數據集持續30秒，利用對局部敏感的散列（LSH）實現來確定節奏相似性，作為大數據分析基礎（DS2004）基礎的一部分。

依賴性：

• Jupyter筆記本（安裝）
• 天秤座（安裝）
• ipython（安裝）
• 熊貓（安裝）
• numpy（安裝）
• Scipy（安裝）
• TQDM（安裝）
• Scikit-Learn（安裝）
• 煩惱（安裝）
• 燒瓶（安裝）

介紹：

音樂信息領域的檢索領域提出了一個挑戰，這是由於可以表示音頻的各種方式，因此很難確定在查詢中應優先考慮哪些功能。為了簡化此問題，我們的實現專門針對歌曲的節奏作為唯一的查詢功能。雖然先前的研究探索了基於節奏的音樂查詢，但當前的方法卻遭受了效率低下的困擾，因為它們需要查詢整個數據結構以匹配歌曲節奏。為了克服這一限制，我們提出了對局部敏感哈希（LSH）的利用，該技術可有效地識別大型數據集中的類似項目而無需詳盡的搜索。

我們的解決方案有所不同：

對局部敏感的哈希（LSH）是一種廣泛採用的技術，用於近似最近的鄰居搜索。它通過將它們映射到較低維空間來有效地識別大型數據集中的類似項目。但是，傳統上，對局部敏感的散列（LSH）採用了另一種稱為Minhash（或最小獨立排列的位置敏感散列方案）的方法來估計集合相似性。 Minhash通常用於數據挖掘和信息檢索。儘管Minhash通常可以有效地估計集合相似性，但它具有某些限制，可能會阻礙其在特定應用中的有效性。

為了解決這些限制，我們選擇使用另一種稱為近似最近鄰居（ANN）的高效技術實施LSH方法。該技術非常適合在大型數據集中找到大約最近的鄰居。通過利用最近的鄰居（ANN）而不是Minhash，我們旨在提高我們項目中對區域敏感的哈希（LSH）實現的有效性和性能。

Minhash的缺點我們的方法旨在減輕：

• 準確性和計算之間的權衡： Minhash是一種近似技術，它在估計集合相似性時引入了假陽性或假否定的可能性。這些估計值的準確性取決於諸如哈希簽名的大小和所使用的哈希功能數量之類的因素。但是，增加這些參數也會導致更高的計算成本。
• 對哈希功能的選擇的敏感性： Minhash結果的質量受到將映射元素設置為簽名的哈希函數的選擇。不准確或質量較差的哈希功能會導致不精確的估計，從而破壞該方法的有效性。
• 處理加權集的困難： Minhash假定集合中的所有元素同樣重要，在元素具有不同權重或重要性水平的各種應用中可能不正確。在這種情況下，Minhash結果的質量可能會損害，因為它不能解釋這些變化。
• 處理高維置集的困難：在處理具有大量維度的集合時，Minhash的有效性會降低。這可能導致稀疏的哈希特徵和降低的準確性，這種現象通常被稱為“維度的詛咒”。

為什麼我們的方法更好？

大約最近的鄰居（ANN）為區域敏感的哈希（LSH）提供了更通用的解決方案，因為它可以大約用於各種距離指標的最近的鄰居。相比之下，Minhash專為Jaccard的相似性而設計。與Minhash相比，這種更廣泛的適用性使我們的方法可以提供更準確的最近鄰居的估計，尤其是在處理基於不同距離指標（例如歐幾里得距離或餘弦相似性）的高維數據集時。

關於時間複雜性，大約最近的鄰居（ANN）和Minhash方法最終實現了帶有局部敏感性哈希（LSH）的哈希表，從而在任何一種情況下都產生了檢索的O（1）時間複雜性。但是，我們的重點更多地在於記憶效率，其中大約最近的鄰居（ANN）接近Minhash。由於我們使用的音頻數據集非常大，重量為3.3 GIB，因此此方面對於我們的實施尤為重要。

因此，通過利用大約最近的鄰居（ANN）而不是Minhash，我們在估算最近的鄰居的同時，在保持有效的檢索時間和更好的內存效率方面達到了提高的精度，從而確保了使用較高的音頻數據集實現的最佳性能。

用法：

• Music Recommendation Based on Rhythmic Similarity Using Locality-Sensitive Hashing (LSH).ipynb - 包含我們對局部敏感的哈希（LSH）實現的實現，以訓練和評估音頻數據集中的音樂推薦系統。
• app.py - 音樂推薦系統附帶的Web應用程序（燒瓶）的源代碼。
• templates - 包含網頁的源代碼，即index.html和predict.html ，由Web應用程序（燒瓶）渲染。
• static - 包含Web應用程序（燒瓶）使用的所有圖標和視覺元素。
• staticfiles - 用戶在Web應用程序（燒瓶）上上傳的音頻文件的目錄。
• features.pkl - 包含用於培訓的所有音頻文件的MEL頻率Cepstral係數（MFCC）功能的對象文件。
• music.ann - 使用大約最近的鄰居（ANN）的Music推薦系統的內存映射（MMAP）文件。

說明（執行）：

• 執行app.py文件並訪問給定鏈接到主機端口。
• 將任何音頻文件上傳到系統中。
• 到達/predict頁面後，您將同時收到上載的音頻文件的最佳和最差建議。
• 此外，一個名為pied_piper_download.csv的文件將保存在當前目錄中，該目錄將包括從上傳的音頻文件標識的類似音頻段。

貢獻者：

該項目的存在得益於為此做出貢獻的非凡人物。

• Mohammad Abubakar Siddiq（[email protected]）
• Mahnoor Zahid Raja（[email protected]）

---

參考：

• Bernhardsson，E。 （2013） Spotify/煩人：C ++/Python中的大約最近的鄰居優化了用於內存使用和加載/保存到磁盤的GitHub，GitHub。 Spotify。可在以下網址獲得：https：//github.com/spotify/annoy（訪問：2023年2月15日）。
• Tang，YA和Cori，P。 （2020）音樂通過節奏相似性與當地敏感的哈希（Hashing）取回音樂。技術。加利福尼亞州聖克拉拉：聖克拉拉大學工程學院，第1-33頁。可在以下網址獲得：https：//www.cse.scu.edu/~m1wang/projects/mining_lsh4musicsimilility_20w.pdf（訪問：2023年2月15日）。
• Wang，J。 and Lin，C。 （2015）“基於MAPREDUCE的個性化位置敏感的哈希興趣相似性相似性”， 《計算智能和神經科學》，2015年，第1-13頁。可在以下網址獲得：https：//doi.org/10.1155/2015/217216。