電力預測競爭
比賽由DSP和Taipower在台灣舉行。我與Lawrencesiao合作。他是我最好的隊友和數據科學的導師。他幫助我確實具有工程學和微調預測模型,以達到最高排名。如果您有任何興趣,可以在這裡看到他的github(https://github.com/lawrencesiao)
問題陳述
很長一段時間以來,台灣經常遭受造成大量停電的颱風。例如,最有害的颱風SOUDELOR(2015/08)在台灣帶來了大約450萬次停電。鑑於此,建立有彈性的城市以防止未來的損失變得越來越重要。因此,比賽希望參賽者能夠制定準確且適用的預測模型,以幫助台灣提前準備。
鑑於2014年至2016年颱風引起的停電數據,預測了Megi(2016)和Nesat&Haitang(2017)颱風引起的停電數量。
數據集
火車數據集包括8個歷史性颱風(2014-2016)及其在台灣村莊的損失(停電)。

我們旨在預測測試數據集中Megi和Nesat&Haitang Typhoon引起的停電(使用0初始化)。

時間表
從:2017年9月20日開始
關閉:2017年11月20日
措施
基於Morisita-Horn相似性指數的精度
方法
數據收集
由於缺乏解釋變量,我們不得不從政府開放數據中收集功能。我們認為停電的原因主要來自公用事業電線桿的掉落。因此,不僅颱風強度本身,我們還收集了與此原因密切相關的數據。我們使用的所有開放數據都在參考中列出,但是我們剛剛提到了下面的關鍵數據集和功能。
功能工程
- 颱風軌道
因此,颱風的強度隨時間變化。因此,我們創建了重要的特徵,以解釋颱風對物理學見解的影響。該度量由“通過村莊和颱風之間的平方距離調節的最大颱風強度”計算。 - 風
考慮到強風可能會吹乾公用極線,我們從每個颱風的區域觀察站收集了小時的風向和速度數據。我們創建了最大,最小值,平均等。屬性以解釋風對從小時,白天到整個颱風時期水平的村莊的影響。 - 雨量
考慮到大雨可能會損害公用極線,我們從每個颱風的區域觀察站收集了每小時累積的降雨數據。不僅最大,最小,平均等。與分配相關的屬性,我們還根據中心氣象局的降雨標準創建了功能,以解釋降雨對從小時,日至整個颱風期間的影響。 - 實用桿
我們考慮了公用極線的數量及其類型很重要。前者隱含地表示潛在的停電數量,後者揭示了什麼樣的公用電極很脆弱。因此,我們創建了總實用極極數和每種類型的數量來解釋公用極線的影響。 - 地球人口統計學我們認為人口密度和功率使用結構與電力中斷高度相關。因此,我們用它們來解釋村莊之間的差異。
造型
在村莊中並非所有時間都沒有發生停電,因此我們必須仔細處理此不平衡數據問題。我們使用帶有分層交叉驗證方法的隨機森林回歸器來平衡每個驗證集中數據(遭受停電的村莊的百分比),並確定最佳的超參數。
結果
我們是團隊下次再加油,在排行榜上獲得第六獎

改進
- 我們應該在數據插補方面做更多的努力,尤其是對於台灣村莊的公用事業數量。由於缺乏少數村莊的公用電極數據,我們可以考慮使用類似的網格插補,例如KNN來基於人口統計學或其他特徵來估算價值。
- 我們發現隨機森林和XGBoost模型之間的性能差異很大,這表明方差偏見權衡。我們應該微調兩種模型,以使堆疊模型的表現優於任何一個sigle。
- 我們使用了來自33個區域觀察站的降雨和風數據。也許添加額外的510個自動觀測站可以使模型更合適。
- 由於觀測站記錄的風和降雨數據,我根據“最短的歐幾里得距離”將一個觀察站分配給每個村莊,我代表村莊的中心坐標代表了村莊的坐標。我認為可能有更合適的方法可以做到並獲得更好的結果。
參考
- DSP競賽網站:https://dc.dsp.im/main/content/typhoon-caused-power-power-power-pardiction-prediction-challenge
- 颱風警報:http://rdc28.cwb.gov.tw/tdb/ntdb/pagecontrol/ty_warning
- 颱風風:http://rdc28.cwb.gov.tw/tdb/ntdb/pagecontrol/windsearch
- 颱風降雨:http://rdc28.cwb.gov.tw/tdb/ntdb/pagecontrol/rain
- 颱風軌道:http://rdc28.cwb.gov.tw/tdb/ctrl_advanced_search
- 實用桿:https://data.gov.tw/dataset/33305
- 鄉村人口密度:https://data.gov.tw/dataset/8410
- 家用,行業等的電力使用百分比:https://data.gov.tw/dataset/38959
- 村莊的電力使用:https://data.gov.tw/dataset/14135
- 滑坡警報:https://246.swcb.gov.tw/opendata.aspx
- 照明:https://data.gov.tw/dataset/9712