fkubota / kaggle-cornell-birdcall-identification

Cornell Birdcall Identification コンペのリポジトリ

最近のやったことはこちら(timeline)

url: https://fkubota.github.io/timeline/

github commit

These cards are powered by https://github.com/anuraghazra/github-readme-stats

kaggle-cornell-birdcall-identification's Issues

mp3を高速でロードできるほうほうを探す

bordにつくったカードが自動でissueになるようにする

yamlの復習する

複数モデルで推論しているのか調べる。

specshow より早い描画をdiscussion で教える

secondaly_labelsとbackgroudの違いを調査する。

mAPについて理解する

参考: https://www.kaggle.com/c/birdsong-recognition/discussion/171247

とりあえず、1サブしてみる

• submissionの仕方を理解する
• librosaでウルトラシンプル特徴量の作成を行なう
• rfcでウルトラシンプルモデルをローカルで作成
• ローカルでbirdcall-checkデータが通るか確認
• kaggle-nb で submission

f1_scoreの計算方法notebookから取ってくる

サーバーにtawaraさんのデータセットを置く

nb004の特徴量の改良。m_feat/m_feat/1_birdから n_feat/m_feat/1_birdにする。特徴を平均化しない。

めっちゃサイズ大きくなるんだろうな...

マイクの性能の差がかなりあるからそれを取り除くような処理は効くかも。(そろえるためにすべての音源に対して16kHzのダウンサンプリングを行ってもいいかもしれない。)

無音部分の検出について調べる

ref:

• https://steinberg.help/cubase_elements_le_ai/v10/ja/cubase_nuendo/topics/audio_functions/audio_functions_silence_detect_r.html
• https://tam5917.hatenablog.com/entry/2020/01/25/132113
• https://qiita.com/ikuo0/items/0d5798db824f3df074af

使うデータを選別したほうがよさそう

いづれにせよ、その条件でフィルタリングすると、データ数にどのような変化があるかを確かめておく。

• 低すぎるサンプリングレート

nocallの扱い方調べる

BCEWithLogitsLossを理解する

nb006でのチェックではモデルを1つしか読み込んでないので5つのモデルで平均化するように変更する。

1. 1モデルだけでsubmitできるか確認
2. 確認できたら、nb006を5モデルに拡張
3. 5モデルでsubmitできるようにkagglenb_03を編集

pipeline

• modelがかなり大きいのでmodelをsaveするかどうかの引数は持っておいたほうがいいかも。
• debug modeを作る

nocall の判断はモデルでどうやってやる？

train.csv のカラム情報をreadmeにまとめる

birdcall-checkを読み込んで予測するコードを書く

discussionにlibrosa.loadの注意点を書く

nocall だけで提出するとどれぐらいのスコアになるのか試してみる。

specshowより早い描画を教える

鳴いている部分だけを使う作戦

• nocall 部分が多いデータがたくさんある。
• この部分が邪魔である。
• 移動平均とか使って泣いている部分だけ取得する
• この方法だとずっと泣いているデータが使えなくなるが仕方ない。それよりキレイなデータを取得することが大事。
• 中にはただうるさいだけの音が混ざってると思われる。それらをはじくために、特徴量を抽出し外れ値を削除するといいかもしれない。

boostnote にあるtodoをgithubのissueに移植する

nb007で作った特徴量(librosa_mfcc02)でモデルを作成、保存する。

音の合計時間を集計する

backgroundの音とかいい材料になるのでは？(signalの音が小さい部分だけ取ってくる感じ

)

hpssをためす

linuxの画像ビューアをインストール

全てのaudiofileのスペクトログラムの画像を保存する

• 使いそうなmetaデータテキストも画像に貼る

resnetのエラーを取得。epoch数きめる

ビットレートについて理解する

joblibで保存したものがうまくロードできない

対策案

• modelを一つづつ保存する

学習が遅い問題

便利そうなソフトウェアが紹介されている

discussioin: https://www.kaggle.com/c/birdsong-recognition/discussion/169538

librosaの特徴量抽出はsignalを渡すのではなく、spectrogramを渡せば高速化するはず。

signalを渡すと特徴量毎にスペクトログラムを計算することになるので。

test dataの格納場所の確認

f1_microについて復習

discussionとnotebookを読んだかのまとめ書くspread sheet or mdを作る

most vote の上位を常に更新する
note book の上位を取得するscriptを書く 

↑discussionはapiが容易されておらず取得できなかった。

lstm実装する

resnetを実装する

作業ログをwikiに移行し、リンクをreadmeに書く

pickle.dump でメモリーエラーになる原因をつきとめる

data_infomation のwikiを書く。readmeにリンクを貼る

train.csvのカラムの意味を表にしてまとめる

mapに生息地プロットしてみる

map系のライブラリ使ったことないからやってみたい

ニアレストネイバーフィルター使える？

apollonにある特徴量データをorpheusに移す