プログラマの日報

プログラマが1日の活動や勉強内容を記録します

WaveNetがよくわからない

2021-02-22

やったこと

学んだこと・感想

  • RTX3070のドライバを455(CUDA 11.1)から460(CUDA 11.2)にアップデートした
  • WaveNetのデバッグ
    • 単純なデータと単純なモデルに置き換えて実験をしたところうまく学習した
    • 単純なデータとWaveNetで実験をしたらlossが下がりきらなかった。モデルの実装に問題があるかも
    • lossが下がりきらなかった原因の一つとして、300秒くらいの音声ファイルから1 epochにつき0.1秒くらいを切り出す形になっていたため、3000 epochくらいしないとモデルがみたことのある部分に遭遇しなくて、そのせいでlossがあまり下がらなく見えたんだと思う。tf.Dataset.repeatの回数を増やした
  • RTX3070が想定よりもあまり熱くならない

今週やること

  • 旅行
  • 歯医者

英検の日程を間違えていた

2021-02-21

やったこと

学んだこと・感想

  • 娘と公園にいったら保育園の同級生がいたので挨拶をした
  • 回転寿司を食べた。おいしかったのでまた行きたい
  • 英検の二次試験が今日だと思っていたのだが、来週だった。しかも来週は用事があるので受けられない
  • 東京ミッドタウン日比谷は前にちょっと買い物をしたときは都会らしくて好きだったのだが、今日一通り回ったところ興味の引かれるお店があまりないわりに広くて歩かされるので思ったほどよくなかった
  • WaveNetはいまの実装だとなぜかlossが少ししか下がらないことがわかった。原因がよくわからないのだけど、もう少しデータとモデルを単純化して試してみて、原因を探って行こうと思う
  • 入浴剤でリラックスした

今週やること

  • 散髪:完了
  • 英検の二次試験:失敗

ついにRTX3070で学習を始めた

2021-02-20

やったこと

  • 娘と公園へ
  • WaveNetの実験
  • 散髪

学んだこと・感想

  • TensorBoardの使い方がわかってきた
  • Conv1DNo algorithm worked! というエラーが出たので tensorflow/tensorflow:2.4.1-gpu Docker imageを使うのをやめて、NVIDIA NGCを使うようにした。そうしたらRTX 3070でWaveNetの学習が進むようになった
  • 入浴剤のBARTHを使ってお風呂でリラックスした

今週やること

  • 散髪:完了
  • 英検の二次試験

リングフィットアドベンチャーをクリアした

2021-02-19

やったこと

学んだこと・感想

  • Dockerでコンテナに -u $(id -u):$(id -g) で入ってみたはいいものの、 pip install できなくなってしまった
  • リングフィットアドベンチャーをついにクリアした。160日くらい、200レベルくらいだった。うわさによると2周目があるらしいので楽しみ

今週やること

  • 散髪
  • 英検の二次試験

娘をワンオペした

2021-02-18

やったこと

学んだこと・感想

  • 友人に仕事の愚痴を話した
  • 今日は妻の仕事が遅くまであったので、夜に娘の世話を1人ですることになって大変だった

今週やること

  • 散髪
  • 英検の二次試験

からかい上手の娘さん

2021-02-17

やったこと

学んだこと・感想

  • 仕事を着々と進めている
  • WaveNetの実験のため、GPUマシンの使い方を復習した
  • CUDA 11.1からCUDA 11.2にアップデートしていいのだろうか? TensorFlowの対応状況が全然わからない
  • TensorFlowのDocker imageはPython 3.6なのね。古いからアップデートしたい気がする
  • 最近は娘も知恵がついてきていて、一緒に遊ぶのが楽しい。というか、娘とスキンシップをとろうとすると娘が拒否するふりをしてからかってくる。もっとスキンシップをとりたい

今週やること

  • 散髪
  • 英検の二次試験

WaveNetの実験を再開しようかな

2021-02-16

やったこと

学んだこと・感想

  • やっぱり仕事でリファクタリングが進まなくてつらぽよ
  • WaveNetの実験がやりかけだったのを思い出して、書きかけのコードを読み返していた
  • 廣野由美子『批評理論入門』を先週末に読んでいた。非常に面白かった

今週やること

  • 散髪
  • 英検の二次試験