タイトルの通り、機械学習パイプラインのデバッグを行うツールを開発した論文「Debugging Machine Learning Pipelines」を読んだ。 International Workshop on Data […]
機械学習パイプラインのデバッガについての論文：Debugging Machine Learning Pipelines
カテゴリー: programming
Embeddingの違いによる後段タスクへの影響推定：Understanding the Downstream Instability of Word Embeddings
MLSys 2020の論文より。Embeddingが異なった場合、後段のNLPタスクに対してどれだけの影響があるかを、後段モデルの訓練を行わないで推定しようという論文の「Understanding the Downstr […]
ニューラルネットワークのPruningをメタアナリシスした論文：What is the State of Neural Network Pruning?
MLSys 2020という学会で発表された面白そうな論文を読んだ。タイトルは「What is the State of Neural Network Pruning?」で、Neural Network Pruningにつ […]
文字認識をWatermarkで騙す手法の論文：「Attacking Optical Character Recognition (OCR) Systems with Adversarial Watermarks」
「Attacking Optical Character Recognition (OCR) Systems with Adversarial Watermarks」という論文を読んだ。 概要 OCRシステムを騙すための […]
論文読み：Squeeze-and-Excitation Networks
元論文：Squeeze-and-Excitation Networks 最近良くCNN関連のタスクでよく使われる手法なので、論文を読んでみたときのメモ。 ググると他にも詳しい解説記事があるので、あくまでも個人的なメモとし […]
外れ値処理の一手法：Winsorizingについて
機械学習や統計の分野における外れ値処理の手法の一つとしてWinsorizingと呼ばれる手法がある。日本語の解説が少なかったので書いてみる。 手法自体は非常に簡単で、外れ値を外れ値以外の最大値・最小値で置き換えるというも […]
【書評】中国のAI技術と進むべき方向性：「AI Superpowers: China, Silicon Valley, and the New World Order」
最近、アメリカのAmazonで話題となっている「AI Superpowers: China, Silicon Valley, and the New World Order」という本を読んだ。 色々と面白い内容が多かった […]
Kerasで転移学習をする際にはpreprocess_input()を呼ぼう
画像に関するタスクを扱っている際に、事前学習済みの重みを利用した転移学習を行うことは良い精度を出すことが多く広く使われています。Kearsには学習済みのいくつかのモデルが用意されており簡単に転移学習を行うことが出来ます。 […]
Batch Normalization と Dropout は併用しない方が良いという話
Deep Learningのモデルを訓練していたところ、思うようにvalidation lossが下がらないことがあった。色々と調べた結果、Batch NormalizationとDropoutを併用していたのが原因であ […]
直感 Deep Learning
「直感 Deep Learning」という書籍が出るそうです。翻訳版なので原著を調べてみたところ、「Deep Learning with Keras」でした。英語版の方は、以前読んでおりレビューも書きました。この本はKe […]