Deep Learningのモデルを訓練していたところ、思うようにvalidation lossが下がらないことがあった。色々と調べた結果、Batch NormalizationとDropoutを併用していたのが原因であ […]
MITのLex Fridman氏によるAIポッドキャスト
MITのresearch scientistである、Lex Fridman氏がAI関連のポッドキャストを始めたそうです。AI関連のBig-pictureについて著名なゲストと話すとのことです。https://lexfri […]
PyTorchに入門するために「PyTorchで始める深層学習」を読んだ
タイトルの通り、最近目にすることが多くなったPyTorchを学ぶために「PyTorchで始める深層学習」という本を読んだ。本当に深層学習を全く触ったことが無いという人が、PyTorchで始めるには良いのかもしれないが、あ […]
直感 Deep Learning
「直感 Deep Learning」という書籍が出るそうです。翻訳版なので原著を調べてみたところ、「Deep Learning with Keras」でした。英語版の方は、以前読んでおりレビューも書きました。この本はKe […]
特徴量エンジニアリングに焦点を当てた簡潔な本：「Feature Engineering for Machine Learning」
機械学習の特徴量エンジニアリングに焦点を当てた本、「Feature Engineering for Machine Learning」を読んだ。 テーブルデータ、画像データ、文章データなどの各種データに対しての基本的な特 […]
ニューラルネットワークを利用した決定木：Deep Neural Decision Trees
引き続き、機械学習の解釈性についての論文を読んだ。今回読んだのは、「Deep Neural Decision Trees (WHI ’18)」。著者による実装のページはここ。 決定木とニューラルネットワークを […]
GPSデータによる交通事故リスク予測：Learning Deep Representation from Big and Heterogeneous Data for Traffic Accident Inference
読んだ論文のメモ。Learning Deep Representation from Big and Heterogeneous Data for Traffic Accident Inference (AAAI  […]
機械学習によるメモリアクセス予測：Learning Memory Access Patterns
ICML 2018の論文リストを眺めていて、目についたタイトルの論文を読み始めた。まず最初に「Learning Memory Access Patterns」という論文を読んだ。この論文はRNNを用いてメモリアクセスパタ […]
機械学習の解釈性とパフォーマンスの両立を目指して：Human-in-the-Loop Interpretability Prior
機械学習、特にニューラルネットワークなどのアルゴリズムを使った場合、出力された結果は何万・何十万次元のベクトル演算の結果であり、人間が直接解釈することは難しい。ニューラルネットワークの解釈性については近年様々な研究が行わ […]
大規模データのクラスタリングには Mini Batch K-Means を使うべきという話
タイトルの通りですが、大規模データをクラスタリングする際には単純なK-Means法ではなく、Mini Batch K-Means法を使うべきという話です。 とある大規模データ（150万件ほどの文章ベクトル）をクラスタリン […]