一言でいうと Vision Transoformerを使って点群データを処理する方法を考案 論文リンク https://arxiv.org/abs/2012.09164 著者所属機関 Hengshuang Zhao1 L […]
【論文読み】Point Transformer
【論文読み】Pre-Trained Image Processing Transformer
一言でいうと Vision Transoformerを使って複数タスクに対応できる画像処理用のネットワークを考案。複数タスクでSoTAを達成。未知のタスクに対してもfine tuningすることで高精度で処理が可能。 論 […]
『5G 大容量・低遅延・他接続のしくみ』を読んだ
最近話題の５Gの概要をつかむためにブルーバックスの『5G 大容量・低遅延・他接続のしくみ』を読んだ。 通信の領域は基本的なことしかわかっていなかったので、携帯電話の黎明期から今日の５Gに至るまでの歴史的な技術の変遷が書か […]
Pinterestにおける機械学習システムの性能改善論文：『Shop The Look: Building a Large Scale Visual Shopping System at Pinterest』
概要 KDD 2020 Applied Data Science Track Paper の以下の論文を読んだ。 Shop The Look: Building a Large Scale Visual Shopping […]
機械学習パイプラインのデバッガについての論文：Debugging Machine Learning Pipelines
タイトルの通り、機械学習パイプラインのデバッグを行うツールを開発した論文「Debugging Machine Learning Pipelines」を読んだ。 International Workshop on Data […]
Embeddingの違いによる後段タスクへの影響推定：Understanding the Downstream Instability of Word Embeddings
MLSys 2020の論文より。Embeddingが異なった場合、後段のNLPタスクに対してどれだけの影響があるかを、後段モデルの訓練を行わないで推定しようという論文の「Understanding the Downstr […]
ニューラルネットワークのPruningをメタアナリシスした論文：What is the State of Neural Network Pruning?
MLSys 2020という学会で発表された面白そうな論文を読んだ。タイトルは「What is the State of Neural Network Pruning?」で、Neural Network Pruningにつ […]
対話生成におけるマルチカリキュラム学習の活用論文：Learning from Easy to Complex Adaptive Multi-curricula Learning for Neural Dialogue Generation
AAAI 2020の論文「Learning from Easy to Complex: Adaptive Multi-curricula Learning for Neural Dialogue Generation」よ […]
Introduction to Applied Linear Algebra 第7章
第6章はこちら。第7章はMatrix Examples、行列を使った事例の紹介。 行列による演算で拡縮や回転反転などができる。また直線への射影もできる。軸の変換も同様。 各行に1の要素が一つだけある行列をかけ合わせること […]
Introduction to Applied Linear Algebra 第6章
第5章はこちら。第6章は行列について。 まずは行列の定義とか用語の説明などから入って、例として票形式のデータを行列で表すのが挙げられている。他にもdirected graphを行列で表す隣接行列の考え方なども述べられてい […]