大規模言語モデルに関連する知識を俯瞰的に見につけようと思い、まずは『大規模言語モデルは新たな知能か』から読み始めた。初学者やChatGPTなどのLLMシステムを使用する人が、いったいどのような仕組みで、大規模言語モデルが […]
[論文読み] DeepMAD: Mathematical Architecture Design for Deep Convolutional Neural Network
CNNの構造をmathematical programmingで探索することで短時間で高性能なモデルを探索した論文を読んだのでメモ。 論文：DeepMAD: Mathematical Architecture Desig […]
ChatGPTの技術を活用して、プレゼンを自動で作るSlidesGPT
GPTを活用したサービスの一つとしてスライドを自動で生成するSlidesGPTというサービスが出てきているので、使ってみた。https://slidesgpt.com/index.html 「力学入門」というタイトルでス […]
ChatGPTはプログラマの夢を見るか
ChatGPTは、人工知能によって訓練されたチャットボットであり、プログラマが抱く理想像を具現化することができるか否かは不透明である。プログラマが渇望する夢は、スムーズなコーディングと効率的な開発を可能にすることである。 […]
【論文読み】Point Transformer
一言でいうと Vision Transoformerを使って点群データを処理する方法を考案 論文リンク https://arxiv.org/abs/2012.09164 著者所属機関 Hengshuang Zhao1 L […]
【論文読み】Pre-Trained Image Processing Transformer
一言でいうと Vision Transoformerを使って複数タスクに対応できる画像処理用のネットワークを考案。複数タスクでSoTAを達成。未知のタスクに対してもfine tuningすることで高精度で処理が可能。 論 […]
『5G 大容量・低遅延・他接続のしくみ』を読んだ
最近話題の５Gの概要をつかむためにブルーバックスの『5G 大容量・低遅延・他接続のしくみ』を読んだ。 通信の領域は基本的なことしかわかっていなかったので、携帯電話の黎明期から今日の５Gに至るまでの歴史的な技術の変遷が書か […]
Pinterestにおける機械学習システムの性能改善論文：『Shop The Look: Building a Large Scale Visual Shopping System at Pinterest』
概要 KDD 2020 Applied Data Science Track Paper の以下の論文を読んだ。 Shop The Look: Building a Large Scale Visual Shopping […]
機械学習パイプラインのデバッガについての論文：Debugging Machine Learning Pipelines
タイトルの通り、機械学習パイプラインのデバッグを行うツールを開発した論文「Debugging Machine Learning Pipelines」を読んだ。 International Workshop on Data […]
Embeddingの違いによる後段タスクへの影響推定：Understanding the Downstream Instability of Word Embeddings
MLSys 2020の論文より。Embeddingが異なった場合、後段のNLPタスクに対してどれだけの影響があるかを、後段モデルの訓練を行わないで推定しようという論文の「Understanding the Downstr […]