Global Features are All You Need for Image Retrieval and Reranking (https://arxiv.org/abs/2308.06954)

ICCV 2023に通っていて、Global featureのみで検索するというのがキャッチーなので読んでみました。画像検索についてはあまり詳しくないので理解が間違っているところがあるかもしれないです。

どんなもの？

global featureのみを用いたSuperGlobalという画像検索の仕組みを構築し、性能を犠牲にすることなく速度を向上した。

先行研究と比べてどこがすごい？

・global featureとlocal feature matchingの両方のステージを用いるのが一般的だが、計算量などの問題から速度向上しづらかった。

・複数のデータセットでSoTAを達成

・今までの2段階検索手法に比べて865倍の速度向上を達成

・他のネットワークに対しても構造を入れ込むことが容易。

技術や手法のキモはどこ？

・poolingの方法をGeMを工夫することで性能を向上

・rerankingの段階ではglobal featureのみを用いることで、速度性能を上げることができる。

どうやって有効だと検証した？

・OxfordとParisデータセットで他の手法と精度と速度を比較。どちらも従来手法よりも向上しているのを確認

・定性的な評価として、実際の検索画像を例示しているが、従来手法に比べて近い画像が上位に来ていることが分かる。

議論はある？

Global Featureのみを使って検索する手法の有効性が示されたが、local featureを使うような検索手法はメリットがなくなってしまうのかが疑問。

次に読むべき論文は？

GeMの論文。”F. Radenovi ́ c, G. Tolias, and O. Chum. Fine-Tuning CNN Image Retrieval with No Human Annotation. TPAMI 2018”