読んだ論文：Boundary Unlearning (CVPR 2023)

どんなもの？

Unlearning手法の一つとしてboundary unlearningという手法を提案。boundary unlearningはboundary shrinkとboundary expandingという2つの手法を指しており、どちらもunlearning対象のクラス以外の性能を保ったまま、unlearning対象のクラスを忘れることができる。

先行研究と比べてどこがすごい？

先行研究では忘れたクラスの情報が残っていたり、学習に長い時間がかかるなどの欠点があった。本手法では性能の改善と高速に学習可能な手法を提案している。

どうやって有効だと検証した？

クラス数を減らした状態で再学習した場合のdecision spaceを観察することで、unlearning対象のサンプルは他のクラスのdecision boundaryに行きつく傾向を見つけている。そのため、adversary trainingのような考え方で、unlearningサンプルを他のクラスになるように学習していく。

手法の有効性はCIFAR-10とVggface2の二つのデータセットで、retrain, finetuneと他の既存手法と比較。

全体的に性能が高く、他の手法よりも高速に実行できるところが利点。

議論はある？

全体的にboundary shrinkの方が、boundary expandingよりも良い結果に見える。boundary expandingはより高速なのが利点だと思われるが、現実的にはどこまでこの差異が優位に働くのかは気になる。

次に読むべき論文は？

“Aditya Golatkar, Alessandro Achille, and Stefano Soatto. Eternal sunshine of the spotless net: Selective forgetting in deep networks. In Proceedings of IEEE/CVF CVPR, pages 9304–9312, 2020.”