読んだ論文：Boundary Unlearning (CVPR 2023)
どんなもの？
Unlearning手法の一つとしてboundary unlearningという手法を提案。boundary unlearningはboundary shrinkとboundary expandingという2つの手法を指しており、どちらもunlearning対象のクラス以外の性能を保ったまま、unlearning対象のクラスを忘れることができる。
先行研究と比べてどこがすごい？
先行研究では忘れたクラスの情報が残っていたり、学習に長い時間がかかるなどの欠点があった。本手法では性能の改善と高速に学習可能な手法を提案している。
どうやって有効だと検証した？
クラス数を減らした状態で再学習した場合のdecision spaceを観察することで、unlearning対象のサンプルは他のクラスのdecision boundaryに行きつく傾向を見つけている。そのため、adversary trainingのような考え方で、unlearningサンプルを他のクラスになるように学習していく。
手法の有効性はCIFAR-10とVggface2の二つのデータセットで、retrain, finetuneと他の既存手法と比較。
全体的に性能が高く、他の手法よりも高速に実行できるところが利点。
議論はある？
全体的にboundary shrinkの方が、boundary expandingよりも良い結果に見える。boundary expandingはより高速なのが利点だと思われるが、現実的にはどこまでこの差異が優位に働くのかは気になる。
次に読むべき論文は？
“Aditya Golatkar, Alessandro Achille, and Stefano Soatto. Eternal sunshine of the spotless net: Selective forgetting in deep networks. In Proceedings of IEEE/CVF CVPR, pages 9304–9312, 2020.”
