LLMを活用して完全自動運転を目指すTuring社からの論文を読みました。

論文：NuScenes-MQA: Integrated Evaluation of Captions and QA for Autonomous Driving Datasets using Markup Annotations (https://arxiv.org/abs/2312.06352) WACV 2024 LLVM-AD Workshop

以下の図表は論文から引用。

どんなもの？

自動運転モデル作成のためのVQAタスクデータセットを、Markup-QAという手法を用いて構築。

作成したデータセットを用いてbaselineとなるモデルを作成。

先行研究と比べてどこがすごい？

長文で回答するような、VQAタスクの自動運転向けデータセットが新しい。

技術や手法のキモはどこ？

Markup-QAを用いることで、QAタスクは文章の品質とQAの正確性を測るように自然文に埋め込むことができる。

nuScenesデータセットから4種のコアコンセプトに従い、質問文のテンプレートを作成して、nuScenesのアノテーションを埋め込むことで、QAデータの作成を自動化することができる。

どうやって有効だと検証した？

作成されたQAデータセットの正解分布を調査し、十分に広い範囲をカバーしていることを確認。

複数モデルを作成して、複数の指標を用いて性能を確認。

議論はある？

ルールベースでデータセットが構築されているため、データセットに自然言語の広い分布がない可能性を述べている。そのため大規模モデルでのトレーニングにとって最適ではない可能性が示唆されている。

また空間的な情報を答えるタスクのバラエティが少なく、モデルがそのような情報を正しく学習できてるかは不確実である。