Hacker Newsで取り上げられていた自然言語処理のデータセット Cornell NLVRの紹介です。
公式ページ：http://lic.nlp.cornell.edu/nlvr/
データセット：https://github.com/clic-lab/nlvr
論文：http://alanesuhr.com/suhr2017.pdf
これは、色の付いた図形が複数描かれた画像とキャプションのセットが与えられて、そのキャプションが正しく図を説明しているかを true/ falseで判定するタスクのためのデータセットです。データ数は92,244個でクラウドソーシングでデータを集めたそうです。
例えば、以下の画像のキャプションとして「There is exactly one black triangle not touching any edge」（他のエッジに触れていない黒い三角形がただ一つある）が与えられており、この正解ラベルは「true」となっています。
他にも、例えば次の画像のキャプションとして「There is a box with multiple items and only one item has a different color」（複数アイテムとともに一つ箱があり、ただ一つのアイテムが異なった色を持つ）が与えられ、この正解ラベルは「false」といったようになっています。
現在の、トップのテスト精度は公開データに対して約67％程度であり、ランダムに答えた場合よりも少し良いといった程度でしょうか。まだまだ、発展させる余地があるテストデータのようです。
