NTTの藤田早苗です。
この連載ではNTTで取り組んでいる絵本検索システム「ぴたりえ」関連の研究を中心にご紹介しています。
前回（第３回）では、子どもの年齢にあった絵本や、ちょうど読めそうな絵本を探せるようにと取り組んだ、文の難しさの推定方法をご紹介しました。
でも、絵本なのですから、文の難しさだけでなく絵もとっても大事な要素ですよね。
そこで第４回では、絵が好みの絵本を簡単に探すための方法をご紹介します。
絵本を絵で探す ～似ている絵の絵本をみつける～
好みの絵の絵本はどうやって探せれば便利でしょうか？
我々は（好みの絵がどんな絵かを頑張って説明するよりも）実際に絵を見て選ぶのが簡単なのではないかと考えました。
そのため「ぴたりえ」では、好みの絵の絵本を一冊選ぶと、それをトリガーにして、その絵に似ている絵の絵本を探せるようにしています。トリガーにする絵本は、たくさん提示した表紙の中から選んだり、好みの絵の絵本がわかっている場合にはその絵本をピンポイントに使うことも可能です。
例えば、『ねないこ だれだ』（せなけいこ (1978), 福音館書店）が好きだとしましょう（私も子ども達に毎晩のように読み聞かせていた時期がありました。『ねないこ だれだ』を読むとみんなすぐ寝てくれたものです）。
『ねないこ だれだ』の表紙の絵に似た表紙の絵本を探した結果が図1です（書誌情報は本稿末尾に掲載）。検索は、ぴたりえに登録された全絵本を対象としていて、本稿では6,193冊を検索対象としています。検索結果の一番左上から右方向に、さらに下段に行くほど、トリガーの絵本と似ている程度（類似度）は低くなっていきます。図1では、一番左上の絵本は『ねないこ だれだ』ですが、最も似ているのはトリガーの絵本そのものであるという結果であり、検索プログラムが正しく動いている証拠といえます。
なお、検索対象とする絵本が変わると検索結果もかわりますので、お近くの図書館においてある（かもしれない）ぴたりえでの検索結果と異なっていたとしてもご了承ください。
図1. 『ねないこ だれだ』（せなけいこ (1978), 福音館書店）に表紙が似ている絵本の検索結果（一部）
もう一例、『チャッピィの家』（いまいあやの (2010), ビーエル出版）をトリガーにして検索した結果をご紹介します(図2)（今度は子どもではなく私の趣味です）。
図1とはずいぶん違う絵本が上位に来ているのが見て取れると思います。
図2. 『チャッピィの家』（いまいあやの (2010), ビーエル出版）に表紙が似ている絵本の検索結果（一部）
絵が似ているとは ～似ているってなんだろう～
ところで、「絵が似ているかどうか」はどうやって定義すればいいのでしょうか？
正直に言えば、答えは「わかりません」。
図1、2の検索結果でも、確かに似ていると思う絵本もあれば、そんなに似ていないと思う絵本もあるかもしれません。絵が似ていると感じるかは、個人の感性によって違ったり、何を重視するかによっても違うでしょう。
とはいえ、絵による検索がうまくいっているかどうか、なんらかの方法で評価しなければいけません。そこで評価方法の一つとして、我々は、少なくとも同じ作者の絵は上位に来るという仮定での評価も行いました。例えば図1では、上位12冊の中に、自分自身を含めて5冊、せなけいこさんの絵本が含まれています。なお、せなけいこさんの絵本は検索対象の6,193冊の中に全部で44冊含まれていました。このように同じ作者の絵本が検索結果の上位に来るようであれば、絵が似た絵本をうまく探せていると判断しました。
ただし、他の作者の絵本も上位に来ていますし、それはそれで良いと考えています。というのは、同じ作者の絵だけが上位に来るのでは、データベースで同じ画家の絵本を探すのと何ら変わらないからです。
特徴量 ～似ている絵を探す手掛かりになるもの～
さて、ぴたりえでは、絵の類似度を測る特徴量（対象データの特徴を定量的な数値として表したもの）として、「色」や「レイアウト」「形」などを表すような特徴量を使っています。こうした特徴量は機械的に取り出しています。そのため、「色」といっても赤や黒といった色の名前ではなく、コンピューター上で色を表現するときに使われるRGB（R:赤、G:緑、B:青）を特徴量として使っています。
また、「レイアウト」と呼んでいる特徴量には、表紙画像を例えば９つに分割したときに、どの部分に書き込み（線の分量）が多いか少ないか、といった情報を使っています。この特徴量によって、真ん中に大きなキャラクターが描かれていて背景はあまり描かれていないとか、まんべんなくたくさんの描き込みがされている、といった特徴を捉えることができます。
図1, 2 をご覧いただくと、「色」「レイアウト」「形」以外に、「Deep Feature」で検索というボタンがありますが、「色」などと違い、少しイメージしにくいかもしれません。
「Deep Feature」は、近年のAI技術の躍進の根幹をなしているDeep Neural Network (DNN)に由来する特徴量を指しています。
DNNとはたくさんの階層（Deep）からなる、脳の神経細胞が形成する回路（Neural Network）を表現する数理モデルで、問題と正解をペアで与えて訓練すると有用な回路が形成されることが知られています。例えば、画像を問題、その画像に映っているモノ（車、猫、ボールなど）を正解として訓練したDNNは、画像に映っているモノが何かを教えてくれるようになります。十分な訓練のためには、何が映っているか、という正解が分かっている画像をたくさん準備する必要がありますが、非常に多くのモノに対してこうした画像を準備するのは困難です。ところが面白いことに、正解を教えてくれる最後の階層より一つ前の階層では、正解に与えたモノの特徴を表す判断基準が判定できるようになっており、この階層の情報によって例えば車の四角い窓を見分けることができたりします。この情報を使うと、正解として準備していなかったもの、例えば電車（車と同じで窓はあるけれど、車と違って車輪が映っていないものが多い）を発見できたりします。ぴたりえではこのＤＮＮの最後から一つ前の階層を特徴量として使っています。
ぴたりえでは、こうした特徴量のうち何を重視したいかを、自分で調整できるようにしています。例えば、図3は図2と同様、『チャッピィの家』（いまいあやの (2010), ビーエル出版）をトリガーとした検索結果ですが、色重視で検索しています。実際、図1の検索結果よりも『チャッピィの家』と色あいが似ている絵本が上位に来ていると感じていただけるのではないでしょうか？ ぜひ、ご自身の好みの絵を見つけられるよう、ご自身の感覚にあった調整を試してみていただければと思います。
図3 『チャッピィの家』（いまいあやの (2010), ビーエル出版）に表紙が似ている絵本を「色重視」で検索した結果（一部）
第5回でも、もう少し絵に着目していきたいと思います。
なお、本稿の内容は、同僚の服部正嗣氏にも協力していただきました。この場を借りてお礼を申し上げます。
参考資料
[1]服部 正嗣, 藤田 早苗, 青山 一生., “テキストから得られる複数特徴量を融合する絵本類似探索法”, 2015年度人工知能学会全国大会（第29回）JSAI2015, 2E4-NFC-01b-5, 2015.
[2]服部 正嗣, 小林 哲生, 藤田 早苗, 奥村 優子, 青山 一生., “絵本検索システム「ぴたりえ」 ～ 概要と本システムを用いた取り組み ～”, 電子情報通信学会, ヒューマンコミュニケーション基礎研究会, vol.116, No. 436.
参考
図中の絵本は次の通りです。
図1一列目左から
- せな けいこ (1978) 『ねないこ だれだ』 福音館書店
- きうち かつ (2007) 『くだものなんだ』 福音館書店
- かしわら あきお (2010) 『いっしょにあそぼ ぶんぶんきいろ』 学研教育出版
- ひらぎみつえ (2019) 『へんしん！おばけちゃん』 ほるぷ出版
- 今西 乃子（文） 浜田 一男（写真） (2010) 『小さないのち まほうをかけられた犬たち』 金の星社
- せな けいこ (2010) 『おにはそと』 金の星社
図1二列目左から
- せな けいこ (1975) 『めがねうさぎ』 ポプラ社
- せな けいこ (1972) 『きれいなはこ』 福音館書店
- てづか あけみ (2016) 『地球のみえないところをのぞいてみたら』 ＰＨＰ研究所
- せな けいこ (1969) 『にんじん』 福音館書店
- 山本 美香 (2016) 『これから戦場に向かいます』 ポプラ社
- フィオナ・ランド (2014) 『さいしょにみるえほん もよう』 主婦の友社
図2一列目左から
- いまい あやの (2010) 『チャッピィの家』 ビーエル出版
- 松田 奈那子 (2016) 『みつけてくれる？』 あかね書房
- どい かや (2005) 『チリとチリリ まちのおはなし』 アリス館
- まど・みちお（詩） 南塚直子（絵） (1998) 『キリンさん』 小峰書店
- くすのきしげのり（作） 松本春野（絵） (2015) 『Life 』 瑞雲舎
- 舟崎靖子（作） 舟崎克彦（絵 ）(1988) 『もりのアイスクリームやさん』 偕成社
図2二列目左から
- 高橋真琴（絵） 八百板洋子 （文）(2011) 『ペローとグリムのおひめさま シンデレラ』 学研教育出版
- ジョアンナ・トゥロートン 山口 文生 (1987) 『天の火をぬすんだウサギ』 評論社
- やまちかずひろ（文） 荒井良二（絵） (2006) 『十二支のはじまり』 小学館
- ジュディス・カー（作） 晴海 耕平（約） (1994) 『おちゃのじかんにきたとら』 童話館出版
- 寺村 輝夫（作） いもとようこ（絵）(1983) 『うんどうかいがはじまった』 あかね書房
- 梨屋アリエ（作） こがしわかおり（絵） (2013) 『わらうきいろオニ』 講談社
図3一列目左から
- いまい あやの (2010) 『チャッピィの家』 ビーエル出版
- 松田 奈那子 (2016) 『みつけてくれる？』 あかね書房
- どい かや (2005) 『チリとチリリ まちのおはなし』 アリス館
- 鈴木 永子 (2010) 『月刊予約絵本「こどものとも年中向き」通巻289号「まどからの おくりもの」』 福音館書店
- 君島久子（文） 小野かおる（絵） (2007) 『中国のむかしばなし 天女の里がえり』 岩波書店
- まど・みちお（詩） 南塚直子（絵） (1998) 『キリンさん』 小峰書店
図3二列目左から
- 寺村 輝夫（作） いもとようこ（絵） (1983) 『うんどうかいがはじまった』 あかね書房
- まど・みちお（詩） 南塚直子（絵 ）(2009) 『ことり』 小峰書店
- 舟崎靖子（作） 舟崎克彦（絵） (1988) 『もりのアイスクリームやさん』 偕成社
- 矢玉四郎 (1988) 『しゃっくり百万べん』 偕成社
- シャーロット・ヴォーク（作） 竹下文子（訳） (1998) 『でんしゃがくるよ！』 偕成社
- どい かや (2003) 『チリとチリリ』 アリス館
| 著者 |
 |