2017年3月、工学域 電気電子系学類 情報工学課程4年の藤野紗耶さんが文部科学省主催「第6回サイエンス・インカレ」で、最高賞の文部科学大臣表彰を受賞しました。

▼サイエンス・インカレとは（文部科学省Webサイト）
https://science-i.mext.go.jp/

藤野さんは口頭発表部門で「私と人工知能が創り出す夢のデジタル絵本―阪和線103系への想いを形に―」というタイトルで発表。先行して研究を進めていた画像認識とJR阪和線を走る大好きな青い電車への思いを組み合わせた研究テーマで、ディープラーニングと進化型計算を合わせた最先端の技術を応用して絵本の半自動生成システムを構築。

参加180組（うち口頭発表46組）の中から、見事全国1位の賞に輝きました。

そんな藤野さんに学内でお会いしてみると、柔らかい雰囲気を持った朗らかな女子学生。アカペラサークルONEBEENSで仲間と歌いつつ、春からは大学院生として研究を続けていくそうです。研究室にてインタビューさせていただきました。

（広報）発表テーマはどのように生まれましたか？

人工知能と人間との共存をはかりたいという目標のために「計算機で感性を理解する」ことが私の研究テーマです。私は絵本が好きなので「こんな絵本があったらいいな」と思い描けば、人工知能がそれを作ってくれるようなシステムをいつか作ってみたい。そこに、阪和線の青電車103系が大好きでしたので、それを組み合わせた対話型絵本システムをエントリーテーマにしました。システム名は英語で「Interactive digital picture book with Observing ∃ Kansei ∈ user」と表記され、頭文字を取ると「IO∃K」、103系と読めるというシステムです。

（広報）具体的にはどのようなシステムですか？

今時点での研究の進み具合では、絵と文章の完全な自動生成はまだ難しい段階です。そこでサイエンス・インカレで目標としたのは、人工知能の技術を応用して、画像と文章を学習させて絵本を半自動生成するシステムです。

具体的には、自分で絵を描いて、システムに取り込み学習させ、かつ自分の好きな絵本の文章を学習させることで、「この絵のパーツは私の感性に合うパーツだ」というふうに「好み」という感性的な観点で絵と文を選んでくれるシステムです。絵を描いてデータとしてシステムにどんどん保存し、絵タッチを学習させる。文章も自分の好きな文章、小説、レシピなどを用意して、基準になる文章として学習させました。

（広報）難しかったところは？

絵タッチの識別はすごく難しくて、研究もまだ十分にされてない領域です。その中で「感性」で絵を識別させるために、好みのイラストと好みではないイラストという切り口を考えました。その他に「私の絵に合う」イラストという軸も用意して、好みじゃないけど絵本には合う、また好みだけど絵本に合わないので「これは使ったらいけないよ」と人工知能が教えてくれる、という発想を取り入れました。

文体補正も、輪をかけてまだまだ難しい技術。生成される文章を「自分の好きな文体に近づける」ことができないかをずっと模索し、11の観点で文章を言い換える候補を人工知能に教えてもらうといったシステムを考えました。

【絵本生成のデモムービーはこちらから】

配置は手作業ですが、なじまない絵パーツが生成されることもなく、華やかな配色を作り出してくれます。ここまで来るだけでも相当の試行錯誤がありました。

また、絵本の研究は研究室配属された3年後期から進めていましたが、指導教官の森直樹先生に背中を押してもらい「103系で絵本システムを作ろう」と決めたのは、サイエンス・インカレ応募締め切りの11月に対して9月ごろ。文体補正についての研究もその時から始めて、本当にバタバタと組み上げました。

（広報）103系との出会いは？

もともとは神戸に実家があって、1年生の時は2時間30分かけて通学していました。さすがにしんどいので阪和線沿いで1人暮らしをすることになって、その最寄り駅で青くてとてもかわいい電車にめぐり合ったのが最初のきっかけです。

あまりにもかわいくて、毎日見られるなら1人暮らしも頑張れると思いました。もともと鉄道が好きとか、乗り物が好きとかではないんですよ。

（広報）今後はどのようなゴールをめざしていきますか？

今回、ディープラーニングを使って「私の感性」を理解できるネットワークができました。ほかの絵を用意しても、それが私の好みかどうかを伝えてくれます。そういった観点は芸術のフィールドでも使えるかなと考えています。顧客カテゴリーごとの感性を学習したネットワークができれば、それに合ったアウトプットが生成できる。そんなビジネスへの応用もできるかなと思います。

 

また、親子で楽しめる対話型絵本ができないかなと考えています。お母さんが「こういう設定で」とイメージして、子どもが絵を描けば、その子に合った絵とストーリーが生成されるような、親子の競作で絵本ができればいいなと考えています。

まだ半自動生成システムですが、そういったいくつかの観点で、いつかテーマだけ伝えたら完全パッケージの絵や文章が生成される、そんな夢のある時代を作っていきたいですね。

 

■藤野紗耶さんのコメント
府大生であればきっと一度は見たことがある阪和線を走る国鉄 103 系という古い電車があります。わたしは、このスカイブルーの 103 系電車が本当に大好きなのです。 そこで今回は、わたしの103系への想いを形にするために感性に基づいた対話型絵本システム (Interactive digital picture book with Observing ∃ Kansei ∈ user :IO∃K) を提案し、人工知能の力を借りて 103 系をテーマにした絵本を作りました。

自分の好きなものをたくさん取り入れた研究なので、楽しかった反面、“感性”という数値化できない定性的な概念を工学的に扱うことにはとても苦労しました。

 

けれども負けずに頑張り続けたおかげで、サイエンス・インカレで多くの方々の前で発表する機会を頂けて、ディープラーニングを始めとする人工知能が持つ可能性や、103 系の可愛さを知って頂くことができ、さらにこのような望外の賞を頂くことができて心から嬉しく思っています。

好きなことへの情熱は自分自身だけでなく、人の心さえも動かすことができるのだということを、大きな拍手を浴びながら実感できました。受賞の喜びとご協力いただいた方々への感謝の念を忘れずに、これからも楽しく研究を続けていきたいです。

また、サイエンス・インカレは他分野や他大学の方との交流ができる素晴らしい場ですので、今後本学からも参加者が増えることを願います。

最後に、103 系は本当に可愛いので、ぜひ一度、阪和線沿いまで、 103 系に会いに行ってみてください！！！

※「サイエンス・インカレ」に応募が可能な学生は下記のとおり
大学1～4年次（短期大学1～3年次を含む）の学生
高等専門学校4～5年次の学生
高等専門学校及び短期大学の専攻科の1～2年次の学生

◆参考リンク
▼本学学生が「第6回サイエンス・インカレ」で文部科学大臣表彰を受賞（大学Webサイト）
http://www.osakafu-u.ac.jp/news/nws20170321/

【取材：皆藤　昌利・細川　幸児（広報課）】
【取材日：2017年3月22日】　※所属・学年は取材当時