結果

実際に出力された文章のいくつかを紹介します。

実際に生成させている様子

その他の出力例

入力文	出力文
一人の旅人が写真アルバムを手に、過去の思い出にふけっていた。	一人の旅人が写真アルバムを手に、過去の思い出にふけっていた。、その時代は、東京の郊外で行われているのであるが、この頃は年の夏が来ると、あのような日が落ちてしまった。それが今の秋である。
ある日のこと、一匹の犬が遊んでいるとき	ある日のこと、一匹の犬が遊んでいるときした。一人の人間は今朝から七十匹の牝鹿にかぎりながら二十匹の牝鹿を見て、海を囲みてたところであった。
ネットワークの海を漂う中、彼は新たな楽しみを求めて	ネットワークの海を漂う中、彼は新たな楽しみを求めてた。しかし、その看板が目についた時には、すでにかぎりの形もない。

出力された内容の文章は文法も正しく理解していないようなものが多く見受けられるので、あまり日本語的な意味をなしていないように感じられました。

モデルの評価

手順1の事前学習が完了したモデルに対して、データセットJCommonsenseQAを用いて常識推論能力を評価しました。
JCommonsenseQAとは、常識的な日本語をどのくらい理解できているかを5択の選択式問題をとかせるベンチマークです。
結果、1119問の問題のうち正解数が239問、不正回数880問で正答率は21.4%でした。
このことから、正答数がランダムで答えた場合の正答率とあまり変わらないことが見受けられます。

まとめ・考察

当初の目標は、ある文章を入力をうけて小説を生成するというものでした。当初の目標を踏まえて結果をみると、小説については文章や日本語の文法をあまり理解できていないように感じる出力になりました。
考えられる要因として、コーパスの量が足りないことがまず一番にあげられると考えられます。
また、モデルの評価に用いたJCommonSenseQAのスコアについてもランダムで答えた場合の正答率と余り変わりませんでした。正答率が低かった要因としてコーパス不足だけではなく、用いたデータが著作権が切れた現代には余り向かない内容であったことも一因ではないかと思われます。
解決策として、コーパスの量や質を上げることが一番に考えられますがどのようにデータを収集するかが今後の課題点です。