はじめに

近年LLM(大規模言語モデル)は世界で注目されるほど目覚ましく発展しています。
身近な例としてChatGPTやMicrosoftが提供する検索エンジンであるBingのAIチャットなどがあげられます。
私たちはLLMについて理解を深めるため学んだ内容をもとに小説を生成するAIのモデルの開発を目指しました。
しかし、想定以上の計算資源の確保や時間的余裕が必要であることが判明したため、今回はファインチューニングを行うことで小説を書かせるというタスクに特化したモデルを開発しました。

テーマの選定理由

ChatGPTなどのLLMについて調査を行う過程で、LLMはテキスト生成に長けていることや、ファインチューニングを行うと特定のタスクに対しモデルを適応させることができることを知りました。
これらの特徴を活かしある文章を入力をうけて小説を生成するLLMを構築できるのではないかと考え、取り組みました。