情報デザイン学科の学生で構成されている同好会l'acteで、学生便覧と開講科目一覧の内容に関するAIチャットボットを作成し、試験公開しました。技術的な検証と今後の研究課題を検討することを目的とし、約3週間と期間を限定して行われました。
(技術検証が目的で、今後、運用されるというものではありません)
このチャットボットは、学生便覧と開講科目一覧のPDFファイルをナレッジとして与え、その内容を参照して応答を作るRAGという技術を使った生成AIシステムです。例えば、「プログラム入門の担当者は誰ですか」と尋ねると、担当教員名をナレッジから応答します。また、「焼肉定食の作り方は」といったナレッジにない質問に対しては、「提供されたコンテキスト情報からは焼肉定食の作り方は回答することはできません」と応答します。
学生便覧と開講科目一覧を参照して回答する
資料に書かれていない質問には「わからない」と回答する
試験公開期間中に実施した使用感に関するアンケートに対し、全員から「あると嬉しい」または「まあ嬉しい」という回答が寄せられました。しかし、18%のユーザーは「やや使いにくいと感じた」と回答し、使い勝手に改善の余地があることがわかりました。
また、技術的な課題としては、表の読み取りに難点がありました。表は位置に情報がありますが今回のRAGではテキスト情報しか読みとれませんでした。そこでPDF形式から、MarkDown形式という構造を記述した形式に変換してみましたが、変換が十分ではなく誤った応答をすることがありました。
この試験公開を行ったことで、「技術的にできる」ことと「使ってもらう」ことには大きな違いがあることがわかりました。今後も技術の向上と使いやすさの改善に努めてまいります。
今回の試験公開にご協力いただいた皆さまに心より感謝申し上げます。
・情報技術でなんか作ってみる同好会l'acte
・情報デザイン学科(学科紹介)
・情報デザイン学科のブログを読んでみよう!
・研究分野
・情報デザイン学科教員紹介