株式会社Preferred Networks（代表取締役社長: 岡野原 大輔、以下、PFN）とTenstorrent USA, Inc.（CEO: Jim ...

そこで今回、東京都の公開資料をもとに日本語の複雑な質問応答と文単位の引用を評価するTokyo-Metropolitan Government Complex QA (tmg_cqa)を構築しました。資料をあらかじめ渡すRAG版と、モデルが検索ツールで根拠を集めるTool版の2つを用意しています。本ブログでは我々がなぜこのようなベンチマーク ...

Optuna v5ではデフォルトで用いるサンプラを数年ぶりに更新しました。この記事では開発チームがどのような議論と開発を経て今回の更新に至ったかを紹介します。 今回の改善には過去数年間 ...