LLMと計算を分離するTRPGエンジンの設計：VRAM 8GBでの挑戦

個人開発者が、有料APIを一切使用せず、ローカルLLMであるOllamaを中核に据えたTRPG兼チャットノベルアプリの開発ログを公開しました。このプロジェクトの最大の挑戦は、限られたリソース（VRAM 8GB）と、7B級モデルが持つ固有の制約、すなわち「嘘をつく」「計算を間違える」「名前を忘れる」といった信頼性の問題を、アーキテクチャ設計によって克服することにあります。この設計では、LLMの自由な生成能力と、確実な計算・データ管理を必要とする部分を明確に分離するアプローチが採用されています。具体的には、Android/Kotlin+Composeをフロントエンドとし、HTTP/SSEを介してゲームサーバー（FastAPI）と連携、ゲームサーバーがOllamaを呼び出す構成です。これにより、LLMは創造的なテキスト生成に特化し、数値計算や厳密なロジック処理は、より信頼性の高い従来のプログラムに任せることで、システムの全体的な安定性を確保します。このアプローチは、リソースが限られた環境でLLMを実用的に活用するための重要な示唆を与え、ローカル環境でのAIアプリケーション開発を加速させるものです。今後の展開として、このような分離型アーキテクチャが、より多様な個人開発プロジェクトに応用されることが期待されます。