10年前のRaspberry Pi 3でも生成AIは動く――ANGEWORK、 低スペック環境向けAI実装・最適化技術を実証
株式会社ANGEWORKは、約10年前のRaspberry Pi 3 Model B(RAM 1GB)を用い、生成AIの実装・最適化と小型LLMの動作検証を行い、技術記事2本を公開しました。
ESP32向け小型AIの移植では、ソフトウェア側の最適化により生成速度を31.22 tok/sから195.81 tok/sへ約6.3倍高速化。さらに複数の小型LLMを比較し、日本語会話が可能なモデルも確認しました。高価なGPUや最新機器に頼るだけでなく、限られたCPU・メモリ環境でAIを成立させるための設計・モデル選定・最適化の考え方を紹介しています。
既存機器へのAI組み込み、IoT、製造設備、閉域環境などでAI活用を検討する企業担当者・技術者向けの内容です。詳細はnote記事をご覧ください。

このニュースへのお問い合わせ
Webからお問い合わせこのニュースの詳細・お申し込み
詳細・お申し込み
関連リンク
技術検証・高速化
小型LLM・日本語会話比較
iPhoneでオフライン会話AIを「LocaPhone」





