スマホやPCにNPUなんて無駄だと思う理由

スマホやPCにNPUを乗っける試みがあるが、正直無駄だと思う。

理由
・軽量なSLMならNPU使わなくても利用可能。
・ちょっと複雑なSLMならGPUの方がずっと良い。
・現在のクラウドLLMは圧倒的に性能が高く安価でそれなりに応答が早い。
・クラウドLLMの進歩が早すぎて中途半端な性能だとすぐ陳腐化。
・NPUを使うメリットのある用途が少なすぎる。
・メリットのある用途が少ないからNPUを使うソフトも全然増える見込みがない。

メリットのあると思われる処理は、十分な完成度の軽量なSLMを即応性が高く低電力で長時間を動かす用途ぐらいしかない。考え付くのはスマホでリアルタイム翻訳やTTSぐらいしかないのではないかと思う。お金はかかるものの基本的にはほとんどの処理はクラウドLLM一択になると思う。

数年後ぐらいに優れた技術やNPUの性能が爆上がりして、今クラウドLLMでやってるようなことがスマホでできるぐらいになったら使い道はあるかもしれないが、今のNPUなんてゴミ過ぎて話にならないと思う。