ムーンショットAI凄そうです

うちも、LocalLLMを作りました。お客様にセキュリティ上の安心安全のために立ち上げました。

ただ、やはりアホなんですわ。いや、賢いですよ？でも、アホなんですわ。

理由は様々なんですが、一番の理由は所詮モデルが小さいから。とにかく入口が小さい。KVキャッシュも小さい。
これが、地味に効く。

結構色々研究したんですよ？で、今の会社のお財布と相談して、ここが限界、っていう最大を組みました。

当たり前ですけど、業務には使えます。

しかし、何かリアルタイムにユーザとやり取り、とかは出来ません。
ほら、Geminiとか、最近会話が出来るでしょ？人間みたいな。
あんなのは、もう、別世界です。

なぜ、出来ないのか。

そら、向こうは金かけてますからねぇ・・・・
それに、LLMだってクローズドです。中でいったい何をやっているのか、知る由もありません。

そこに登場したのがKimi K3です。
これ、オープンウェイトなんですよ。そして、2.8兆パラメータなんですよ。

何がすごいかって？
いや、派手にすごいんですよ。

我々LocalLLMが億オーダーのパラメータです。それでもすごいんですけどね、やっぱり、もう、桁が違います。
そして、あっちはフルスペック。たぶん、1パラメータ4バイトでギュンギュン動かしてるんだろうなぁ。
ちまちま4bitでなんか動かしてないんだろうなぁ。

KVキャッシュだってたんまりです。

欲しい！Localで動かしたい！だって、オープンなんだもの。ダウンロードすれば、自分で使えるんだもの。

噂によるとClaude Opus4.8を超えるらしいですよ！
ほら、使いたくなってきたでしょ！？

だから、使おうと思ってダウンロードしようとしました。

でもね。使えるマシンが無いんですよ。

2.8兆パラメータだからね。
単純計算ですごいことになるけどね。
でも、Kimi K3には量子化しない状態は存在しなくて、既に量子化されてるらしい！
それも、4bitらしい！フルスペックでギュンギュン回す必要なさそう！
希望が出た！

で、調べると、1.4Tだって。え？T？SSDですか？いえいえ。GDDRですよね？4bit量子化してるんですよね？
え？GDDRですらない？HBMという貴族の記憶装置だとか・・・
なになに？KVキャッシュとか他のデータ分も含めると、1.8TB？

えっと、私の持ってるGPU換算だと、１００枚弱か・・・・
いや、無理だし

まだまだClaudeにお世話になりそうですね・・・

ちなみに、K3のライセンスはMAU 1億超のサービスだとUI上に「Kimi K3」と明示する義務があるので、「”君”の名前を呼ばないといけない」という地味に詩的な条項があるようです。

私には「君は高嶺の花」でした・・・・