絵を生成するstable diffusionは飽きかけているが言語系AIをローカルで動かして遊んでいるのはまだ楽しい。
大抵のモデルをインストールして動かしてみたが一つだけどうしても動かせないLLaMAの派生モデルがあった。
それはvicunaだ。
Gigazineの記事にもある通りChatGPT4には若干届かずグーグルのバード並の性能を持っているらしい。
それが自宅のPCのスタンドアロンで動く。
本家では GPT4の90%以上の性能と喧伝しているがさすがにそこまでではないと予想しているが開発者の自信は窺える。
ローカルでまともに動く言語系生成AIがあればトークン使用量を気にせず使えて嬉しい。
Auto-GPTのフォーラムをチェックしているとそろそろローカルAPIの機能が乗りそうな雰囲気なので使えたらChatGPTのトークン使用を気にせずぶん回せる。
他人に先行して遊んでいればAIで何か錬金術でも思いつきそうw
ただこのVicunaを使うための初手でLLaMAモデルから差分生成をしてライセンスフリーである対応を取らないといけない。
ぬぁんとこの変換作業に60GBのRAMが必要になってくる。
ソースはGigazine
我が家のゲーミングPCはAAAゲームで遊ぶ最低限の16GBを搭載させている。
ゲームやるならこれとi3とグラボのRTX2060(12GB)で十分だった。
どこか探せば誰かが変換したモデルをtorrentで…とも思ったがそれはよくない。
でも64GBのRAMは流石になぁ。
安いマザボを買ったのでメモリースロットが2つしかないので32GBが2枚必要で16GBx4枚よりかなり割高になりそう。
私「いまどきPCのRAM 64GBなんてお高いんでしょ？」
アマゾン「いえいえ、今なら32GBx2の最安値が1.5万円ポッキリからありますよ」
私「マジか！少し前は3万円とか5万円したはずだけど…」
アマゾン「今なら特別です、これを見た方だけに」
テレビショッピングのような茶番だが半導体のダブつきサムソンの経営状態がやばいと保守系ニュースが喜んで取り上げていたので知っていたがそこまで安いとは。
ブランド物のRAMですら64GBが2万円前後にまで落ち込んでいる。
SSDもSATAなら2TBが1万円を切っておりM.2ですら似たような価格まで下がっている。
私「はい、買います！」
アマゾン「お買い求めありがとうございます^^」
という具合に最安のPCのRAM 32GBx2枚をアマゾンGWセールで14,740円でポチった。
経済ニュースなどでは秋口までまだ半導体価格が下がりそうな気配だ。
しかしその頃にはAIのマイブームが去っている可能性が高い。
買うなら今だ！
それに4月は旅行にも出かけなかったのでこの値段で最高性能のAIで遊べるなら安いものだ。
セール中限定なれど最安のAcclamator 32GBx2枚のひとつ上にあったエッセンコアクレブのが+2000円で買える。
エッセンコアクレブはSK hynix製のメモリーチップを積んでおり台湾に会社がある韓国系企業だ。
そういえば使っているメモリーもSSDのひとつもこのメーカーを使っていた。
そこそこのブランドで＋2000円で信頼を買うのもいい。
一方で14700円の方は中華製なれどレビューをみると嘘か誠かメモリーチップに米国micronを使っているらしい。
同じくレビューによるとこの中華ブランドはDELLのPCに採用されているメーカーらしい。
あくまでレビューを信じるならだ。
メーカーで選ぶならエッセンコアクレブだがメモリーチップで考えればSK hynixよりmicronを選ぶ。
製造精度は気にはなる。
でも中国のメーカーのAcclamatorが半導体そのものを作っている訳ではない。
この手の部品はチップを欧米韓あたりが設計製造、部品を基盤に載せてアセンブルは中国という役割だった。
西側諸国と中露のブロック経済が進むまでは一般的だったので今ならまだ品質に問題はないだろうと買ってみた。
パッケージはノーブランドというより普通にメーカーパッケージのようだ。
開封して早速メモリーチップをチェックしたがMicronのロゴはついていたもののググっても見当たらない型番だ。
一応D9XQEでMT40A2G16SKL-062Eが見つかって32Gbitチップらしいのでこれが8個載っているので32GBytesになるので正規品であたりだろうか？
ただ中国サイトでしか見当たらないのは怪しい。
情報が少なすぎるのとRAMの知識はほぼ皆無なので真偽を判断する方法もわからない。
Windows標準のメモリー診断は通ったので容量偽装とかは無さそう。
数分かかると書いてあったが30分以上ぶん回っていた。
メモリーの検査といえばmemtest86とかもあるがこれで十分だ。
CPU-Zの表示でRAMの状態を見ると怪しさ爆発でシリアルナンバーがまだx‘FF’(255)に届いていないとかw
レビューの数だけでもそんなに売れていないとは思えん。
最低でもDELLに納品しているモデルとは別物ということだ。
それにfrequencyが1モジュール1600MHz(PC3200)に届いていないとかマニュファクトリーが無記名とか気になる点が多い。
あり得るのはmicronで製造した中で想定性能の出ない捨て値のメモリーチップを安く買い取って組み立てているノーブランドに無理矢理ブランドを付けて販売しているのかも知れない、知らんけど。
オススメはできないが購入して1週間で今のところ元気に動いている。
動画編集など16GB以上アロケーションするようなアプリを使っていないので本気で使い出してエラーしないかも不明だ。
しばらくやる事があってローカルPCにAIインストールする余裕がないけれどAUTO-GPTでインターネット上のオンラインGPTではなくLOCAL-GPTが使えるようになるまでには使えるようにしておきたい。
最近色々インストールしすぎでpythonやら言語環境周りが調子悪くなってきているので一度クリーンインストールでもしなきゃヤバそう。
せっかく購入したので最悪はRAMDISKにでもしようかと考えたが最近のSSD PCIe4x4の方が転送速度が速かったりするのでそのまま普通に使うか。
PS.
そしてその後Vicunaを動かす事ができしばらく遊んでみると確かに英語で使う分にはGPT3.5よりは有能に見える。
TOKENを2000まで引き上げると簡単なpythonスクリプトも作ってくれて勝手に仕様説明してくれる。
我が環境のrtx2060(12GB)だと2000TOKENで3〜4分くらいの速度が出るようだ。
これなら普通に使える。
但し日本語には壊滅的に弱かった。
日本語対応にグーグル翻訳のAPIを叩いて間に噛ませるスクリプトをChatGPTに組ませようと画策しているが最近ほかごとが忙しいので進んでいない。
最近bingのGPTにスクリプト組むよう依頼しても参考情報教えるからお前が作れ感が強くなってきたのは気のせいだろうかw