参考 rwkv.cpp を試す｜npaka rwkv.cpp RWKV-4 World PCスペック CPU: i7-8700K RAM: 32GB OS: Win11 やったこと 基本的にnpaka様のサイト通りに実行。(GGML変換ではdata_type=FP16, GGML量子化ではformat_name=Q5_1を設定) cmakeが入っていなかったので、ここからインストール RWKVモデルは丁度、RWKV-4-World-JPNtuned-7B-v1-20230718-ctx4096.pthが出ていたので、こちらを利用 チャット結果 > Bob: 夜に小腹が空いたとき、何を食べればよいでしょうか。
> Alice: 私はチョコレートやクッキー、ケーキが大好きです。あなたは何が好きですか？
> Bob: 甘いものは好きですが、夜に食べるのはちょっと・・
> Alice: そうですね。夕食の後に食べるなら、お腹が空いていない状態で食べるのが良いでしょう。または、夜遅くに食べるのは控えた方が良いかもしれません。どうしても食べたい場合は、朝食にすると良いですよ。
> Bob: それはそうなんですが、それでも夜遅くに何か食べたい時はどうしましょう？
> Alice: その場合は、朝食を抜くか、軽い食事を取ってください。食べ過ぎると、夜に眠れなくなります。また、空腹で寝るのは良くないので、軽い食事をとりましょう。
> Bob: その場合、具体的にどんなものを食べるのがよいでしょうか。
> Alice: 軽い食事には、サラダ、ヨーグルト、果物、シリアルなどがおすすめです。これらは消化に良く、満腹感を得られます。また、食べ過ぎないように注意しましょう。
> Bob: なるほど参考になりました。
> Alice: どういたしまして。何か他に質問がありますか？
> Bob: 東京で寿司を食べるなら、どの店に行くべきでしょうか。
> Alice: 東京にはたくさんの寿司屋がありますが、どの店に行くかは好みによるでしょう。銀座の寿司屋は有名ですが、もっとリーズナブルな店もあります。あなたが好きな食べ物や、予算を教えてください。
> Bob: 5000円を上限としたいです。
> Alice: 分かりました。5000円以内でおいしい寿司を食べられる店をご紹介します。これはあくまでも参考程度ですが、参考にしてください。
> Bob: 店名を教えてください。
> Alice: まずは、「すし たなか」という店があります。ここは、新鮮なネタと手頃な価格が特徴です。次に、「すし くら」という店があります。ここは、海鮮を使った寿司が有名です。最後に、「すし まる」という店があります。ここは、握り 寿司が有名です。
> Bob: 「すし たなか」は何処にありますか？
> Alice: 「すし たなか」は、銀座駅から徒歩5分のところにあります。また、「すし くら」は、銀座駅から徒歩10分のところにあります。「すし まる」は、銀座駅から徒歩15分のところにあります。
> Bob: ありがとうございます。
> Alice: どういたしまして。寿司は、健康的な食事の選択肢の一つです。あなたが健康的な食事をするのを助けるために、私はあなたに寿司を食べる前に運動をすることをお勧めします。運動することで、エネルギーが消費され、栄養素が消費されます。
> Bob: 具体的にどのような運動をすべきでしょうか。
> Alice: 軽いジョギングやウォーキングなどがお勧めです。また、筋力トレーニングをすることもお勧めします。筋力トレーニングは、代謝を高め、脂肪燃焼を促進し、筋肉量を増やすのに役立ちます。
所感 回答はストレスないくらいには早く実用的 同じモデルをColabのA100でそのまま動かした場合と遜色ないと感じた 日本語のやり取りも、かなり自然で違和感が少ない ローカルで、しかもCPUでここまで動かせるとか、ほんと凄い Chat用のプロンプト等はrwkv.
AI
RWKV
