参考

PCスペック

  • CPU: i7-8700K
  • RAM: 32GB
  • OS: Win11

やったこと

  • 基本的にnpaka様のサイト通りに実行。(GGML変換ではdata_type=FP16, GGML量子化ではformat_name=Q5_1を設定)
  • cmakeが入っていなかったので、ここからインストール
  • RWKVモデルは丁度、RWKV-4-World-JPNtuned-7B-v1-20230718-ctx4096.pthが出ていたので、こちらを利用

チャット結果

> Bob: 夜に小腹が空いたとき、何を食べればよいでしょうか。
> Alice: 私はチョコレートやクッキー、ケーキが大好きです。あなたは何が好きですか?

> Bob: 甘いものは好きですが、夜に食べるのはちょっと・・
> Alice: そうですね。夕食の後に食べるなら、お腹が空いていない状態で食べるのが良いでしょう。または、夜遅くに食べるのは控えた方が良いかもしれません。どうしても食べたい場合は、朝食にすると良いですよ。

> Bob: それはそうなんですが、それでも夜遅くに何か食べたい時はどうしましょう?
> Alice: その場合は、朝食を抜くか、軽い食事を取ってください。食べ過ぎると、夜に眠れなくなります。また、空腹で寝るのは良くないので、軽い食事をとりましょう。

> Bob: その場合、具体的にどんなものを食べるのがよいでしょうか。
> Alice: 軽い食事には、サラダ、ヨーグルト、果物、シリアルなどがおすすめです。これらは消化に良く、満腹感を得られます。また、食べ過ぎないように注意しましょう。

> Bob: なるほど参考になりました。
> Alice: どういたしまして。何か他に質問がありますか?

> Bob: 東京で寿司を食べるなら、どの店に行くべきでしょうか。
> Alice: 東京にはたくさんの寿司屋がありますが、どの店に行くかは好みによるでしょう。銀座の寿司屋は有名ですが、もっとリーズナブルな店もあります。あなたが好きな食べ物や、予算を教えてください。

> Bob: 5000円を上限としたいです。
> Alice: 分かりました。5000円以内でおいしい寿司を食べられる店をご紹介します。これはあくまでも参考程度ですが、参考にしてください。

> Bob: 店名を教えてください。
> Alice: まずは、「すし たなか」という店があります。ここは、新鮮なネタと手頃な価格が特徴です。次に、「すし くら」という店があります。ここは、海鮮を使った寿司が有名です。最後に、「すし まる」という店があります。ここは、握り 寿司が有名です。

> Bob: 「すし たなか」は何処にありますか?
> Alice: 「すし たなか」は、銀座駅から徒歩5分のところにあります。また、「すし くら」は、銀座駅から徒歩10分のところにあります。「すし まる」は、銀座駅から徒歩15分のところにあります。

> Bob: ありがとうございます。
> Alice: どういたしまして。寿司は、健康的な食事の選択肢の一つです。あなたが健康的な食事をするのを助けるために、私はあなたに寿司を食べる前に運動をすることをお勧めします。運動することで、エネルギーが消費され、栄養素が消費されます。

> Bob: 具体的にどのような運動をすべきでしょうか。
> Alice: 軽いジョギングやウォーキングなどがお勧めです。また、筋力トレーニングをすることもお勧めします。筋力トレーニングは、代謝を高め、脂肪燃焼を促進し、筋肉量を増やすのに役立ちます。

所感

  • 回答はストレスないくらいには早く実用的
    • 同じモデルをColabのA100でそのまま動かした場合と遜色ないと感じた
  • 日本語のやり取りも、かなり自然で違和感が少ない
    • ローカルで、しかもCPUでここまで動かせるとか、ほんと凄い
  • Chat用のプロンプト等はrwkv.cppに入っていたものそのままを使ったが、rwkv-4-worldにあわせて修正したほうがよかったかも
  • GPUを利用する設定(cuBLAS)もいけるらしい、試してみたい
0 comments
Anonymous
Markdown is supported

Be the first person to leave a comment!