RWKV-Runner/README_ZH.md

RWKV Runner

本项目旨在消除大语言模型的使用门槛，全自动为你处理一切，你只需要一个仅仅几MB的可执行程序。此外本项目提供了与OpenAI API兼容的接口，这意味着一切ChatGPT客户端都是RWKV客户端。

English | 简体中文

视频演示 | 疑难解答 | 预览 | 下载 | 懒人包

注意 目前RWKV中文模型质量一般，推荐使用英文模型体验实际RWKV能力

预设配置没有开启自定义CUDA算子加速，但我强烈建议你开启它并使用int8量化运行，速度非常快，且显存消耗少得多。前往配置页面，打开使用自定义CUDA算子加速

对于不同的任务，调整API参数会获得更好的效果，例如对于翻译任务，你可以尝试设置Temperature为1，Top_P为0.3

功能

• RWKV模型管理，一键启动
• 与OpenAI API完全兼容，一切ChatGPT客户端，都是RWKV客户端。启动模型后，打开 http://127.0.0.1:8000/docs 查看详细内容
• 全自动依赖安装，你只需要一个轻巧的可执行程序
• 预设了2G至32G显存的配置，几乎在各种电脑上工作良好
• 自带用户友好的聊天和补全交互页面
• 易于理解和操作的参数配置
• 内置模型转换工具
• 内置下载管理和远程模型检视
• 多语言本地化
• 主题切换
• 自动更新

API并发压力测试

ab -p body.json -T application/json -c 20 -n 100 -l http://127.0.0.1:8000/chat/completions

body.json:

{
  "messages": [
    {
      "role": "user",
      "content": "Hello"
    }
  ]
}

Todo

• 模型训练功能
• CUDA算子int8提速
• macOS支持
• linux支持
• 本地状态缓存数据库

相关仓库:

• RWKV-4-Raven: https://huggingface.co/BlinkDL/rwkv-4-raven/tree/main
• ChatRWKV: https://github.com/BlinkDL/ChatRWKV
• RWKV-LM: https://github.com/BlinkDL/RWKV-LM

Preview

主页

聊天

补全

配置

模型管理

下载管理

设置