deploy example for linux
This commit is contained in:
parent
4760a552d4
commit
6ec6044901
1
build/linux/Readme_Install.txt
vendored
1
build/linux/Readme_Install.txt
vendored
@ -6,6 +6,7 @@ On Linux system, this program cannot invoke the terminal for automatic dependenc
|
|||||||
在Linux系统下, 本程序无法调用终端自动安装依赖, 你必须手动执行以下命令进行安装, 之后方可正常使用:
|
在Linux系统下, 本程序无法调用终端自动安装依赖, 你必须手动执行以下命令进行安装, 之后方可正常使用:
|
||||||
Linuxシステムでは、このプログラムはターミナルを自動的に呼び出して依存関係をインストールすることができません。以下のコマンドを手動で実行する必要があります。それが完了した後に、正常に使用することができます:
|
Linuxシステムでは、このプログラムはターミナルを自動的に呼び出して依存関係をインストールすることができません。以下のコマンドを手動で実行する必要があります。それが完了した後に、正常に使用することができます:
|
||||||
|
|
||||||
|
sudo apt install python3-dev
|
||||||
chmod +x ./RWKV-Runner
|
chmod +x ./RWKV-Runner
|
||||||
./RWKV-Runner
|
./RWKV-Runner
|
||||||
cd backend-python
|
cd backend-python
|
||||||
|
@ -1,3 +1,6 @@
|
|||||||
|
: install git python3.10 yarn by yourself
|
||||||
|
: change model and strategy according to your hardware
|
||||||
|
|
||||||
mkdir RWKV-Next-Web
|
mkdir RWKV-Next-Web
|
||||||
cd RWKV-Next-Web
|
cd RWKV-Next-Web
|
||||||
|
|
||||||
|
27
deploy-examples/ChatGPT-Next-Web/setup.sh
Normal file
27
deploy-examples/ChatGPT-Next-Web/setup.sh
Normal file
@ -0,0 +1,27 @@
|
|||||||
|
# install git python3.10 yarn by yourself
|
||||||
|
# change model and strategy according to your hardware
|
||||||
|
|
||||||
|
sudo apt install python3-dev
|
||||||
|
|
||||||
|
mkdir RWKV-Next-Web
|
||||||
|
cd RWKV-Next-Web
|
||||||
|
|
||||||
|
git clone https://github.com/josStorer/RWKV-Runner --depth=1
|
||||||
|
python3 -m pip install torch torchvision torchaudio
|
||||||
|
python3 -m pip install -r RWKV-Runner/backend-python/requirements.txt
|
||||||
|
python3 ./RWKV-Runner/backend-python/main.py > log.txt &
|
||||||
|
|
||||||
|
if [ ! -d RWKV-Runner/models ]; then
|
||||||
|
mkdir RWKV-Runner/models
|
||||||
|
fi
|
||||||
|
wget -N https://huggingface.co/BlinkDL/rwkv-4-world/resolve/main/RWKV-4-World-0.1B-v1-20230520-ctx4096.pth -P RWKV-Runner/models/
|
||||||
|
|
||||||
|
git clone https://github.com/Yidadaa/ChatGPT-Next-Web --depth=1
|
||||||
|
cd ChatGPT-Next-Web
|
||||||
|
yarn install
|
||||||
|
yarn build
|
||||||
|
export PROXY_URL=""
|
||||||
|
export BASE_URL=http://127.0.0.1:8000
|
||||||
|
yarn start &
|
||||||
|
|
||||||
|
curl http://127.0.0.1:8000/switch-model -X POST -H "Content-Type: application/json" -d '{"model":"./RWKV-Runner/models/RWKV-4-World-0.1B-v1-20230520-ctx4096.pth","strategy":"cpu fp32"}'
|
Loading…
Reference in New Issue
Block a user