export COMMANDLINE_ARGS="--listen --port=8080 --xformers-flash-attention --deepdanbooru --disable-safe-unpickle --enable-insecure-extension-access --force-enable-xformers --no-half-vae --xformers --theme dark --api --gradio-auth user:pass"
慎用参数:
--reinstall-xformers
--reinstall-torch
--no-half
--precision full
# 卸载并重新安装cuda11.8.x版本的torch/torchvision/torchaudio依赖库
./venv/bin/pip uninstall torch torchvision torchaudio &&
./venv/bin/pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118 &&
./venv/bin/pip list|grep -e torch -e xformers
# 宿主机安装cuda任意版本,不影响venv虚拟环境里的cuda依赖库版本
# 未使用cuda11.8版本相关torch/xformers时,4090只能跑2it/s左右;
# 指定安装cuda11.8版本相关torch/xformers后,4090可以跑到38it/s,效率接近提升20倍。