分类 AI 下的文章

安装概述

  • 系统:Windows 11 25H2
  • 目标:WSL2 + Ubuntu 24.04 装到 D 盘 + 镜像网络 + 不用 uv/不用 conda + 直接系统 pip 装 Parlor 依赖 + 源码编译 llama.cpp CUDA 版 + 跑 Gemma 4 E2B + 浏览器对话

阶段一:Windows 侧(PowerShell 管理员)

1. 装 WSL2 平台 + Ubuntu 24.04(先落 C 盘,后面迁 D)

wsl --install -d Ubuntu-24.04

装完会让你设 Linux 用户名/密码。设完退出。

2. 迁到 D 盘

wsl --shutdown
mkdir D:\WSL2
wsl --export Ubuntu-24.04 D:\WSL2\ubuntu24.tar
wsl --unregister Ubuntu-24.04
wsl --import Ubuntu-24.04 D:\WSL2\Ubuntu-24.04 D:\WSL2\ubuntu24.tar --version 2

(以后物理文件在 D:\WSL2\Ubuntu-24.04\ext4.vhdx

3. 写镜像网络配置(不重开 PowerShell,用 wsl --shutdown 重启 WSL 即可)

记事本写 C:\Users\你的Windows用户名\.wslconfig

[wsl2]
networkingMode=mirrored
dnsTunneling=true
autoProxy=true
localhostForwarding=true
memory=12GB
processors=12

然后 PowerShell 执行(这就是“重启 WSL 让配置生效”的命令,不需要关 PowerShell 窗口):

wsl --shutdown

再进 Ubuntu 就已是镜像网络。

阶段二:进 WSL2 Ubuntu(开始菜单点 Ubuntu 24.04,或 wsl -d Ubuntu-24.04

4. 基础包 + CUDA 用户态头文件

sudo apt update && sudo apt upgrade -y
sudo apt install -y python3.12 python3.12-venv python3-pip git curl cmake build-essential libcurl4-openssl-dev
sudo apt install -y nvidia-cuda-toolkit   # 提供 nvcc + headers,匹配你 3060

验证驱动穿透(不重开终端):

nvidia-smi

5. 编译 llama.cpp CUDA 版(build ≥ 9503)

cd ~
git clone https://github.com/ggml-org/llama.cpp
cd llama.cpp
cmake -B build -DGGML_CUDA=ON -DCMAKE_BUILD_TYPE=Release
cmake --build build -j$(nproc)
sudo ln -sf ~/llama.cpp/build/bin/llama-server /usr/local/bin/llama-server
llama-server --version   # 应显示 build 10xxx

6. 装 Parlor 的 Python 依赖(不用 uv、不用 conda,直接用系统 pip 装进一个 venv)

cd ~
git clone https://github.com/fikrikarim/parlor.git
cd parlor
python3.12 -m venv .venv
source .venv/bin/activate   # ← 这条就是“不重开终端让 venv 生效”的命令
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple --upgrade pip
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple -e .

7. 让 llama-server 路径对当前 shell 生效(不重开终端)

export PATH="/usr/local/bin:$PATH"
which llama-server   # 当前终端立即认得

8. 走 HF 镜像下模型(避免直连超时)

export HF_ENDPOINT=https://hf-mirror.com
export MODEL=e2b

阶段三:启动 + 浏览器

9. 起 Parlor 服务(当前终端接着用)

cd ~/parlor
source .venv/bin/activate
export MODEL=e2b
export HF_ENDPOINT=https://hf-mirror.com
export PATH="/usr/local/bin:$PATH"
python src/parlor/server.py --host 0.0.0.0 --port 8000

首次会自动从 HF 镜像下 gemma-4-E2B-it-qat-q4_0.gguf(~2.6GB)+ mmproj,加载完打印:

Uvicorn running on http://0.0.0.0:8000

10. Windows 浏览器打开

http://localhost:8000

允许麦克风加摄像头 → 说话 → 英文口语老师对话。


11. 以后每次要运行时

打开Powershell输入wsl按回车再输入以下命令回车然后打开浏览器http://localhost:8000

cd ~/parlor && export PATH="/usr/local/bin:$PATH" && export HF_ENDPOINT=https://hf-mirror.com && export MODEL=e2b && .venv/bin/python src/parlor/server.py --host localhost --port 8000

12. 利用cloudflared tunnel实现手机也可以访问

cd ~
wget https://github.com/cloudflare/cloudflared/releases/latest/download/cloudflared-linux-amd64 -O cloudflared
chmod +x cloudflared
sudo mv cloudflared /usr/local/bin/

运行以后打开一个新的wsl窗口执行

cloudflared tunnel --url http://localhost:8000

先决条件:
windows11系统
2060 12g显卡

所需文件及下载地址:
https://pan.baidu.com/s/1dRuSXr8Igd73ez-LxVLuBQ?pwd=4h4V

llama文件:
llama-b9496-bin-win-cuda-12.4-x64.zip 这是llama的压缩包

Qwen模型:
Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive-IQ4_NL.gguf 这是推荐的使用的模型
Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive-IQ4_XS.gguf 这是备用模型
mmproj-Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive-f16.gguf 这是支持处理图像的模型

llama启动文件:
llama.bat 这个文件里面根据我的显卡设定的

下载好所有的文件后
解压缩llama的压缩包到d盘根目录
进入llama-b9496-bin-win-cuda-12.4-x64这个文件夹新建一个models文件夹
进入models文件夹将
Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive-IQ4_NL.gguf和
mmproj-Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive-f16.gguf拷贝进去

打开llama.bat文件会弹出一个命令行窗口
这时候稍等一会初次运行会初始化
稍等片刻打开浏览器输入127.0.0.1:8080

就可以使用Qwen3.6了

不会设置的可以联系我QQ63164436

先決條件:
windows11 系統
3080 顯卡
1、1:安装 Git
git官方下載地址:https://git-scm.com/downloads/win
2、下载 comfyui 並安裝
ComfyUI官方下載地址:https://www.comfy.org/download
使用默認安裝路徑
3、下載文本編碼器和 VAE
文本編碼器:umt5_xxl_fp8_e4m3fn_scaled.safetensors 放入:ComfyUI/models/text_encoders/
下載地址
VAE:wan_2.1_vae.safetensors 放入:ComfyUI/models/vae/
下載地址
4、下載模型
下載地址
根據自己的GPU顯存選擇模型
5、下载 Json 格式的工作流
下載地址

ollama安装
ollama下载
https://ollama.com/download/windows
查看 ollama 版本
命令行输入下面的命令
ollama --version
当看到下面这一行提示说明ollama已经安装好了
ollama version is 0.5.7Copy

下载deepseek模型
模型下载地址
https://ollama.com/library/deepseek-r1
如果你的显卡显存8G可以选择7b模型,如果小于8G选择1.5b模型
我选择的是1.5b
在命令行输入命令
ollama run deepseek-r1:1.5b

其他对应的命令:
7b
ollama run deepseek-r1:7b
显存16G可以选7b、8b、14b,显存24G可以选32b,显存40G可以选70b或者更高

C:\Users\Administrator> ollama pull deepseek-r1:1.5b
pulling manifest
pulling 6340dc3229b0... 26% ▕█████████████████████████████ ▏ 1.3 GB/4.9 GB 3.5 MB/s 17m32sCopy

等待进度条完成后就可以用了
需要注意的是需要梯子

安装Web UI
点击下载安装Web UI
添加浏览器扩展