2.6 KiB
2.6 KiB
#领域/未知
#复盘/0 #临时/备忘 #状态/待处理
20260311-备忘-主题名-文件内容
一句话描述
[________]
# 新建并进入项目文件夹
mkdir LLM-KnowledgeBase && cd LLM-KnowledgeBase
# 克隆llama.cpp仓库
git clone https://github.com/ggerganov/llama.cpp.git
cd llama.cpp
# 安装依赖
pip install -r requirements.txt
# 编译(Windows自动用Visual Studio编译,等待1-2分钟)
make
apt update && apt install build-essential
1. 先安装 CMake(如果未安装)
在你的 Debian/Ubuntu 环境下执行:
bash
运行
apt update && apt install cmake
2. 标准 CMake 构建流程
在 llama.cpp 目录下,按顺序执行以下命令:
bash
运行
# 1. 创建并进入构建目录
mkdir -p build && cd build
# 2. 生成构建文件(启用所有可用功能)
cmake .. -DLLAMA_ALL_WARNINGS=ON -DLLAMA_BUILD_TESTS=OFF -DLLAMA_BUILD_EXAMPLES=ON
# 3. 编译(-j 后面跟 CPU 核心数,比如 -j4 用4核加速)
make -j4
🔍 问题原因
从截图可以看到,llama.cpp 新版本里,主程序文件名已经从 main 改成了 llama-simple 或 llama-cli,所以执行 ./main 会提示 no such file or directory。
🛠️ 解决方案:用正确的可执行文件名
方案 1:使用 llama-simple(推荐,轻量问答)
bash
运行
./llama-simple -m ../../models/llama-3-8b-instruct-q4_0.gguf -c 2048 --color -i -p "
【参考文档】
这里放入你的本地文档内容
【用户问题】
这里放入你的具体问题
【回答要求】
仅基于参考文档回答,不使用外部知识。
"
方案 2:使用 llama-cli(功能更全)
bash
运行
./llama-cli -m ../../models/llama-3-8b-instruct-q4_0.gguf -c 2048 --color -i -p "你的提示词"
方案 3:使用 llama-simple-chat(对话模式更友好)
bash
运行
./llama-simple-chat -m ../../models/llama-3-8b-instruct-q4_0.gguf -c 2048
这个命令会直接进入交互式对话模式,不需要 -p 参数,输入问题即可。
💡 关键说明
-
新版本
llama.cpp对工具做了重命名,main被拆分成了更细分的工具:llama-simple:基础问答llama-cli:完整命令行接口llama-simple-chat:对话模式
-
所有工具的核心参数(
-m、-c、--color等)用法和之前完全一致,只是文件名变了。
现在用 ./llama-simple 或 ./llama-cli 就能正常运行模型了!
需要我帮你把之前的 Python 脚本也更新成新的可执行文件名吗?这样就能无缝适配新版本。