用三份小文件试一次本地资料问答
按AnythingLLM桌面文档准备小样例,区分附件与检索,验证版本、例外和未知问题。
本文目录 · 7 节
先别把整块硬盘导进知识库。这节课用三份你能一眼读完的文件,检查 AI 是否知道“引用哪份、哪版有效、什么没有写”。三份都答不稳时,塞进三千份通常只会更难排查。
本课采用 AnythingLLM Desktop 的本地模型路线,以 Windows 图形界面为例。编辑核对了官方安装、模型、文档和聊天模式说明,但没有在本次编辑中安装软件或执行模型测试。所有文件与预期回答均为虚构教学材料。
先确认电脑和软件,不从服务器开始
从 AnythingLLM 官方产品站的 Desktop 下载入口选择 Windows 安装包,核对开发方为 Mintplex Labs,以及处理器版本是 x86 64 位还是 ARM 64 位。不是下载源码 ZIP,也不是购买云端服务。运行安装器时选择当前用户安装;官方不推荐 Windows 的“所有用户”安装方式。
本地模型是主要硬件负担。官方给出的基础体验参考是16GB内存、8核CPU,Windows有独立显卡通常更快;这不是所有模型都能跑的保证。先按客户端显示的模型大小和电脑剩余空间选择一个可承受的模型,不要一开始下载最大的。安装依赖与首次下载模型需要联网。
启动桌面应用后,选择内置 AnythingLLM 本地模型提供方。对于上述16GB内存的练习电脑,可把 Qwen3-4B 的 Q4_K_M 量化版作为初始候选:Qwen官方模型卡说明其支持多语言,4B规模比更大模型更适合先做小样例;这只是选择依据,不是本机速度或中文准确率保证。
不要假定每个版本的内置菜单都列出相同模型。要明确取得同一文件,可以在浏览器搜索 Qwen Qwen3-4B-GGUF,核对发布者是Qwen官方组织,进入模型页的文件列表,下载 Qwen3-4B-Q4_K_M.gguf,不是整个仓库或训练权重。核验时该文件约2.5GB,运行仍需要额外内存。在 AnythingLLM 的模型选择界面点击 Import custom model,选择这个GGUF文件,等待导入完成后选中并保存。官方支持该桌面导入入口;本课没有实机验证当前电脑的引擎兼容或性能,导入报错时先核对软件版本和模型支持,不改装不明运行库。
把软件版本、实际显示的模型名称和量化文件名记在练习记录中;换了模型,要重新做四题,不能沿用旧成绩。本课不要求外部API密钥或云端账号;如果界面要求填写某服务密钥,检查是否误选了云端模型提供方。
在工作区里先问一句“只回答:模型已就绪”。能回复,才进入文件练习。软件能打开不等于模型已经下载完。
“本地知识库”至少有三部分
生成模型负责写答案;嵌入模型把资料转换成便于检索的表示;文档与向量存储保存材料和检索数据。桌面软件安装在本机,不意味着你选择的每个模型服务都在本机。
本课第一轮只附加三份很短的文件,让模型读取完整文本,不先调复杂检索参数。以后改成可跨对话使用的嵌入文档时,还要检查嵌入提供方与存储。AnythingLLM 默认嵌入模型偏重英文训练,中文检索质量需要单独测试,不能见到“默认”就认为最适合中文。
不要开启局域网发现来完成本课;不需要其他设备访问你的桌面后端,更不需要把它开放到公网。
创建三份文件,全部内容在这里
在电脑新建“资料问答练习”文件夹,用记事本分别保存以下 UTF-8 文本。文件名也保留,后面要靠它核对引用。
A-工具间规则-旧版.txt:
小河工具间使用规则,版本V1,2026年8月1日生效。
开放时间:周一至周五09:00—17:00。
借用期限:3天。
借用后由值班员登记物品与归还情况。
此文件为旧版,2026年9月1日起开放时间与借用期限由V2替代。B-工具间规则-现行.txt:
小河工具间使用规则,版本V2,2026年9月1日生效。
V2替代V1中的开放时间和借用期限,其他登记要求不变。
开放时间:周二至周六10:00—18:00,周一和周日不开放。
借用期限:5天。
大件工具需两名工作人员共同确认后借出。
本规则没有说明损坏赔偿标准。C-临时关闭通知.txt:
小河工具间临时通知,2026年9月2日发布。
因线路检修,9月5日全天不开放,仅适用于当天。
9月6日本来就是常规关闭日。
9月8日恢复按V2正常开放。这些材料刻意包含旧版、现行版和一次例外。如果只上传一份没有冲突的说明,很容易得到“看起来成功”的结果,却无法知道更新规则是否有效。
先做完整文本问答,不混用两种导入方式
在桌面应用创建或选择一个专门的练习工作区,打开新对话。把三份文本拖入聊天窗口,或点击输入框的“+”添加文件,等待文件处理完成。核对三个文件名都在本次对话里。
官方当前文档说明,直接附加的文件默认以全文加入当前对话;它们不自动变成其他对话也能使用的知识库。工作区嵌入文档才用于跨对话检索。先分清这一点,就不会换了一个对话后误以为“资料丢了”。
点击工作区旁的齿轮,在 Chat Settings 中选择 Chat 模式,不用默认的Agent模式扩展任务。当前只是对话附件,先不使用依赖资料检索的Query模式,以免把未嵌入与检索无结果混在一起。Chat模式也可能使用模型原有知识,所以必须在下面的提问里限定只依据附件,答案仍由你核对;这条提示不是技术上的绝对隔离。
输入:
请只根据这三份文件回答,当前按2026年9月的规则判断。
每个结论注明文件名与对应版本或通知。
资料没有写的内容直接说没有依据,不用常识补充。
1. 9月5日能来借工具吗?
2. 9月8日几点开放,能借几天?
3. 大件工具需要谁确认?
4. 损坏后赔多少钱?正确答案不只有一个数字
教学预期是:9月5日不开放,依据 C 的当天例外;9月8日10:00开放、借用期限5天,依据 B,且 C 说明恢复正常;大件工具需两名工作人员确认,依据 B;损坏赔偿金额没有依据,B明确未说明。
如果回答“9月5日是周六所以开放”,它没有应用临时例外。如果回答“借3天”,它用了已被替代的旧版条款。如果编出“按原价赔偿”,即使常见也不是这份资料的答案。
你可以把四题各记一分:事实正确且来源支持才得分。只写对结论却引用不相关文件,先记为待复核,不要算完全通过。本课不提供已经跑出的得分,你需要用自己的结果填写。
再做一次“资料不可见”测试
新开另一个对话,不重新附加文件,也没有把它们做成工作区嵌入文档时,问“9月5日工具间为什么关闭?”模型不应凭空知道检修通知。如果回答了具体理由,检查是否仍在原对话,或工作区是否已有同名资料,不要立即认定模型会永久记住所有文件。
需要长期问答时,再进入工作区的文档管理,将确认有效的文件按该版本界面加入并嵌入,等待处理完成。此时可在 Chat Settings 改用 Query模式,在新对话重复四题;它用于从资料回答并在无相关信息时说明找不到,但不能保证绝无错误。不要为了触发嵌入而故意超出上下文;也不要在警告出现时选择强行继续,官方说明这可能裁剪内容。
排错顺序比调参数更重要
第一句就答不了:先看模型下载与提供方,不要怀疑文档切片。回答乱码:检查文本编码与模型中文能力。只认旧版:检查B、C是否已附加或嵌入,并让它列出实际使用的文件,而不是马上删除全部资料。
检索模式说找不到:先用材料里的具体词“借用期限”“线路检修”重问,确认文件属于当前工作区;再检查中文嵌入质量和检索阈值。不要一上来把所有限制调到最大,导致无关内容一起涌进答案。
模型很慢:先减少文件与模型体量,检查是否仅CPU推理。不要把慢等同于故障,更不要为了速度把私人资料改发到未经评估的云服务。
当四题都能被你逐项复核,再换成三份脱敏的真实工作文件。真正值得保留的不是一句“我搭好了知识库”,而是一组能反复验证资料更新、例外处理和不知道时停下来的问题。
文字来源:AnythingLLM官方桌面与文档说明;三份工具间规则与四题为开工独立创作。