在 AnythingLLM 中使用 OpenDataSky API
AnythingLLM 是一款简单易用、功能全面的AI应用,无需代码或基础设施即可进行Retrieval-Augmented Generation(RAG)、AI代理等操作。它支持本地LLMs、定制化私有环境,旨在提供一个完全可定制的、私有的、多合一的 AI 应用程序。
安装 AnythingLLM 客户端
根据AnythingLLM的安装指南,您可以下载并安装最新版本的AnythingLLM。
配置
本指南以 AnythinLLM Desktop for Windows 为例。
- 首次打开客户端时在 AnythingLLM 引导页点击“Get Started”进入下一步。
- 进入 LLM Preference 页面配置您需要的文本模型。
- 选择模型提供商为“Generic OpenAl”。
- Base URL中输入
http://server.opendatasky.com/v1/api/open-ai/ds
。 - 输入 API Key,为您在 OpenDataSky 注册账号的 API Key,进入 API Key 页面获取。
- 在 Chat Model Name 一栏输入您需要使用的文本模型,支持的模型请参考 模型页面 。
- 在 Token context window 一栏中输入模型的上下文长度,上下文长度请参考相应的模型文档,如不确定您可以输入
128000
(128k)。 - 在 Max Tokens 一栏输入模型的最大输出长度,最大输出长度请参考相应的模型文档,如不确定您可以输入
1024
。 - 大模型配置完成后,根据后续指引即可开始使用 AnythingLLM。
修改文本模型
您同样可以在设置页面的“LLM 首选项”中修改文本模型配置,包括模型名称、上下文长度、最大输出长度等。
修改嵌入模型
AnythingLLM 提供了本地运行的嵌入模型,如果您有更高的性能需求,您也可以选择使用 OpenDataSky 提供的嵌入模型。