Skip to content

在 AnythingLLM 中使用 OpenDataSky API

AnythingLLM 是一款简单易用、功能全面的AI应用,无需代码或基础设施即可进行Retrieval-Augmented Generation(RAG)、AI代理等操作。它支持本地LLMs、定制化私有环境,旨在提供一个完全可定制的、私有的、多合一的 AI 应用程序。

安装 AnythingLLM 客户端

根据AnythingLLM的安装指南,您可以下载并安装最新版本的AnythingLLM。

配置

本指南以 AnythinLLM Desktop for Windows 为例。

  • 首次打开客户端时在 AnythingLLM 引导页点击“Get Started”进入下一步。
  • 进入 LLM Preference 页面配置您需要的文本模型。 anythingllm-preference
  • 选择模型提供商为“Generic OpenAl”。
  • Base URL中输入 http://server.opendatasky.com/v1/api/open-ai/ds
  • 输入 API Key,为您在 OpenDataSky 注册账号的 API Key,进入 API Key 页面获取。
  • 在 Chat Model Name 一栏输入您需要使用的文本模型,支持的模型请参考 模型页面
  • 在 Token context window 一栏中输入模型的上下文长度,上下文长度请参考相应的模型文档,如不确定您可以输入 128000 (128k)。
  • 在 Max Tokens 一栏输入模型的最大输出长度,最大输出长度请参考相应的模型文档,如不确定您可以输入 1024
  • 大模型配置完成后,根据后续指引即可开始使用 AnythingLLM。

修改文本模型

您同样可以在设置页面的“LLM 首选项”中修改文本模型配置,包括模型名称、上下文长度、最大输出长度等。 anythingllm-llm-setting


修改嵌入模型

AnythingLLM 提供了本地运行的嵌入模型,如果您有更高的性能需求,您也可以选择使用 OpenDataSky 提供的嵌入模型。

  • 进入设置页面的“Embedder首选顶”,选择嵌入引擎提供商为“Generic OpenAl”。 embedder-setting
  • Base URL中输入 http://server.opendatasky.com/v1/api/open-ai/ds
  • Embedding Model 一栏输入您需要使用的嵌入模型,支持的模型请参考 模型页面
  • Max embedding chunk length 输入合适的值,如 8192
  • API Key 一栏输入您账号的 API Key