clearwind

clearwind

首页
分类
登录 →
clearwind

clearwind

首页 分类
登录
  1. 首页
  2. 🚀AI
  3. one-api搭建-大模型API平台

one-api搭建-大模型API平台

0
  • 🚀AI
  • 发布于 2024-07-06
  • 96 次阅读
clearwind
clearwind
https://github.com/songquanpeng/one-api

Docker部署

[root@VM-4-16-centos ~]# docker run --name one-api -d --restart always -p 3000:3000 -e SQL_DSN="root:Lk******l.y@tcp(***.com:3306)/oneapi" -e TZ=Asia/Shanghai -v /one-api:/data ghcr.io/songquanpeng/one-api
Unable to find image 'ghcr.io/songquanpeng/one-api:latest' locally
latest: Pulling from songquanpeng/one-api
ec99f8b99825: Downloading [==============>                                    ]  1.081MB/3.624MB
8722496ec517: Downloading [===============>                                   ]  1.555MB/5.064MB
eefd441369f3: Downloading [==>                                                ]  974.7kB/18.53MB
162b7d1cda48: Waiting 

启动完之后,访问:http://localhost:3000/

登录

然后进行登录,初始账号用户名为 root,密码为 123456。

添加渠道

在创建渠道时选择Ollama,然后手工填上自己要使用的模型,最重要的是后面在代理中写上自己ollama服务的地址即可,如下图所示:

创建令牌

调用

点击复制获得ApiKey,比如"sk-peszVtFXoLnWK45bB15370Df6f344cAa9a088eF50f9c7302",这个ApiKey是你现在搭建的本地的one-api得ApiKey,不能用于OpenAI或其他代理。

然后就可以像使用OpenAI一样进行调用了,把baseUrl和apiKey改为本地地址和刚刚生成的ApiKey即可:

    public static void main(String[] args) {
        ChatLanguageModel model = OpenAiChatModel.builder()
                .baseUrl("http://127.0.0.1:3000/v1")
                .modelName("llama3:latest")
                .apiKey("sk-kFe8D84vpDAPV*****************58eBb6dBaB3695155")
                .build();


        System.out.println(model.generate("你好"));
    }

标签: #AI 7 #LLM 9
相关文章
简述 Transformer 训练计算过程(刷新渲染)

简述 Transformer 训练计算过程(刷新渲染) 2025-01-11 23:54

Step1-定义数据集 用于创建 ChatGPT 的数据集为 570 GB。假设数据集为一下内容: 白日依山尽,黄河入海流。 马无夜草不肥,人无横财不富。 天行健,君子以自强不息,地势坤,君子以厚德载物。 Step2-计算词汇量

基于Deepseek的AI试题问答

基于Deepseek的AI试题问答 2025-02-28 09:46

需求 项目目标‌ 构建一个基于大模型微调的AI试题问答系统,支持数学、历史、英语等多学科试题的智能解析、答案生成及知识点关联,适配考试场景的自动评分与错题分析功能‌。 核心功能需求‌ ‌试题交互与解析‌:支持选择、填空、判断、问答等题型交互,自动生成试题解析(含解题步骤与知识点标注)‌。 ‌智能查询

基于 internlm2 和 LangChain 搭建你的知识库

基于 internlm2 和 LangChain 搭建你的知识库 2025-02-27 14:25

环境配置 internlm2 模型部署 创建虚拟环境 conda create -n deepseek_rag python=3.10 -y conda activate deepseek_rag 并在环境中安装运行 demo 所需要的依赖 # 升级pip python -m pip install

xtuner微调大模型

xtuner微调大模型 2025-02-26 09:31

构建环境 # 创建虚拟环境 conda create --name xtuner-env python=3.10 -y conda activate xtuner-env # 安装xtuner git clone https://github.com/InternLM/xtuner.git cd

Llama-Factory 微调全过程

Llama-Factory 微调全过程 2025-01-13 22:28

数据集 数据集下载:通过ModelScope获取原始数据集https://modelscope.cn/datasets/w10442005/ruozhiba_qa/summary git clone https://www.modelscope.cn/datasets/w10442005/ruozh

矩阵分解 2025-01-11 15:48

矩阵分解是一种通过将较大的矩阵分解为多个小矩阵已降低计算复杂度的技术,在模型训练微调上,通常用于简化模型、提高训练效率。矩阵分解有多种形式,一下是几种常见的模型微调权重分解方法: 奇异值分解 将矩阵分解为三个矩阵乘积的方法: W=U \Sigma V^{T} 其中: W是原始权重矩阵。 U和V是正交

目录
  • clearwind
  • 微信小程序

导航菜单

  • 首页
  • 分类
Copyright © 2024 your company All Rights Reserved. Powered by clearwind.
皖ICP备19023482号