包阅导读总结
1.
– `AI API 管理网关`、`访问控制`、`BricksLLM`、`云原生`、`开源项目`
2.
BricksLLM 是一个用 Go 语言编写的云原生 AI API 管理网关，在 GitHub 有近 1000 Star。它支持多服务提供商，提供细粒度访问控制，弥补提供商访问控制缺陷，安装使用可通过 BricksLLM-Docker，有用户好评，开源地址及协议等信息给出。
3.
– 背景
– 调用 AI 网关时服务提供商缺乏细粒度访问控制，可能导致成本失控和数据安全风险。
– 项目介绍
– BricksLLM 是用 Go 语言编写的云原生 AI 网关。
– 支持 OpenAI、Anthropic 和 Azure OpenAI，提供创建带限制的 API 密钥功能。
– 主要功能包括速率限制、成本控制等，与现有 SDK 兼容。
– 如何使用
– 通过 BricksLLM-Docker 安装，涉及克隆仓库、启动等代码操作。
– 项目推介
– 对使用相关 AI 服务的开发者有用，弥补缺陷，提供安全可控环境，有用户评价和项目 Star 趋势图，给出开源地址、作者、协议等信息。
思维导图：
文章地址：https://mp.weixin.qq.com/s/neWFRhs60kPg9wi0Jj9d9w
文章来源：mp.weixin.qq.com
作者：精选君
发布时间：2024/8/3 2:15
语言：中文
总字数：927字
预计阅读时间：4分钟
评分：90分
标签：AI网关,访问控制,成本管理,开源项目,Go语言
以下为原文内容
本内容来源于用户推荐转载，旨在分享知识与观点，如有侵权请联系删除 联系邮箱 media@ilingban.com
大家好，又见面了，我是 GitHub 精选君！
背景介绍
我们通常会遇到调用 AI 网关的问题，例如你需要调用 OpenAI，Azure OpenAI 或者 Anthropic 进行特定的开发工作，但是这些 AI 服务提供商并没有提供细粒度的访问控制，这里的访问控制包括：访问的频率限制、花费限制以及会话的存在时间限制等。如果不加以控制，这可能会导致服务调用成本无法控制，甚至有数据安全风险。
今天要给大家推荐一个 GitHub 开源项目 bricks-cloud/BricksLLM，该项目在 GitHub 有差不多 1000 Star，用一句话介绍该项目就是：Enterprise grade API infrastructure that helps you access control and mange spend across OpenAI, Azure OpenAI and Anthropic.
项目介绍
BricksLLM 是一个用 Go 语言编写的云原生 AI 网关。它支持 OpenAI、Anthropic 和 Azure OpenAI，并且，BricksLLM 提供创建 API 密钥的功能，这些密钥具有速率限制、成本限制和 TTL。这些 API 密钥可以同时用于开发和生产，以达到精细的访问控制。这个代理的设计目标是与现有 SDK 100% 兼容。
BricksLLM 的主要功能包括：速率限制、成本控制、成本分析、请求分析、Cache、请求重试、服务降级等。同时，它还对所有 OpenAI 端点、Anthropic 和 Azure OpenAI 提供了原生支持，并且允许集成自定义模型，支持 Datadog 集成，具有日志保护隐私控制功能。
如何使用
BricksLLM 安装和使用的最简单方法是通过BricksLLM-Docker。首先克隆BricksLLM-Docker仓库，然后使用 docker compose up 启动即可。
之后是创建提供商设置和Bricks API key。然后，你就可以像平常那样使用OpenAI，将你的请求引向BricksLLM.
这个过程涉及代码操作如下：
gitclonehttps://github.com/bricks-cloud/BricksLLM-Docker
cdBricksLLM-Docker
docker-composeup
curl-XPUThttp://localhost:8001/api/provider-settings\
-H"Content-Type:application/json"\
-d'{
"provider":"openai",
"setting":{
"apikey":"YOUR_OPENAI_KEY"
}
}'
curl-XPUThttp://localhost:8001/api/key-management/keys\
-H"Content-Type:application/json"\
-d'{
"name":"MySecretKey",
"key":"my-secret-key",
"tags":["mykey"],
"settingIds":["ID_FROM_STEP_FOUR"],
"rateLimitOverTime":2,
"rateLimitUnit":"m",
"costLimitInUsd":0.25
}'项目推介
BricksLLM 对于需要使用 AI 服务提供商如 OpenAI，Azure OpenAI 或者 Anthropic 的开发者来说是一个非常有用的工具。它弥补了这些 AI 服务提供商没有详细访问控制的缺陷，塑造了一个安全、可控的环境。以下是一些在使用用户的评价：
以下是该项目 Star 趋势图（代表项目的活跃程度）：
更多项目详情请查看如下链接。
开源项目地址：https://github.com/bricks-cloud/BricksLLM
开源项目作者：bricks-cloud
开源协议：MIT License
关注我们，一起探索有意思的开源项目。
点击如下卡片后台回复：加群，与技术极客们一起交流人工智能、开源项目，一起成长。如果你正在寻求开源项目推广、DevOps、AIGC 大模型、软件开发等领域的付费服务，可参考推文了解详情。
