AWS Machine Learning Blog· Sitaraman Vijay Krishna·· 3 天前AI 评分51
AWS 用 Amazon Bedrock 与 LiteLLM 搭建自助式 LLM 网关
Building a self-service LLM gateway with Amazon Bedrock and LiteLLM
AI 导读
AWS 官方博客介绍如何用 Amazon Bedrock Application Inference Profiles 配合运行在 AWS Fargate 上的 LiteLLM，构建面向开发者的自助式 LLM 网关，把 Bedrock 封装成 OpenAI 兼容 API。
来源：AWS Machine Learning Blog · aws.amazon.com