Monologue
  • Home
  • Golang
  • Python
  • JAVA
  • Flutter
  • AWS
  • AI / ML
  • Redis
  • Kafka
  • Linux
  • AdTech
  • MeowDo
  • MeowHere
  • BlackSky

litellm

A collection of 1 post
AWS Bedrock 으로 사내 LLM Gateway(Litellm) 구축하기
litellm

AWS Bedrock 으로 사내 LLM Gateway(Litellm) 구축하기

1.LiteLLm 구축 많은 기업들이 AX 를 하겠다고 발벗고 나선 가운데 정작 어떤 모델을 사내에 공급할지가 아마도 큰 고민이었을 거라 생각한다. 보안이 중요한 곳에서는 로컬 서버에서 공개된 모델을 돌리는 곳도 봤고, 벤처 같은 경우에는 쿨하게 직원들에게 정기구독을 끊어주는 곳도 많이 봤다. 처음 LiteLLM 을 구축할때만 해도 대게 공개 모델들의 성능이
30 6월 2026 7 min read
Page 1 of 1
Monologue © 2026
Powered by Ghost