AIRouter
AI라우터는 기업 애플리케이션과
AI 모델 공급자 사이에서 모든 요청을 중계하고,
요청 기록을 AI가 분석해 비용과 보안 조치를
제시하는 지능형 AI Gateway입니다.
실제 화면으로 보는
AIRouter의 기능입니다.
기업의 멀티 모델 활용이 늘면서
공급자별 관리 부담이 늘고 있습니다.
- 01멀티 모델 활용의 일반화업무 특성에 따라 여러 공급자의 모델을 함께 사용하는 방식이 일반화되고 있습니다.
- 02공급자마다 다른 규격과 관리 화면API 규격 · 사용량 확인 · 보안 설정이 공급자마다 서로 다릅니다.
- 03늘어나는 개별 연동애플리케이션마다 공급자와 개별 연동하여 관리 지점이 지속적으로 늘어납니다.
공급자마다 키 · 사용량 확인 · 보안 검토를 개별로 수행합니다.
관리 부서는 통제를,
개발 조직은 속도를 요구합니다.
통제가 필요합니다
- 요구 사항
- 비용 · 외부 전송 데이터 통제
- 성과 기준
- 보안 사고 없음 · 예산 준수
- 우려 사항
- 비용 증가 · 데이터 외부 유출
속도가 필요합니다
- 요구 사항
- 필요한 모델의 즉시 사용
- 성과 기준
- 빠른 개발과 출시
- 우려 사항
- 모델 교체 시 서비스 장애
어느 한쪽 요구만 충족하는 방식으로는 기업의 AI 활용을 확대할 수 없습니다.
비용 낭비와 보안 위험을
요청 단위로 확인할 수단이 없습니다.
비용 통제
- 캐시 미사용 · 재시도 · 실패로 늘어난 비용이 청구서에 묻힘
- 사용 금액을 청구 이후에야 파악
보안과 거버넌스
- 민감 데이터의 전송 대상 통제 불가
- 에이전트의 위험 도구 호출 · 키 유출 징후 파악 불가
운영 분석
- 요청 기록이 쌓여도 원인 분석은 수작업
- 보고서 작성에 여러 콘솔의 자료를 취합
공급자가 늘수록
모델 교체, 모델 선택, 장애 대응, 에이전트 검증이
모두 개발 부담으로 이어집니다.
모델 전환 비용
- 모델명이 코드에 고정
- 교체 · 검증 · 원복마다 코드 수정과 재배포 필요
요청에 맞는 모델 선택
- 모든 요청에 단일 모델 적용
- 단순 작업에도 고가 모델 사용
서비스 가용성
- 공급자 장애가 서비스 중단으로 직결
- 호출 한도 초과(HTTP 429)가 사용자에게 그대로 노출
에이전트 비용 · 보안 검증
- 개발한 에이전트의 비용 · 도구 호출을 출시 전에 측정할 수단 부재
- 캐시 낭비 · 위험 도구 호출을 출시 뒤에야 발견
호출 한도의 적용 단위 공급자 계정 단위로 적용 — 서비스를 늘려도 한도는 늘지 않음
관리 부서와 개발 조직의 과제는
함께 해결해야 효과가 있습니다.
요청별로 적정 모델을 적용하면 비용 절감으로 이어집니다
모델을 자동으로 선택하더라도 보안 정책 범위 안에서만 동작해야 합니다
분석으로 찾은 조치를 코드 수정 없이 콘솔에서 적용해야 효과가 납니다
관리 부서의 보안 기준을 개발 조직이 출시 전에 같은 기준으로 확인해야 사고를 막을 수 있습니다
에이전트가 만드는 방대한 요청은
사람이 분석할 수 없습니다.
- 01
요청이 곱절로 늘어납니다
에이전트 한 번의 작업이 수십 건의 모델 호출로 이어지고, 에이전트 · 애플리케이션 수만큼 다시 곱해집니다
- 02
한 건마다 볼 것이 많습니다
모델 · 토큰 · 캐시 · 도구 호출 · 가드레일 판정 · 접속 IP · 비용이 요청마다 다르고, 낭비와 위험은 여러 요청의 관계에서만 드러납니다
- 03
원인은 맥락에 있습니다
캐시가 깨진 이유, 위험 도구 호출이 사용자의 지시에 맞는지는 대화의 맥락을 읽어야 판단할 수 있습니다
- 지표를 보여 줄 뿐 원인과 조치는 사람이 찾음
- 일부만 골라 보고, 문제는 청구서 · 사고 뒤에 발견
- 모든 요청을 5분마다 규칙으로 검사
- AI가 원인 · 조치를 정리하고 규칙 밖의 징후를 찾음
- 사람은 확인하고 승인
그래서 AI 운영에도 AI가 필요합니다.
예시 계산 — 에이전트 10개 × 하루 작업 1,000회 × 작업당 호출 20건 = 하루 20만 건의 요청
모든 AI 호출을
하나의 게이트웨이로 통합합니다.
기업 애플리케이션과 여러 AI 모델 공급자 사이에서 모든 요청을 중계하고, 요청 기록을 AI가 분석해 비용 · 보안 조치를 제시하는 기업용 AI 게이트웨이입니다.
서비스 키 하나로
서비스 키 하나로 여러 공급자의 모델을 호출합니다.
단일 콘솔에서 관리
예산 · 보안 정책과 AI 분석 결과를 단일 콘솔에서 관리합니다.
AI 어시스턴트
조회 · 분석 · 보고서 · 설정 변경
비용 최적화
줄일 수 있는 비용과 예상 절감액
보안 최적화
위험 징후와 권장 조치
비용 절감 · 보안 강화 · 다양한 모델을
하나의 플랫폼에서 제공합니다.
비용 절감
프롬프트 캐시 미사용 · 재시도 · 실패처럼 줄일 수 있는 비용을 예상 절감액과 함께 제시하고, 예산 한도에 닿으면 차단합니다. 관리 부서와 개발 조직이 함께 사용합니다.
보안 강화
가드레일이 개인정보 · 비밀 정보를 차단 · 마스킹하고, 위험 도구 호출 · 처음 보는 IP 같은 위험을 권장 사항으로 제시합니다. 관리 부서와 개발 조직이 함께 사용합니다.
다양한 모델
조직이 계약한 OpenAI · Anthropic · Google · 클라우드 공급자와 사내 vLLM 서버, AIRouter 제공 모델을 함께 사용합니다.
AI 기반 모델 운영
화면을 열지 않고 AI 어시스턴트와의 대화로 현황 파악 · 원인 분석 · 시각화 보고서 · 설정 변경까지 처리합니다. 설정 변경은 사람이 승인해야 적용됩니다.
하나의 표준 API
OpenAI · Anthropic 형식의 기존 코드는 Base URL과 키만 변경하면 동작합니다. 모델 교체 · 되돌리기 · 일부 트래픽 검증은 콘솔에서 처리합니다.
자동 선택 · 장애 시 전환
입력 길이 · 도구 호출 · 이미지 포함 여부에 맞는 모델로 전송합니다. 공급자 장애 · 호출 한도 초과 시 허용 범위 안의 다른 공급자로 전환합니다.
요청 기록을 AI가 분석하고,
사람이 승인한 조치만 적용합니다.
요청 기록
모든 요청의 모델 · 토큰 · 비용 · 캐시 · 가드레일 판정 · 도구 호출을 기록
규칙 검사
5분마다 비용 · 보안 규칙으로 검사해 예상 절감액 · 심각도 산출
AI 분석
권장 사항마다 원인과 조치를 요약. 규칙 밖의 이상 징후는 AI가 찾고 요청 기록으로 다시 확인
사람이 조치
AI 어시스턴트가 확인 요청으로 조치를 제안. 관리자가 승인해야 설정 변경
해소 확인
조치 후의 요청 기록을 같은 규칙으로 다시 검사해 해소 여부 표시
원칙
숫자는 규칙이 계산
금액 · 건수는 요청 기록과 관리 API가 계산합니다. AI는 조회를 고르고 설명을 작성합니다
사람이 승인
설정을 자동으로 바꾸지 않습니다. 변경은 확인 요청을 승인해야 적용됩니다
AI 요청에도 가드레일
AI 기능이 AI 공급자에게 보내는 요청에도 조직의 가드레일을 적용합니다
조직이 모델 선택
요금제의 무료 제공량 안에서 사용하고, 기능마다 조직의 모델로 바꿀 수 있습니다
화면을 열지 않고 대화로
현황 파악부터 보고서 · 설정 변경까지 처리합니다.
현황 파악
사용량 · 비용 · 예산 · 요청 기록 · 세션 · 보안 기록 · 설정을 조회
「어제 가장 비싼 모델은?」
원인 분석
비용 급증 · 실패율 상승 · 위험 징후의 원인과 근거 요청
「이 서비스 키의 비용이 왜 늘었나요?」
시각화 · 보고서
표 · 그래프로 답하고 일간 · 주간 · 월간 · 비용 · 보안 · 감사 보고서 작성 · 다운로드
「이번 달 월간 사용 보고서를 만들어 주세요」
설정 변경
예산 · 서비스 키 · 가드레일 배정 · 세션 중지 등 관리 API 쓰기 동작을 확인 요청으로 실행
「새 서비스 키를 발급해 주세요」
사용법 안내
도움말을 검색해 근거 절과 함께 답하고, 요청하면 그 화면으로 이동
「알림은 어떻게 켜나요?」
- 질문한 사람의 권한 범위만 조회 · 실행
- 확인 요청은 서버가 만들고, 사람이 「실행」을 눌러야 한 번만 적용
- 되돌릴 수 없는 변경 · 권한 확대 · 보안 완화 · 긴급 중지는 경고 표시
- 숫자는 조회 결과와 대조한 뒤 표시
조직이 계약한 공급자와 AIRouter 제공 모델을
하나의 API로 사용합니다.
개발사 직접
OpenAIAnthropicGooglexAI
기존 계약 조건 그대로 · 호출 비용은 공급자가 조직에 직접 청구
클라우드
AWS BedrockGoogle Cloud Vertex AIMicrosoft FoundryHuawei Cloud MaaS
기존 계약 조건 그대로 · 호출 비용은 공급자가 조직에 직접 청구
사내 서버
OpenAI 호환 (vLLM 등)
기존 계약 조건 그대로 · 호출 비용은 공급자가 조직에 직접 청구
공급자 계약 없이 조직이 골라 사용
- 모델별 판매가로 충전 잔액에서 차감 · 충전 수수료 없음
- 조직 공급자 키가 실패하면 같은 모델로 전환(조직 설정)
하나의 서비스 키
하나의 서비스 키로 모든 공급자의 모델 호출
한 곳에서 집계
여러 공급사의 사용량 · 비용을 한 곳에서 집계
자동 전환
한 공급자에 장애가 나면 다른 공급자로 자동 전환
줄일 수 있는 비용을 찾아
예상 절감액과 조치 방법을 제시합니다.
비용 최적화 권장 사항
캐시 미사용 · 재시도 · 실패 · 잘린 응답 · 긴 대화를 찾아 예상 월별 절감액 산출
요약 · AI 발견
원인과 조치를 AI가 요약. 규칙 밖의 비용 증가도 AI가 찾고 다시 확인
자동 프롬프트 캐시
캐시 지점을 자동 추가 — OpenAI · Anthropic 형식 모두
예산 통제
조직 · 워크스페이스 · 서비스 키 한도. 도달 전 알림, 도달 시 차단
가드레일로 차단하고,
요청 기록에서 위험을 찾아 권장합니다.
가드레일
요청 · 도구 결과 · 응답의 개인정보 · 비밀 정보 · 프롬프트 인젝션을 차단 · 마스킹
에이전트 도구 통제
전송 · 게시 · 구매 · 삭제 · 명령 실행 같은 위험 도구 호출을 통제
보안 최적화
위험 도구 호출 · 새 IP · 휴면 키 · 가드레일 미적용 키를 권장. 작업 준수는 AI가 판정
긴급 중지
조직 · 워크스페이스 · 세션 단위 즉시 중지, 서비스 키 IP 허용 목록
기존 코드를 유지한 채
모델 운영을 콘솔로 옮깁니다.
- 01OpenAI · Anthropic API 호환기존 SDK 코드에서 base_url과 키만 변경. Claude Code 같은 Anthropic 형식 도구도 연결
- 02라우팅 프리셋모델 선택 조건 · 공급자 순서 · 폴백 모델을 콘솔에 저장. 코드에서는 프리셋 ID만 호출
- 03버전 관리와 A/B 테스트프리셋을 버전으로 관리하여 즉시 원복. 일부 트래픽에만 새 설정 적용.
client = OpenAI(
api_key="sk-...")
client.chat.completions.create(model="gpt-4o", ...)
client = OpenAI(
base_url="https://api.airouter.tabion.ai/v1",
api_key="서비스 키")
client.chat.completions.create(model="preset/support", ...)
개발 조직은 출시 전에 에이전트의 비용과
보안 위험을 측정하고 고칩니다.
실행
개발 워크스페이스 · 서비스 키로 에이전트 실행. session_id · traceparent로 대화와 작업을 표시
추적
로그에서 세션 · 트레이스별 비용 · 캐시 적중률 · 첫 토큰 지연 · 도구 호출 · 가드레일 판정 확인
분석
비용 · 보안 최적화가 권장 사항과 근거 요청을 제시하고, AI가 원인과 조치를 요약
수정
캐시 지점 · 대화 압축 · 출력 상한을 코드에서 고치고, 자동 프롬프트 캐시 · 가드레일을 설정
재검증
다시 실행 — 5분마다 같은 규칙으로 검사하고, 문제가 다시 생기면 권장 사항이 다시 활성
이런 것을 찾아 줍니다
캐시 미사용캐시 지점 오류캐시 무효화재시도 · 실패잘린 응답대화 압축
위험 도구 호출간접 프롬프트 인젝션응답 속 비밀 정보거절 뒤 반복 시도
규칙을 「기록만」으로 먼저 걸어 두면, 차단으로 바꿨다면 막혔을 요청 수가 보입니다. 확인한 뒤 차단으로 전환합니다.
AI를 서비스에 적용하는
기업을 대상으로 합니다.
AI 에이전트 · 솔루션 개발 기업
멀티 모델 운영과 장애 대응출시 전 에이전트의 비용 · 보안 점검세션 단위 비용 추적고객사 · 프로젝트별 워크스페이스 · 예산 · 서비스 키 분리
SI · ISV 포함
여러 부서가 생성형 AI를 사용하는 기업
부서별 예산 배분과 한도사용 현황 가시화AI 기반 비용 분석과 보고서
금융 · 공공 · 의료 등 규제 산업
가드레일 · 데이터 정책요청 본문 기본 미저장보안 심사용 감사 로그보안 관제(SIEM) 연동
역할별 필요한 기능을
제공합니다.
워크스페이스 구성원
모델 카탈로그라우팅 프리셋플레이그라운드로그비용 최적화보안 최적화서비스 키
재무
사용량비용 최적화예산결제
소유자관리자감사자
보안 최적화가드레일감사
관리자
공급자알림사용자 · 권한AI 어시스턴트
서비스 관리자 (AIRouter 운영사)
서비스 관리 콘솔
데이터 플레인 · 컨트롤 플레인 · AI 분석을
분리한 구조입니다.
데이터 플레인 /v1 · 서비스 키 인증 · 응답 지연 최소화
컨트롤 플레인 /api · 콘솔 세션 · 관리 API 키 · 권한과 감사
AI 모델 공급자
조직이 등록한 공급자OpenAIAnthropicGooglexAI클라우드사내 서버AIRouter 제공 모델모든 요청은 인증부터 기록까지
같은 절차를 거칩니다.
인증
서비스 키 검증 · 긴급 중지 · IP 허용 목록 확인
요금제 한도
월 호출 수 · 분당 호출 수 확인, 초과 시 거절
가드레일 · 예산
허용 모델 · 공급자 · 데이터 정책, 예산 한도, 입력 내용 검사(차단 · 마스킹)
라우팅
단가 가중 부하 분산 · 캐시가 적중한 대화는 같은 공급자로. 공급자 순서 지정 가능
공급자 호출
조직 공급자 키 또는 AIRouter 제공 모델로 전송, API 규격 변환 · 응답 검사
페일오버
첫 스트리밍 청크 수신 전 실패 시 대체 공급자 · 폴백 모델로 전환
기록 · 분석
토큰 · 비용 · 지연시간 기록. 5분마다 비용 · 보안 분석
페일 클로즈 (Fail-closed) — 요청을 거절합니다
지정 모델 · 허용 공급자로 전송할 수 없으면 다른 대상으로 보내지 않고 요청을 거절합니다. 페일오버도 허용 목록 안에서만 동작합니다.
여러 공급자에 분산하고, 캐시를 유지하며,
장애 시 다른 공급자로 전환합니다.
- 01기본 부하 분산허용된 엔드포인트에 단가 가중으로 분산. 무료 우선 · 공급자 순서를 지정하면 그 순서로 호출
- 02캐시 유지캐시가 적중한 대화는 같은 공급자로 계속 전송. 10분간 요청이 없거나 장애 시 해제 · 세션 ID 지정 가능
- 03장애 시 폴백첫 스트리밍 청크 수신 전에 실패하면 다음 엔드포인트, 이어서 폴백 모델로 전환. 허용 목록 안에서만 전환
- 04일시 제외1분 안에 3회 넘게 실패한 엔드포인트는 30초 동안 제외. 공급자가 대기 시간을 알려 주면 그 시간(최대 15분)
x-airouter-model anthropic/claude-haiku-4-5-20251001
x-airouter-endpoint anthropic
x-airouter-fallbacks anthropic/claude-haiku-4-5
x-airouter-call call_d058132e6efe23eb
응답마다 처리한 공급자와 폴백 순서를 표시하고, 요청 기록에도 남깁니다.
기업 운영 환경에 맞춘
게이트웨이 기술을 적용했습니다.
공급자 연동
OpenAI · Anthropic API 호환
OpenAI API와 Anthropic Messages API 호환.
지원 API
Chat CompletionsResponsesEmbeddingsImagesAudioVideosAnthropic Messages
공급자 규격으로 변환
Chat Completions · Responses 어느 쪽으로도 모든 모델 호출.
공급자 규격으로 변환
도구 호출구조화 출력캐싱추론 정보
설정 기반 프로필
공급자를 설정 기반 프로필로 관리. 조직이 클라우드 공급자 · OpenAI 호환 서버를 직접 등록
캐시를 유지합니다
캐시 지점 자동 추가 · 응답 캐시 · 캐시 진단. 캐시가 적중한 대화는 같은 공급자로
안정 운영 · 보안
일관된 한도
서버를 수평 확장해도 조직 · 키 단위 호출 한도를 일관되게 유지
안전한 거절
지정 모델 · 허용 공급자로 전송할 수 없으면 다른 대상으로 보내지 않고 요청 거절
대화로 처리
관리 API를 도구로 써서 조회 · 시각화 · 보고서 · 설정 변경을 대화로 처리. 권한 판정은 화면과 같음
콘솔과 같은 API
콘솔과 같은 관리 API와 알림 웹훅 제공. 사내 포털 · SIEM 연동
연동 가능
사내 포털SIEM
고객의 데이터와 자격 증명을
분리하여 보호합니다.
공급자 키를 보호합니다
- 공급자 키 암호화 저장 · 끝 네 자리만 표시
- 응답 · 로그 · 오류 메시지에 비노출
- 개발자는 서비스 키로만 호출
조직마다 분리합니다
- 조직 → 워크스페이스 → 서비스 키 계층
- 역할 기반 접근 제어(소유자 · 관리자 · 감사자 · 재무 · 구성원)
- 서비스 관리자는 조직의 공급자 · 모델 접근 불가
본문은 기본으로 저장하지 않습니다
- 요청 본문은 기본 저장하지 않음 — 조직이 켤 때만, 보존 기간 지정
- AI 기능은 요청 본문 · 도구 결과를 AI 공급자에게 보내지 않음
- 가드레일에 걸린 값은 기록하지 않음
SaaS · 4개 언어
- SaaS · 싱가포르 리전
- 한국어 · 영어 · 일본어 · 중국어 지원
- 로드맵 — 설치형 제공 · 호스팅 모델 확대 (예정)
비용을 줄일 수 있는 요청을
아홉 가지 규칙으로 찾습니다.
5분마다 새 요청을 검사해 서비스 키 · 모델별로 묶고 예상 월별 절감액을 산출합니다. 적용하면 비용이 오히려 늘어나는 경우는 표시하지 않습니다.
| 권장 사항 | 해당하는 요청 | 권장 작업 |
|---|---|---|
| 캐시 미사용 | 1시간 안에 같은 앞부분(1,024 토큰 이상)을 다시 보냈으나 프롬프트 캐시를 쓰지 않음 | 자동 프롬프트 캐시 사용, 또는 반복되는 시스템 프롬프트 끝에 cache_control 지정 |
| 캐시 지점 오류 | 이전 요청이 쓴 캐시가 유효한데도 읽지 못하고 다시 씀 | cache_control 을 바뀌지 않는 블록(시스템 프롬프트 · 도구) 끝으로 이동 |
| 캐시 만료 | 요청 간격이 5분 캐시 유지 시간을 넘어(1시간 이내) 다시 씀 | cache_control 에 ttl 1시간 지정, 또는 자동 프롬프트 캐시 사용 |
| 공급자 이동 | 같은 앞부분이 다른 공급자로 전송되어 캐시를 다시 씀 | session_id · x-session-id 지정 — 같은 공급자로 전송(공급자 고정) |
| 모델 변경 | 같은 앞부분이 다른 모델로 전송되어 캐시를 다시 씀(캐시는 모델마다 따로 저장) | 같은 앞부분을 보내는 요청에는 같은 모델 지정 |
| 캐시 무효화 | 5분 안 요청에서 도구 정의 · 시스템 프롬프트가 조금씩 바뀌어 캐시를 읽지 못함 | 매번 바뀌는 값(날짜 · 시각 · 작업 경로)은 사용자 메시지로, 도구 목록은 요청마다 같게 |
| 대화 압축 | 이어진 대화에서 입력이 15만 토큰을 넘음(이미 압축한 요청은 제외) | 임계값을 넘으면 앞의 대화를 요약으로 교체 — Anthropic 형식은 공급자의 압축 기능 사용 가능 |
| 재시도 · 실패 | 재시도가 발생했거나 끝까지 응답하지 못함 | 요청 기록에서 실패 사유 확인 — 금액은 응답하지 못한 요청의 청구 금액 |
| 잘린 응답 | 최대 출력 토큰에 도달해 출력이 추론 토큰뿐 | 추론 토큰을 포함한 출력 상한을 늘리거나 추론 강도를 낮춤 |
| AI 발견 AI | 위 규칙에 해당하지 않는 비용 증가를 AI가 찾고 요청 기록으로 다시 확인 | AI가 작성한 권장 작업 확인 — 예상 절감액은 「모름」으로 표시 |
요청 · 로그인 · 설정 기록에서
보안 위험을 열다섯 가지 규칙으로 찾습니다.
5분마다 새 기록을 검사합니다. 기준값은 모든 조직에 같고, 위험 도구 호출이 사용자의 지시에 맞는지는 AI가 판정합니다(작업 준수).
| 분류 | 권장 사항 | 심각도 | 판정 기준 |
|---|---|---|---|
| 데이터 유출 | 개인정보 반복 전송 | 높음 | 최근 30일 한 서비스 키의 개인정보 적중 100건 이상 |
| 응답 속 비밀 정보 | 높음 | 응답 단계의 비밀 정보 규칙에 적중 | |
| 에이전트 · 도구 | 간접 프롬프트 인젝션 | 높음 | 에이전트가 읽은 문서 · 파일 · 검색 결과 속 지시 |
| 위험 도구 호출 | 높음 | 전송 · 게시 · 구매 · 삭제 · 명령 실행 도구 호출 | |
| 거절 뒤 반복 시도 | 중간 | 같은 키 · 세션에서 10분 안 정책 차단 5건 이상 | |
| 설정 점검 | 기록만 검사 적중 | 높음 · 중간 | 「기록만」 규칙에 실제 적중이 있음 |
| 가드레일 미적용 서비스 키 | 중간 | 가드레일이 적용되지 않은 서비스 키 | |
| 비밀 정보 검사 꺼짐 | 중간 | 켜진 비밀 정보 규칙이 없는 가드레일 | |
| 만료일 없는 서비스 키 | 낮음 | 만료일이 없는 사용 중인 서비스 키 | |
| 키 · 접근 | 새 IP 에서 사용 | 중간 | 서비스 키가 앞 30일에 쓰지 않은 IP 에서 온 첫 요청 |
| 휴면 키 재사용 | 중간 | 30일 넘게 쓰지 않던 서비스 키의 첫 요청 | |
| 요청 급증 | 중간 | 24시간 500건 이상 · 앞 7일 하루 평균의 3배 이상 | |
| 로그인 실패 반복 | 중간 | 한 구성원의 로그인 실패 24시간 안 5회 이상 | |
| 본문 열람 급증 | 낮음 | 한 구성원의 7일 본문 열람 20회 이상 · 평소의 3배 | |
| 제한 완화 변경 | 중간 | 가드레일 · 예산 · 한도 · 구성원 · 관리 API 키 삭제나 변경 | |
| AI 판정 | 작업 준수 | AI | 위험 도구 호출 세션의 첫 지시와 도구 호출을 AI가 비교 |
| AI 발견 | AI | 규칙 밖의 이상 징후를 AI가 찾고 기록으로 다시 확인 |
관리 부서와 개발 조직이
함께 효과를 얻습니다.
같은 결과를
더 낮은 비용으로 얻습니다.
요청별 적정 모델
조건 기반 라우팅으로 요청마다 적정 모델을 적용합니다. 모든 요청에 최상위 모델을 사용하지 않습니다.
라우팅 조건
입력 길이메시지 수도구 호출이미지 포함구조화 출력
캐시 할인 유지
캐시 지점을 자동으로 붙이고, 캐시가 적중한 대화를 같은 공급자로 보내 캐시 단가를 이어서 적용합니다.
AI 기반 절감 권장
캐시 미사용 · 재시도 · 실패 · 긴 대화를 찾아 예상 절감액과 조치를 제시합니다.
단가가 낮은 공급자
같은 모델을 여러 공급자에서 쓸 수 있으면 단가가 낮은 공급자를 더 자주 선택합니다.
※ 절감률은 고객 도입 사례 확보 후 제시합니다