AI Proxy Configuration - Plugin

構成

このプラグインはDBレスモードに対応しています。

互換性のあるプロトコル

AI Proxyプラグインは以下のプロトコルに対応しています：

grpc, grpcs, http, https

パラメータ

このプラグインの設定で使用できるすべてのパラメータのリストは次のとおりです。

name or plugin

string required
プラグイン名。この場合はai-proxy 。
- Kong Admin API、Kong Konnect API、宣言型構成、または decK ファイルを使用する場合、フィールドはnameです。
- Kubernetes で KongPlugin オブジェクトを使用する場合、フィールドはpluginです。
instance_name

string
プラグインのインスタンスを識別するための任意のカスタム名 (例: ai-proxy_my-service 。

インスタンス名はKong ManagerとKonnectに表示されるので、例えば複数のサービスで同じプラグインを複数のコンテキストで実行する場合に便利です。また、Kong Admin API経由で特定のプラグインインスタンスにアクセスするためにも使用できます。

インスタンス名は、次のコンテキスト内で一意である必要があります。
- Kong Gateway Enterpriseのワークスペース内
- Konnectのコントロールプレーン（CP）またはコントロールプレーン（CP）グループ内
- Kong Gateway (OSS)の全世界
service.name or service.id

string

プラグインが対象とするサービス名または ID。最上位の /plugins エンドポイント. からプラグインをサービスに追加する場合は、これらのパラメータのいずれかを設定してください /services/{serviceName|Id}/plugins を使用する場合は必要ありません。
route.name or route.id

string

プラグインがターゲットとするルート名または ID。最上位の /plugins エンドポイント. を通るルートにプラグインを追加する場合は、これらのパラメータのいずれかを設定してください /routes/{routeName|Id}/plugins を使用する場合は必要ありません。
consumer.name or consumer.id

string

プラグインがターゲットとするコンシューマーの名前または ID。最上位の /plugins エンドポイント. からコンシューマーにプラグインを追加する場合は、これらのパラメーターのいずれかを設定してください /consumers/{consumerName|Id}/pluginsを使用する場合は必要ありません。
consumer_group.name or consumer_group.id

string

プラグインが対象とするコンシューマグループの名前または ID。設定されている場合、プラグインは指定されたグループが認証されているリクエストに対してのみアクティブになります/plugins エンドポイント. /consumer_groups/{consumerGroupName|Id}/pluginsを使用する場合は必要ありません。
enabled

boolean default: true

このプラグインが適用されるかどうか。
config

record required
- route_type
  
  string required Must be one of: llm/v1/chat, llm/v1/completions, preserve
  
  The model’s operation implementation, for this provider. Set to preserve to pass through without transformation.
- auth
  
  record
  header_name
  
  string referenceable
  
  If AI model requires authentication via Authorization or API key header, specify its name here.
  
  header_value
  
  string referenceable encrypted
  
  Specify the full auth header value for ‘header_name’, for example ‘Bearer key’ or just ‘key’.
  
  param_name
  
  string referenceable
  
  If AI model requires authentication via query parameter, specify its name here.
  
  param_value
  
  string referenceable encrypted
  
  Specify the full parameter value for ‘param_name’.
  
  param_location
  
  string Must be one of: query, body
  
  Specify whether the ‘param_name’ and ‘param_value’ options go in a query string, or the POST form/JSON body.
  
  azure_use_managed_identity
  
  boolean default: false
  
  Set true to use the Azure Cloud Managed Identity (or user-assigned identity) to authenticate with Azure-provider models.
  
  azure_client_id
  
  string referenceable
  
  If azure_use_managed_identity is set to true, and you need to use a different user-assigned identity for this LLM instance, set the client ID.
  
  azure_client_secret
  
  string referenceable encrypted
  
  If azure_use_managed_identity is set to true, and you need to use a different user-assigned identity for this LLM instance, set the client secret.
  
  azure_tenant_id
  
  string referenceable
  
  If azure_use_managed_identity is set to true, and you need to use a different user-assigned identity for this LLM instance, set the tenant ID.
  
  gcp_use_service_account
  
  boolean default: false
  
  Use service account auth for GCP-based providers and models.
  
  gcp_service_account_json
  
  string referenceable encrypted
  
  Set this field to the full JSON of the GCP service account to authenticate, if required. If null (and gcp_use_service_account is true), Kong will attempt to read from environment variable GCP_SERVICE_ACCOUNT.
  
  aws_access_key_id
  
  string referenceable encrypted
  
  Set this if you are using an AWS provider (Bedrock) and you are authenticating using static IAM User credentials. Setting this will override the AWS_ACCESS_KEY_ID environment variable for this plugin instance.
  
  aws_secret_access_key
  
  string referenceable encrypted
  
  Set this if you are using an AWS provider (Bedrock) and you are authenticating using static IAM User credentials. Setting this will override the AWS_SECRET_ACCESS_KEY environment variable for this plugin instance.
  
  allow_override
  
  boolean default: false
  
  If enabled, the authorization header or parameter can be overridden in the request by the value configured in the plugin.
- model
  
  record required
  provider
  
  string required Must be one of: openai, azure, anthropic, cohere, mistral, llama2, gemini, bedrock, huggingface
  
  AI provider request format - Kong translates requests to and from the specified backend compatible formats.
  
  name
  
  string
  
  Model name to execute.
  
  options
  
  record
  
  Key/value settings for the model
  
  max_tokens
  
  integer default: 256
  
  Defines the max_tokens, if using chat or completion models.
  
  input_cost
  
  number
  
  Defines the cost per 1M tokens in your prompt.
  
  output_cost
  
  number
  
  Defines the cost per 1M tokens in the output of the AI.
  
  temperature
  
  number between: 0 5
  
  Defines the matching temperature, if using chat or completion models.
  
  top_p
  
  number between: 0 1
  
  Defines the top-p probability mass, if supported.
  
  top_k
  
  integer between: 0 500
  
  Defines the top-k most likely tokens, if supported.
  
  anthropic_version
  
  string
  
  Defines the schema/API version, if using Anthropic provider.
  
  azure_instance
  
  string
  
  Instance name for Azure OpenAI hosted models.
  
  azure_api_version
  
  string default: 2023-05-15
  
  ‘api-version’ for Azure OpenAI instances.
  
  azure_deployment_id
  
  string
  
  Deployment ID for Azure OpenAI instances.
  
  llama2_format
  
  string Must be one of: raw, openai, ollama
  
  If using llama2 provider, select the upstream message format.
  
  mistral_format
  
  string Must be one of: openai, ollama
  
  If using mistral provider, select the upstream message format.
  
  upstream_url
  
  string
  
  Manually specify or override the full URL to the AI operation endpoints, when calling (self-)hosted models, or for running via a private endpoint.
  
  upstream_path
  
  string
  
  Manually specify or override the AI operation path, used when e.g. using the ‘preserve’ route_type.
  
  gemini
  
  record
  
  api_endpoint
  
  string
  
  If running Gemini on Vertex, specify the regional API endpoint (hostname only).
  
  project_id
  
  string
  
  If running Gemini on Vertex, specify the project ID.
  
  location_id
  
  string
  
  If running Gemini on Vertex, specify the location ID.
  
  bedrock
  
  record
  
  aws_region
  
  string
  
  If using AWS providers (Bedrock) you can override the AWS_REGION environment variable by setting this option.
  
  huggingface
  
  record
  
  use_cache
  
  boolean
  
  Use the cache layer on the inference API
  
  wait_for_model
  
  boolean
  
  Wait for the model if it is not ready
- logging
  
  record required
  log_statistics
  
  boolean required default: false
  
  If enabled and supported by the driver, will add model usage and token metrics into the Kong log plugin(s) output.
  
  log_payloads
  
  boolean required default: false
  
  If enabled, will log the request and response body into the Kong log plugin(s) output.
- response_streaming
  
  string default: allow Must be one of: allow, deny, always
  
  Whether to ‘optionally allow’, ‘deny’, or ‘always’ (force) the streaming of answers via server sent events.
- max_request_body_size
  
  integer default: 8192
  
  max allowed body size allowed to be introspected
- model_name_header
  
  boolean default: true
  
  Display the model name selected in the X-Kong-LLM-Model response header

前へ AI Proxy

次へ Basic config examples for AI Proxy

構成

互換性のあるプロトコル

パラメータ

name or plugin

instance_name

service.name or service.id

route.name or route.id

consumer.name or consumer.id

consumer_group.name or consumer_group.id

enabled

config

route_type

auth

header_name

header_value

param_name

param_value

param_location

azure_use_managed_identity

azure_client_id

azure_client_secret

azure_tenant_id

gcp_use_service_account

gcp_service_account_json

aws_access_key_id

aws_secret_access_key

allow_override

model

provider

name

options

max_tokens

input_cost

output_cost

temperature

top_p

top_k

anthropic_version

azure_instance

azure_api_version

azure_deployment_id

llama2_format

mistral_format

upstream_url

upstream_path

gemini

api_endpoint

project_id

location_id

bedrock

aws_region

huggingface

use_cache

wait_for_model

logging

log_statistics

log_payloads

response_streaming

max_request_body_size

model_name_header