AI Proxy設定

このページは、まだ日本語ではご利用いただけません。翻訳中です。

構成

このプラグインはDBレスモードに対応しています。

互換性のあるプロトコル

AI Proxyプラグインは以下のプロトコルに対応しています：

grpc, grpcs, http, https

パラメータ

このプラグインの設定で使用できるすべてのパラメータのリストは次のとおりです。

• name or plugin

  string required

  プラグイン名。この場合は ai-proxy 。

  • Kong Admin API、Kong Konnect API、宣言型構成、または decK ファイルを使用する場合、フィールドはnameです。
  • Kubernetes で KongPlugin オブジェクトを使用する場合、フィールドはpluginです。

• instance_name

  string

  プラグインのインスタンスを識別するための任意のカスタム名 (例: ai-proxy_my-service 。

  インスタンス名はKong ManagerとKonnectに表示されるので、 例えば複数のサービスで同じプラグインを複数のコンテキストで実行する場合に便利です。また、Kong Admin API経由で特定のプラグインインスタンスに アクセスするためにも使用できます。

  インスタンス名は、次のコンテキスト内で一意である必要があります。

  • Kong Gateway Enterpriseのワークスペース内
  • Konnectのコントロールプレーン（CP）またはコントロールプレーン（CP）グループ内
  • Kong Gateway (OSS)の全世界

• service.name or service.id

  string

  プラグインが対象とするサービス名または ID。最上位の /plugins エンドポイント. からプラグインをサービスに追加する場合は、これらのパラメータのいずれかを設定してください /services/{serviceName|Id}/plugins を使用する場合は必要ありません。

• route.name or route.id

  string

  プラグインがターゲットとするルート名または ID。最上位の /plugins エンドポイント. を通るルートにプラグインを追加する場合は、これらのパラメータのいずれかを設定してください /routes/{routeName|Id}/plugins を使用する場合は必要ありません。

• consumer.name or consumer.id

  string

  プラグインがターゲットとするコンシューマーの名前または ID。 最上位の /plugins エンドポイント. からコンシューマーにプラグインを追加する場合は、これらのパラメーターのいずれかを設定してください /consumers/{consumerName|Id}/pluginsを使用する場合は必要ありません。

• consumer_group.name or consumer_group.id

  string

  プラグインが対象とするコンシューマグループの名前または ID。 設定されている場合、プラグインは指定されたグループが認証されているリクエストに対してのみアクティブになります/plugins エンドポイント. /consumer_groups/{consumerGroupName|Id}/pluginsを使用する場合は必要ありません。

• enabled

  boolean default: true

  このプラグインが適用されるかどうか。

• config

  record required
  • route_type

    string required Must be one of: llm/v1/chat, llm/v1/completions, preserve

    The model’s operation implementation, for this provider. Set to preserve to pass through without transformation.

  • auth

    record
    • header_name

      string referenceable

      If AI model requires authentication via Authorization or API key header, specify its name here.

    • header_value

      string referenceable encrypted

      Specify the full auth header value for ‘header_name’, for example ‘Bearer key’ or just ‘key’.

    • param_name

      string referenceable

      If AI model requires authentication via query parameter, specify its name here.

    • param_value

      string referenceable encrypted

      Specify the full parameter value for ‘param_name’.

    • param_location

      string Must be one of: query, body

      Specify whether the ‘param_name’ and ‘param_value’ options go in a query string, or the POST form/JSON body.

    • azure_use_managed_identity

      boolean default: false

      Set true to use the Azure Cloud Managed Identity (or user-assigned identity) to authenticate with Azure-provider models.

    • azure_client_id

      string referenceable

      If azure_use_managed_identity is set to true, and you need to use a different user-assigned identity for this LLM instance, set the client ID.

    • azure_client_secret

      string referenceable encrypted

      If azure_use_managed_identity is set to true, and you need to use a different user-assigned identity for this LLM instance, set the client secret.

    • azure_tenant_id

      string referenceable

      If azure_use_managed_identity is set to true, and you need to use a different user-assigned identity for this LLM instance, set the tenant ID.

    • gcp_use_service_account

      boolean default: false

      Use service account auth for GCP-based providers and models.

    • gcp_service_account_json

      string referenceable encrypted

      Set this field to the full JSON of the GCP service account to authenticate, if required. If null (and gcp_use_service_account is true), Kong will attempt to read from environment variable GCP_SERVICE_ACCOUNT.

    • aws_access_key_id

      string referenceable encrypted

      Set this if you are using an AWS provider (Bedrock) and you are authenticating using static IAM User credentials. Setting this will override the AWS_ACCESS_KEY_ID environment variable for this plugin instance.

    • aws_secret_access_key

      string referenceable encrypted

      Set this if you are using an AWS provider (Bedrock) and you are authenticating using static IAM User credentials. Setting this will override the AWS_SECRET_ACCESS_KEY environment variable for this plugin instance.

    • allow_override

      boolean default: false

      If enabled, the authorization header or parameter can be overridden in the request by the value configured in the plugin.

  • model

    record required
    • provider

      string required Must be one of: openai, azure, anthropic, cohere, mistral, llama2, gemini, bedrock

      AI provider request format - Kong translates requests to and from the specified backend compatible formats.

    • name

      string

      Model name to execute.

    • options

      record

      Key/value settings for the model

      • max_tokens

        integer default: 256

        Defines the max_tokens, if using chat or completion models.

      • input_cost

        number

        Defines the cost per 1M tokens in your prompt.

      • output_cost

        number

        Defines the cost per 1M tokens in the output of the AI.

      • temperature

        number between: 0 5

        Defines the matching temperature, if using chat or completion models.

      • top_p

        number between: 0 1

        Defines the top-p probability mass, if supported.

      • top_k

        integer between: 0 500

        Defines the top-k most likely tokens, if supported.

      • anthropic_version

        string

        Defines the schema/API version, if using Anthropic provider.

      • azure_instance

        string

        Instance name for Azure OpenAI hosted models.

      • azure_api_version

        string default: 2023-05-15

        ‘api-version’ for Azure OpenAI instances.

      • azure_deployment_id

        string

        Deployment ID for Azure OpenAI instances.

      • llama2_format

        string Must be one of: raw, openai, ollama

        If using llama2 provider, select the upstream message format.

      • mistral_format

        string Must be one of: openai, ollama

        If using mistral provider, select the upstream message format.

      • upstream_url

        string

        Manually specify or override the full URL to the AI operation endpoints, when calling (self-)hosted models, or for running via a private endpoint.

      • upstream_path

        string

        Manually specify or override the AI operation path, used when e.g. using the ‘preserve’ route_type.

      • gemini

        record
        • api_endpoint

          string

          If running Gemini on Vertex, specify the regional API endpoint (hostname only).

        • project_id

          string

          If running Gemini on Vertex, specify the project ID.

        • location_id

          string

          If running Gemini on Vertex, specify the location ID.

      • bedrock

        record
        • aws_region

          string

          If using AWS providers (Bedrock) you can override the AWS_REGION environment variable by setting this option.

  • logging

    record required
    • log_statistics

      boolean required default: false

      If enabled and supported by the driver, will add model usage and token metrics into the Kong log plugin(s) output.

    • log_payloads

      boolean required default: false

      If enabled, will log the request and response body into the Kong log plugin(s) output.

  • response_streaming

    string default: allow Must be one of: allow, deny, always

    Whether to ‘optionally allow’, ‘deny’, or ‘always’ (force) the streaming of answers via server sent events.

  • max_request_body_size

    integer default: 8192

    max allowed body size allowed to be introspected

  • model_name_header

    boolean default: true

    Display the model name selected in the X-Kong-LLM-Model response header