AI Request Transformer設定

このページは、まだ日本語ではご利用いただけません。翻訳中です。

古いプラグインバージョンのドキュメントを閲覧しています。

構成

このプラグインはDBレスモードに対応しています。

互換性のあるプロトコル

AI Request Transformerプラグインは以下のプロトコルに対応しています：

grpc, grpcs, http, https

パラメータ

このプラグインの設定で使用できるすべてのパラメータのリストは次のとおりです。

• name or plugin

  string required

  プラグイン名。この場合は ai-request-transformer 。

  • Kong Admin API、Kong Konnect API、宣言型構成、または decK ファイルを使用する場合、フィールドはnameです。
  • Kubernetes で KongPlugin オブジェクトを使用する場合、フィールドはpluginです。

• instance_name

  string

  プラグインのインスタンスを識別するための任意のカスタム名 (例: ai-request-transformer_my-service 。

  インスタンス名はKong ManagerとKonnectに表示されるので、 例えば複数のサービスで同じプラグインを複数のコンテキストで実行する場合に便利です。また、Kong Admin API経由で特定のプラグインインスタンスに アクセスするためにも使用できます。

  インスタンス名は、次のコンテキスト内で一意である必要があります。

  • Kong Gateway Enterpriseのワークスペース内
  • Konnectのコントロールプレーン（CP）またはコントロールプレーン（CP）グループ内
  • Kong Gateway (OSS)の全世界

• service.name or service.id

  string

  プラグインが対象とするサービス名または ID。最上位の /plugins エンドポイント. からプラグインをサービスに追加する場合は、これらのパラメータのいずれかを設定してください /services/{serviceName|Id}/plugins を使用する場合は必要ありません。

• route.name or route.id

  string

  プラグインがターゲットとするルート名または ID。最上位の /plugins エンドポイント. を通るルートにプラグインを追加する場合は、これらのパラメータのいずれかを設定してください /routes/{routeName|Id}/plugins を使用する場合は必要ありません。

• consumer_group.name or consumer_group.id

  string

  プラグインが対象とするコンシューマグループの名前または ID。 設定されている場合、プラグインは指定されたグループが認証されているリクエストに対してのみアクティブになります/plugins エンドポイント. /consumer_groups/{consumerGroupName|Id}/pluginsを使用する場合は必要ありません。

• enabled

  boolean default: true

  このプラグインが適用されるかどうか。

• config

  record required
  • prompt

    string required

    Use this prompt to tune the LLM system/assistant message for the incoming proxy request (from the client), and what you are expecting in return.

  • transformation_extract_pattern

    string

    Defines the regular expression that must match to indicate a successful AI transformation at the request phase. The first match will be set as the outgoing body. If the AI service’s response doesn’t match this pattern, it is marked as a failure.

  • http_timeout

    integer required default: 60000

    Timeout in milliseconds for the AI upstream service.

  • https_verify

    boolean required default: true

    Verify the TLS certificate of the AI upstream service.

  • http_proxy_host

    string

    A string representing a host name, such as example.com.

  • http_proxy_port

    integer between: 0 65535

    An integer representing a port number between 0 and 65535, inclusive.

  • https_proxy_host

    string

    A string representing a host name, such as example.com.

  • https_proxy_port

    integer between: 0 65535

    An integer representing a port number between 0 and 65535, inclusive.

  • llm

    record required
    • route_type

      string required Must be one of: llm/v1/chat, llm/v1/completions, preserve

      The model’s operation implementation, for this provider. Set to preserve to pass through without transformation.

    • auth

      record
      • header_name

        string referenceable

        If AI model requires authentication via Authorization or API key header, specify its name here.

      • header_value

        string referenceable encrypted

        Specify the full auth header value for ‘header_name’, for example ‘Bearer key’ or just ‘key’.

      • param_name

        string referenceable

        If AI model requires authentication via query parameter, specify its name here.

      • param_value

        string referenceable encrypted

        Specify the full parameter value for ‘param_name’.

      • param_location

        string Must be one of: query, body

        Specify whether the ‘param_name’ and ‘param_value’ options go in a query string, or the POST form/JSON body.

      • azure_use_managed_identity

        boolean default: false

        Set true to use the Azure Cloud Managed Identity (or user-assigned identity) to authenticate with Azure-provider models.

      • azure_client_id

        string referenceable

        If azure_use_managed_identity is set to true, and you need to use a different user-assigned identity for this LLM instance, set the client ID.

      • azure_client_secret

        string referenceable encrypted

        If azure_use_managed_identity is set to true, and you need to use a different user-assigned identity for this LLM instance, set the client secret.

      • azure_tenant_id

        string referenceable

        If azure_use_managed_identity is set to true, and you need to use a different user-assigned identity for this LLM instance, set the tenant ID.

    • model

      record required
      • provider

        string required Must be one of: openai, azure, anthropic, cohere, mistral, llama2

        AI provider request format - Kong translates requests to and from the specified backend compatible formats.

      • name

        string

        Model name to execute.

      • options

        record

        Key/value settings for the model

        • response_streaming

          string default: allow Must be one of: allow, deny, always

          Whether to ‘optionally allow’, ‘deny’, or ‘always’ (force) the streaming of answers via server sent events.

        • max_tokens

          integer default: 256

          Defines the max_tokens, if using chat or completion models.

        • temperature

          number between: 0 5

          Defines the matching temperature, if using chat or completion models.

        • top_p

          number between: 0 1

          Defines the top-p probability mass, if supported.

        • top_k

          integer between: 0 500

          Defines the top-k most likely tokens, if supported.

        • anthropic_version

          string

          Defines the schema/API version, if using Anthropic provider.

        • azure_instance

          string

          Instance name for Azure OpenAI hosted models.

        • azure_api_version

          string default: 2023-05-15

          ‘api-version’ for Azure OpenAI instances.

        • azure_deployment_id

          string

          Deployment ID for Azure OpenAI instances.

        • llama2_format

          string Must be one of: raw, openai, ollama

          If using llama2 provider, select the upstream message format.

        • mistral_format

          string Must be one of: openai, ollama

          If using mistral provider, select the upstream message format.

        • upstream_url

          string

          Manually specify or override the full URL to the AI operation endpoints, when calling (self-)hosted models, or for running via a private endpoint.

        • upstream_path

          string

          Manually specify or override the AI operation path, used when e.g. using the ‘preserve’ route_type.

    • logging

      record required
      • log_statistics

        boolean required default: false

        If enabled and supported by the driver, will add model usage and token metrics into the Kong log plugin(s) output.

      • log_payloads

        boolean required default: false

        If enabled, will log the request and response body into the Kong log plugin(s) output.