AI Proxyの基本構成例 - Plugin - v3.7.x

古いプラグインバージョンのドキュメントを閲覧しています。

基本構成例

routeで有効にする

consumer groupで有効にする

グローバルに有効にする

以下の例では、ai-proxyプラグインをrouteで有効にするための一般的な設定をご紹介します。

Kong Admin API

Konnect API

Kubernetes

Declarative (YAML)

Konnect Terraform

次のリクエストを行います。

curl -X POST http://localhost:8001/routes/{routeName|Id}/plugins \
    --header "accept: application/json" \
    --header "Content-Type: application/json" \
    --data '
    {
  "name": "ai-proxy",
  "config": {
    "route_type": "llm/v1/chat",
    "auth": {
      "header_name": "Authorization",
      "header_value": "Bearer <OPENAI_API_TOKEN>"
    },
    "model": {
      "provider": "openai",
      "name": "gpt-4",
      "options": {
        "max_tokens": 512,
        "temperature": 1.0
      }
    }
  }
}
    '

ROUTE_NAME

IDを、このプラグイン構成が対象とするルートのid またはnameに置き換えてください。

独自のアクセストークン、リージョン、コントロールプレーン（CP）ID、ルートIDを代入して、次のリクエストをしてください。

curl -X POST \
https://{us|eu}.api.konghq.com/v2/control-planes/{controlPlaneId}/core-entities/routes/{routeId}/plugins \
    --header "accept: application/json" \
    --header "Content-Type: application/json" \
    --header "Authorization: Bearer TOKEN" \
    --data '{"name":"ai-proxy","config":{"route_type":"llm/v1/chat","auth":{"header_name":"Authorization","header_value":"Bearer <OPENAI_API_TOKEN>"},"model":{"provider":"openai","name":"gpt-4","options":{"max_tokens":512,"temperature":1.0}}}}'

地域固有のURLと個人アクセストークンの詳細については、 Konnect API referenceをご参照ください。

まず、KongPlugin リソースを作成します：

echo "
apiVersion: configuration.konghq.com/v1
kind: KongPlugin
metadata:
  name: ai-proxy-example
plugin: ai-proxy
config:
  route_type: llm/v1/chat
  auth:
    header_name: Authorization
    header_value: Bearer <OPENAI_API_TOKEN>
  model:
    provider: openai
    name: gpt-4
    options:
      max_tokens: 512
      temperature: 1.0
" | kubectl apply -f -

次に、次のようにingressに注釈を付けて、KongPluginリソースをイングレスに適用します。

kubectl annotate ingress INGRESS_NAME konghq.com/plugins=ai-proxy-example

INGRESS_NAMEを、このプラグイン構成がターゲットとするイングレス名に置き換えます。 kubectl get ingressを実行すると、利用可能なイングレスを確認できます。

注： KongPluginリソースは一度だけ定義するだけで、ネームスペース内の任意のサービス、コンシューマー、またはルートに適用できます。プラグインをクラスター全体で利用可能にしたい場合は、KongPluginの代わりにKongClusterPluginとしてリソースを作成してください。

このセクションを宣言型構成ファイルに追加します。

plugins:
- name: ai-proxy
  route: ROUTE_NAME|ID
  config:
    route_type: llm/v1/chat
    auth:
      header_name: Authorization
      header_value: Bearer <OPENAI_API_TOKEN>
    model:
      provider: openai
      name: gpt-4
      options:
        max_tokens: 512
        temperature: 1.0

ROUTE_NAME

IDを、このプラグイン構成が対象とするルートのid またはnameに置き換えてください。

前提条件： パーソナルアクセストークンの設定

terraform {
  required_providers {
    konnect = {
      source  = "kong/konnect"
    }
  }
}

provider "konnect" {
  personal_access_token = "kpat_YOUR_TOKEN"
  server_url            = "https://us.api.konghq.com/"
}

Kong Konnectゲートウェイプラグインを作成するには、Terraform 構成に以下を追加します。

resource "konnect_gateway_plugin_ai_proxy" "my_ai_proxy" {
  enabled = true

  config = {
    route_type = "llm/v1/chat"
    auth = {
      header_name = "Authorization"
      header_value = "Bearer <OPENAI_API_TOKEN>"
    }
    model = {
      provider = "openai"
      name = "gpt-4"
      options = {
        max_tokens = 512
        temperature = 1.0
      }
    }
  }

  control_plane_id = konnect_gateway_control_plane.my_konnect_cp.id
  route = {
    id = konnect_gateway_route.my_route.id
  }
}

以下の例では、ai-proxyプラグインをconsumer groupで有効にするための一般的な設定をご紹介します。

Kong Admin API

Konnect API

Kubernetes

Declarative (YAML)

Konnect Terraform

次のリクエストを行います。

curl -X POST http://localhost:8001/consumer_groups/{consumerGroupName|Id}/plugins \
    --header "accept: application/json" \
    --header "Content-Type: application/json" \
    --data '
    {
  "name": "ai-proxy",
  "config": {
    "route_type": "llm/v1/chat",
    "auth": {
      "header_name": "Authorization",
      "header_value": "Bearer <OPENAI_API_TOKEN>"
    },
    "model": {
      "provider": "openai",
      "name": "gpt-4",
      "options": {
        "max_tokens": 512,
        "temperature": 1.0
      }
    }
  }
}
    '

CONSUMER_GROUP_NAME

IDを、このプラグイン構成の対象となるコンシューマグループのidまたはnameに置き換えてください。

独自のアクセストークン、リージョン、コントロールプレーンID、コンシューマーグループIDを代入して、次のリクエストをします：

curl -X POST \
https://{us|eu}.api.konghq.com/v2/control-planes/{controlPlaneId}/core-entities/consumer_groups/{consumerGroupId}/plugins \
    --header "accept: application/json" \
    --header "Content-Type: application/json" \
    --header "Authorization: Bearer TOKEN" \
    --data '{"name":"ai-proxy","config":{"route_type":"llm/v1/chat","auth":{"header_name":"Authorization","header_value":"Bearer <OPENAI_API_TOKEN>"},"model":{"provider":"openai","name":"gpt-4","options":{"max_tokens":512,"temperature":1.0}}}}'

地域固有のURLと個人アクセストークンの詳細については、 Konnect API referenceをご参照ください。

まず、KongPlugin リソースを作成します：

echo "
apiVersion: configuration.konghq.com/v1
kind: KongPlugin
metadata:
  name: ai-proxy-example
plugin: ai-proxy
config:
  route_type: llm/v1/chat
  auth:
    header_name: Authorization
    header_value: Bearer <OPENAI_API_TOKEN>
  model:
    provider: openai
    name: gpt-4
    options:
      max_tokens: 512
      temperature: 1.0
" | kubectl apply -f -

次に、次のようにKongConsumerGroupオブジェクトに注釈を付けて、KongPluginリソースをイングレスに適用します。

kubectl annotate KongConsumerGroup CONSUMER_GROUP_NAME konghq.com/plugins=ai-proxy-example

CONSUMER_GROUP_NAMEを、このプラグイン構成が対象とするコンシューマグループの名前に置き換えます。 kubectl get KongConsumerGroupを実行すると、利用可能なコンシューマグループを確認できます。

注： KongPluginリソースは一度だけ定義する必要があり、名前空間内の任意のサービス、コンシューマ、コンシューマグループ、またはルートに適用できます。プラグインをクラスタ全体で利用できるようにする場合は、KongPluginの代わりにKongClusterPluginリソースを作成します。

このセクションを宣言型構成ファイルに追加します。

plugins:
- name: ai-proxy
  consumer_group: CONSUMER_GROUP_NAME|ID
  config:
    route_type: llm/v1/chat
    auth:
      header_name: Authorization
      header_value: Bearer <OPENAI_API_TOKEN>
    model:
      provider: openai
      name: gpt-4
      options:
        max_tokens: 512
        temperature: 1.0

CONSUMER_GROUP_NAME

IDを、このプラグイン構成の対象となるコンシューマグループのidまたはnameに置き換えてください。

前提条件： パーソナルアクセストークンの設定

terraform {
  required_providers {
    konnect = {
      source  = "kong/konnect"
    }
  }
}

provider "konnect" {
  personal_access_token = "kpat_YOUR_TOKEN"
  server_url            = "https://us.api.konghq.com/"
}

Kong Konnectゲートウェイプラグインを作成するには、Terraform 構成に以下を追加します。

resource "konnect_gateway_plugin_ai_proxy" "my_ai_proxy" {
  enabled = true

  config = {
    route_type = "llm/v1/chat"
    auth = {
      header_name = "Authorization"
      header_value = "Bearer <OPENAI_API_TOKEN>"
    }
    model = {
      provider = "openai"
      name = "gpt-4"
      options = {
        max_tokens = 512
        temperature = 1.0
      }
    }
  }

  control_plane_id = konnect_gateway_control_plane.my_konnect_cp.id
  consumer_group = {
    id = konnect_gateway_consumer_group.my_consumer_group.id
  }
}

どのサービス、ルート、コンシューマー、コンシューマーグループにも関連しないプラグインは_global_とみなされ、すべてのリクエストで実行されます。

自己管理型のKong Gateway Enterpriseでは、プラグインは特定のワークスペース内のすべてのエンティティに適用されます。
セルフマネージドKong Gateway (OSS)では、プラグインは環境全体に適用されます。
Konnectでは、プラグインは特定のコントロールプレーン（CP）内のすべてのエンティティに適用されます。

詳しくはプラグインリファレンスとプラグインの優先順位のセクションをご覧ください。

以下の例では、AI Proxyプラグインをグローバルに有効にするための典型的な設定をいくつかご紹介します。

Kong Admin API

Konnect API

Kubernetes

Declarative (YAML)

Konnect Terraform

次のリクエストを行います。

curl -X POST http://localhost:8001/plugins/ \
    --header "accept: application/json" \
    --header "Content-Type: application/json" \
    --data '
    {
  "name": "ai-proxy",
  "config": {
    "route_type": "llm/v1/chat",
    "auth": {
      "header_name": "Authorization",
      "header_value": "Bearer <OPENAI_API_TOKEN>"
    },
    "model": {
      "provider": "openai",
      "name": "gpt-4",
      "options": {
        "max_tokens": 512,
        "temperature": 1.0
      }
    }
  }
}
    '

独自のアクセストークン、リージョン、コントロールプレーン（CP）IDを代入して、次のリクエストをしてください。

curl -X POST \
https://{us|eu}.api.konghq.com/v2/control-planes/{controlPlaneId}/core-entities/plugins/ \
    --header "accept: application/json" \
    --header "Content-Type: application/json" \
    --header "Authorization: Bearer TOKEN" \
    --data '{"name":"ai-proxy","config":{"route_type":"llm/v1/chat","auth":{"header_name":"Authorization","header_value":"Bearer <OPENAI_API_TOKEN>"},"model":{"provider":"openai","name":"gpt-4","options":{"max_tokens":512,"temperature":1.0}}}}'

地域固有のURLと個人アクセストークンの詳細については、 Konnect API referenceをご参照ください。

KongClusterPlugin作成するリソースを作成し、グローバルとしてラベル付けします。

apiVersion: configuration.konghq.com/v1
kind: KongClusterPlugin
metadata:
  name: <global-ai-proxy>
  annotations:
    kubernetes.io/ingress.class: kong
  labels:
    global: "true"
config:
  route_type: llm/v1/chat
  auth:
    header_name: Authorization
    header_value: Bearer <OPENAI_API_TOKEN>
  model:
    provider: openai
    name: gpt-4
    options:
      max_tokens: 512
      temperature: 1.0
plugin: ai-proxy

宣言型構成ファイルにpluginsエントリを追加します。

plugins:
- name: ai-proxy
  config:
    route_type: llm/v1/chat
    auth:
      header_name: Authorization
      header_value: Bearer <OPENAI_API_TOKEN>
    model:
      provider: openai
      name: gpt-4
      options:
        max_tokens: 512
        temperature: 1.0

前提条件： パーソナルアクセストークンの設定

terraform {
  required_providers {
    konnect = {
      source  = "kong/konnect"
    }
  }
}

provider "konnect" {
  personal_access_token = "kpat_YOUR_TOKEN"
  server_url            = "https://us.api.konghq.com/"
}

Kong Konnectゲートウェイプラグインを作成するには、Terraform 構成に以下を追加します。

resource "konnect_gateway_plugin_ai_proxy" "my_ai_proxy" {
  enabled = true

  config = {
    route_type = "llm/v1/chat"
    auth = {
      header_name = "Authorization"
      header_value = "Bearer <OPENAI_API_TOKEN>"
    }
    model = {
      provider = "openai"
      name = "gpt-4"
      options = {
        max_tokens = 512
        temperature = 1.0
      }
    }
  }

  control_plane_id = konnect_gateway_control_plane.my_konnect_cp.id
}

前へ AI Proxy設定

次へ Authenticate to Cloud-Hosted Models Using their Native Authentication