AI Semantic Cacheの基本構成例 - Plugin

基本構成例

serviceで有効にする

routeで有効にする

consumerで有効にする

グローバルに有効にする

以下の例では、ai-semantic-cacheプラグインをserviceで有効にするための一般的な設定をご紹介します。

Kong Admin API

Konnect API

Kubernetes

Declarative (YAML)

Konnect Terraform

次のリクエストを行います。

curl -X POST http://localhost:8001/services/{serviceName|Id}/plugins \
    --header "accept: application/json" \
    --header "Content-Type: application/json" \
    --data '
    {
  "name": "ai-semantic-cache",
  "config": {
    "embeddings": {
      "model": {
        "provider": "openai",
        "name": "text-embedding-3-large"
      }
    },
    "vectordb": {
      "strategy": "redis",
      "dimensions": 3072,
      "threshold": 0.1,
      "distance_metric": "cosine",
      "redis": {
        "host": "exampleredis.com",
        "port": 80
      }
    }
  }
}
    '

SERVICE_NAME

IDを、このプラグイン構成の対象となるサービスの idまたはnameに置き換えてください。

独自のアクセストークン、リージョン、コントロールプレーンID、サービスIDを代入して、次のリクエストを行ってください。

curl -X POST \
https://{us|eu}.api.konghq.com/v2/control-planes/{controlPlaneId}/core-entities/services/{serviceId}/plugins \
    --header "accept: application/json" \
    --header "Content-Type: application/json" \
    --header "Authorization: Bearer TOKEN" \
    --data '{"name":"ai-semantic-cache","config":{"embeddings":{"model":{"provider":"openai","name":"text-embedding-3-large"}},"vectordb":{"strategy":"redis","dimensions":3072,"threshold":0.1,"distance_metric":"cosine","redis":{"host":"exampleredis.com","port":80}}}}'

地域固有のURLと個人アクセストークンの詳細については、 Konnect API referenceをご参照ください。

まず、KongPlugin リソースを作成します：

echo "
apiVersion: configuration.konghq.com/v1
kind: KongPlugin
metadata:
  name: ai-semantic-cache-example
plugin: ai-semantic-cache
config:
  embeddings:
    model:
      provider: openai
      name: text-embedding-3-large
  vectordb:
    strategy: redis
    dimensions: 3072
    threshold: 0.1
    distance_metric: cosine
    redis:
      host: exampleredis.com
      port: 80
" | kubectl apply -f -

次に、次のようにserviceに注釈を付けて、KongPluginリソースをイングレスに適用します。

kubectl annotate service SERVICE_NAME konghq.com/plugins=ai-semantic-cache-example

SERVICE_NAMEを、このプラグイン構成が対象とするサービスの名前に置き換えます。 kubectl get serviceを実行すると、利用可能なイングレスを確認できます。

注： KongPluginリソースは一度だけ定義するだけで、ネームスペース内の任意のサービス、コンシューマー、またはルートに適用できます。プラグインをクラスター全体で利用可能にしたい場合は、KongPluginの代わりにKongClusterPluginとしてリソースを作成してください。

このセクションを宣言型構成ファイルに追加します。

plugins:
- name: ai-semantic-cache
  service: SERVICE_NAME|ID
  config:
    embeddings:
      model:
        provider: openai
        name: text-embedding-3-large
    vectordb:
      strategy: redis
      dimensions: 3072
      threshold: 0.1
      distance_metric: cosine
      redis:
        host: exampleredis.com
        port: 80

SERVICE_NAME

IDを、このプラグイン構成の対象となるサービスの idまたはnameに置き換えてください。

前提条件： パーソナルアクセストークンの設定

terraform {
  required_providers {
    konnect = {
      source  = "kong/konnect"
    }
  }
}

provider "konnect" {
  personal_access_token = "kpat_YOUR_TOKEN"
  server_url            = "https://us.api.konghq.com/"
}

Kong Konnectゲートウェイプラグインを作成するには、Terraform 構成に以下を追加します。

resource "konnect_gateway_plugin_ai_semantic_cache" "my_ai_semantic_cache" {
  enabled = true

  config = {
    embeddings = {
      model = {
        provider = "openai"
        name = "text-embedding-3-large"
      }
    }
    vectordb = {
      strategy = "redis"
      dimensions = 3072
      threshold = 0.1
      distance_metric = "cosine"
      redis = {
        host = "exampleredis.com"
        port = 80
      }
    }
  }

  control_plane_id = konnect_gateway_control_plane.my_konnect_cp.id
  service = {
    id = konnect_gateway_service.my_service.id
  }
}

以下の例では、ai-semantic-cacheプラグインをrouteで有効にするための一般的な設定をご紹介します。

Kong Admin API

Konnect API

Kubernetes

Declarative (YAML)

Konnect Terraform

次のリクエストを行います。

curl -X POST http://localhost:8001/routes/{routeName|Id}/plugins \
    --header "accept: application/json" \
    --header "Content-Type: application/json" \
    --data '
    {
  "name": "ai-semantic-cache",
  "config": {
    "embeddings": {
      "model": {
        "provider": "openai",
        "name": "text-embedding-3-large"
      }
    },
    "vectordb": {
      "strategy": "redis",
      "dimensions": 3072,
      "threshold": 0.1,
      "distance_metric": "cosine",
      "redis": {
        "host": "exampleredis.com",
        "port": 80
      }
    }
  }
}
    '

ROUTE_NAME

IDを、このプラグイン構成が対象とするルートのid またはnameに置き換えてください。

独自のアクセストークン、リージョン、コントロールプレーン（CP）ID、ルートIDを代入して、次のリクエストをしてください。

curl -X POST \
https://{us|eu}.api.konghq.com/v2/control-planes/{controlPlaneId}/core-entities/routes/{routeId}/plugins \
    --header "accept: application/json" \
    --header "Content-Type: application/json" \
    --header "Authorization: Bearer TOKEN" \
    --data '{"name":"ai-semantic-cache","config":{"embeddings":{"model":{"provider":"openai","name":"text-embedding-3-large"}},"vectordb":{"strategy":"redis","dimensions":3072,"threshold":0.1,"distance_metric":"cosine","redis":{"host":"exampleredis.com","port":80}}}}'

地域固有のURLと個人アクセストークンの詳細については、 Konnect API referenceをご参照ください。

まず、KongPlugin リソースを作成します：

echo "
apiVersion: configuration.konghq.com/v1
kind: KongPlugin
metadata:
  name: ai-semantic-cache-example
plugin: ai-semantic-cache
config:
  embeddings:
    model:
      provider: openai
      name: text-embedding-3-large
  vectordb:
    strategy: redis
    dimensions: 3072
    threshold: 0.1
    distance_metric: cosine
    redis:
      host: exampleredis.com
      port: 80
" | kubectl apply -f -

次に、次のようにingressに注釈を付けて、KongPluginリソースをイングレスに適用します。

kubectl annotate ingress INGRESS_NAME konghq.com/plugins=ai-semantic-cache-example

INGRESS_NAMEを、このプラグイン構成がターゲットとするイングレス名に置き換えます。 kubectl get ingressを実行すると、利用可能なイングレスを確認できます。

注： KongPluginリソースは一度だけ定義するだけで、ネームスペース内の任意のサービス、コンシューマー、またはルートに適用できます。プラグインをクラスター全体で利用可能にしたい場合は、KongPluginの代わりにKongClusterPluginとしてリソースを作成してください。

このセクションを宣言型構成ファイルに追加します。

plugins:
- name: ai-semantic-cache
  route: ROUTE_NAME|ID
  config:
    embeddings:
      model:
        provider: openai
        name: text-embedding-3-large
    vectordb:
      strategy: redis
      dimensions: 3072
      threshold: 0.1
      distance_metric: cosine
      redis:
        host: exampleredis.com
        port: 80

ROUTE_NAME

IDを、このプラグイン構成が対象とするルートのid またはnameに置き換えてください。

前提条件： パーソナルアクセストークンの設定

terraform {
  required_providers {
    konnect = {
      source  = "kong/konnect"
    }
  }
}

provider "konnect" {
  personal_access_token = "kpat_YOUR_TOKEN"
  server_url            = "https://us.api.konghq.com/"
}

Kong Konnectゲートウェイプラグインを作成するには、Terraform 構成に以下を追加します。

resource "konnect_gateway_plugin_ai_semantic_cache" "my_ai_semantic_cache" {
  enabled = true

  config = {
    embeddings = {
      model = {
        provider = "openai"
        name = "text-embedding-3-large"
      }
    }
    vectordb = {
      strategy = "redis"
      dimensions = 3072
      threshold = 0.1
      distance_metric = "cosine"
      redis = {
        host = "exampleredis.com"
        port = 80
      }
    }
  }

  control_plane_id = konnect_gateway_control_plane.my_konnect_cp.id
  route = {
    id = konnect_gateway_route.my_route.id
  }
}

以下の例では、ai-semantic-cacheプラグインをconsumerで有効にするための一般的な設定をご紹介します。

Kong Admin API

Konnect API

Kubernetes

Declarative (YAML)

Konnect Terraform

次のリクエストを行います。

curl -X POST http://localhost:8001/consumers/{consumerName|Id}/plugins \
    --header "accept: application/json" \
    --header "Content-Type: application/json" \
    --data '
    {
  "name": "ai-semantic-cache",
  "config": {
    "embeddings": {
      "model": {
        "provider": "openai",
        "name": "text-embedding-3-large"
      }
    },
    "vectordb": {
      "strategy": "redis",
      "dimensions": 3072,
      "threshold": 0.1,
      "distance_metric": "cosine",
      "redis": {
        "host": "exampleredis.com",
        "port": 80
      }
    }
  }
}
    '

CONSUMER_NAME

IDを、このプラグイン構成の対象となるコンシューマのidまたはnameに置き換えてください。

独自のアクセストークン、リージョン、コントロールプレーンID、コンシューマーIDを代入して、次のリクエストをしてください。

curl -X POST \
https://{us|eu}.api.konghq.com/v2/control-planes/{controlPlaneId}/core-entities/consumers/{consumerId}/plugins \
    --header "accept: application/json" \
    --header "Content-Type: application/json" \
    --header "Authorization: Bearer TOKEN" \
    --data '{"name":"ai-semantic-cache","config":{"embeddings":{"model":{"provider":"openai","name":"text-embedding-3-large"}},"vectordb":{"strategy":"redis","dimensions":3072,"threshold":0.1,"distance_metric":"cosine","redis":{"host":"exampleredis.com","port":80}}}}'

地域固有のURLと個人アクセストークンの詳細については、 Konnect API referenceをご参照ください。

まず、KongPlugin リソースを作成します：

echo "
apiVersion: configuration.konghq.com/v1
kind: KongPlugin
metadata:
  name: ai-semantic-cache-example
plugin: ai-semantic-cache
config:
  embeddings:
    model:
      provider: openai
      name: text-embedding-3-large
  vectordb:
    strategy: redis
    dimensions: 3072
    threshold: 0.1
    distance_metric: cosine
    redis:
      host: exampleredis.com
      port: 80
" | kubectl apply -f -

次に、次のようにKongConsumerオブジェクトに注釈を付けて、KongPluginリソースをイングレスに適用します。

kubectl annotate KongConsumer CONSUMER_NAME konghq.com/plugins=ai-semantic-cache-example

CONSUMER_NAMEを、このプラグイン構成が対象とするコンシューマーの名前に置き換えます。 kubectl get KongConsumerを実行すると、利用可能なコンシューマを確認できます。

KongConsumerオブジェクトの詳細については、コンシューマと認証情報のプロビジョニングをご参照ください。

注： KongPluginリソースは一度だけ定義するだけで、ネームスペース内の任意のサービス、コンシューマー、またはルートに適用できます。プラグインをクラスター全体で利用可能にしたい場合は、KongPluginの代わりにKongClusterPluginとしてリソースを作成してください。

このセクションを宣言型構成ファイルに追加します。

plugins:
- name: ai-semantic-cache
  consumer: CONSUMER_NAME|ID
  config:
    embeddings:
      model:
        provider: openai
        name: text-embedding-3-large
    vectordb:
      strategy: redis
      dimensions: 3072
      threshold: 0.1
      distance_metric: cosine
      redis:
        host: exampleredis.com
        port: 80

CONSUMER_NAME

IDを、このプラグイン構成の対象となるコンシューマのidまたはnameに置き換えてください。

前提条件： パーソナルアクセストークンの設定

terraform {
  required_providers {
    konnect = {
      source  = "kong/konnect"
    }
  }
}

provider "konnect" {
  personal_access_token = "kpat_YOUR_TOKEN"
  server_url            = "https://us.api.konghq.com/"
}

Kong Konnectゲートウェイプラグインを作成するには、Terraform 構成に以下を追加します。

resource "konnect_gateway_plugin_ai_semantic_cache" "my_ai_semantic_cache" {
  enabled = true

  config = {
    embeddings = {
      model = {
        provider = "openai"
        name = "text-embedding-3-large"
      }
    }
    vectordb = {
      strategy = "redis"
      dimensions = 3072
      threshold = 0.1
      distance_metric = "cosine"
      redis = {
        host = "exampleredis.com"
        port = 80
      }
    }
  }

  control_plane_id = konnect_gateway_control_plane.my_konnect_cp.id
  consumer = {
    id = konnect_gateway_consumer.my_consumer.id
  }
}

どのサービス、ルート、コンシューマー、コンシューマーグループにも関連しないプラグインは_global_とみなされ、すべてのリクエストで実行されます。

自己管理型のKong Gateway Enterpriseでは、プラグインは特定のワークスペース内のすべてのエンティティに適用されます。
セルフマネージドKong Gateway (OSS)では、プラグインは環境全体に適用されます。
Konnectでは、プラグインは特定のコントロールプレーン（CP）内のすべてのエンティティに適用されます。

詳しくはプラグインリファレンスとプラグインの優先順位のセクションをご覧ください。

以下の例では、AI Semantic Cacheプラグインをグローバルに有効にするための典型的な設定をいくつかご紹介します。

Kong Admin API

Konnect API

Kubernetes

Declarative (YAML)

Konnect Terraform

次のリクエストを行います。

curl -X POST http://localhost:8001/plugins/ \
    --header "accept: application/json" \
    --header "Content-Type: application/json" \
    --data '
    {
  "name": "ai-semantic-cache",
  "config": {
    "embeddings": {
      "model": {
        "provider": "openai",
        "name": "text-embedding-3-large"
      }
    },
    "vectordb": {
      "strategy": "redis",
      "dimensions": 3072,
      "threshold": 0.1,
      "distance_metric": "cosine",
      "redis": {
        "host": "exampleredis.com",
        "port": 80
      }
    }
  }
}
    '

独自のアクセストークン、リージョン、コントロールプレーン（CP）IDを代入して、次のリクエストをしてください。

curl -X POST \
https://{us|eu}.api.konghq.com/v2/control-planes/{controlPlaneId}/core-entities/plugins/ \
    --header "accept: application/json" \
    --header "Content-Type: application/json" \
    --header "Authorization: Bearer TOKEN" \
    --data '{"name":"ai-semantic-cache","config":{"embeddings":{"model":{"provider":"openai","name":"text-embedding-3-large"}},"vectordb":{"strategy":"redis","dimensions":3072,"threshold":0.1,"distance_metric":"cosine","redis":{"host":"exampleredis.com","port":80}}}}'

地域固有のURLと個人アクセストークンの詳細については、 Konnect API referenceをご参照ください。

KongClusterPlugin作成するリソースを作成し、グローバルとしてラベル付けします。

apiVersion: configuration.konghq.com/v1
kind: KongClusterPlugin
metadata:
  name: <global-ai-semantic-cache>
  annotations:
    kubernetes.io/ingress.class: kong
  labels:
    global: "true"
config:
  embeddings:
    model:
      provider: openai
      name: text-embedding-3-large
  vectordb:
    strategy: redis
    dimensions: 3072
    threshold: 0.1
    distance_metric: cosine
    redis:
      host: exampleredis.com
      port: 80
plugin: ai-semantic-cache

宣言型構成ファイルにpluginsエントリを追加します。

plugins:
- name: ai-semantic-cache
  config:
    embeddings:
      model:
        provider: openai
        name: text-embedding-3-large
    vectordb:
      strategy: redis
      dimensions: 3072
      threshold: 0.1
      distance_metric: cosine
      redis:
        host: exampleredis.com
        port: 80

前提条件： パーソナルアクセストークンの設定

terraform {
  required_providers {
    konnect = {
      source  = "kong/konnect"
    }
  }
}

provider "konnect" {
  personal_access_token = "kpat_YOUR_TOKEN"
  server_url            = "https://us.api.konghq.com/"
}

Kong Konnectゲートウェイプラグインを作成するには、Terraform 構成に以下を追加します。

resource "konnect_gateway_plugin_ai_semantic_cache" "my_ai_semantic_cache" {
  enabled = true

  config = {
    embeddings = {
      model = {
        provider = "openai"
        name = "text-embedding-3-large"
      }
    }
    vectordb = {
      strategy = "redis"
      dimensions = 3072
      threshold = 0.1
      distance_metric = "cosine"
      redis = {
        host = "exampleredis.com"
        port = 80
      }
    }
  }

  control_plane_id = konnect_gateway_control_plane.my_konnect_cp.id
}

前へ AI Semantic Cache設定

次へ Set up AI Semantic Cache with Mistral