コンテンツにスキップ
|
Kong Gateway
3.8.x (最新)
report-issue問題を報告する

AI Gatewayを使ってみる

AI GatewayはKong Gatewayの標準プラグインモデルを使用して構築されています。AIプラグインはバージョン3.6.xではKong Gatewayにバンドルされています。これは、各プラグインの文書化された構成指示に従うことにより、AI Gateway機能をデプロイできることを意味します。

すぐに開始できるように、AI Gatewayとして構成されたKong GatewayをDockerコンテナにデプロイするタスクを自動化するスクリプトを用意しました。これにより、AIプラグインの完全なスイートを探索する前に、コアAIプロバイダーの機能を評価できます。

クイックスタートスクリプトでは Kong Konnect 上での Kong Gateway のデプロイがサポートされ、従来のモードでは Docker 上でのデプロイのみがサポートされます。

注: このスクリプトを実行すると、ホストされている AI プロバイダーとの認証を設定するために使用する、AI プロバイダーの API キーの入力を求められます。これらのキーは Kong Gateway Docker コンテナにのみ渡され、 それ以外はホストマシンの外部には送信されません。

  1. インタラクティブなaiクイックスタートスクリプトを使用して、AI Gatewayを実行します。

    curl -Ls https://get.konghq.com/ai | bash

  2. Kong KonnectまたはDockerのみを対象とするデプロイメントを構成し、必要なAIプロバイダーのAPIキーを構成します。

    ...
Do you want to deploy on Kong Konnect (y/n) y
...
Provide a key for each provider you want to enable and press Enter.
Not providing a key and pressing Enter will skip configuring that provider.
   
→ Enter API Key for OpenAI    :
...

  3. AI Gatewayがデプロイされると、AIプロキシプラグインの動作評価に役立つ情報が表示されます。たとえば、このスクリプトは、OpenAIへのチャットリクエストをルーティングするのに役立つサンプルコマンドを出力します。

    =======================================================
 ⚒️                                 Routing LLM Requests
=======================================================
   
Your AI Gateway is ready. You can now route AI requests
to the configured AI providers. For example to route a
chat request to OpenAI you can use the following
curl command:
   
curl -s -X POST localhost:8000/openai/chat \
 -H "Content-Type: application/json" -d '{
   "messages": [{
   "role": "user",
   "content": "What is Kong Gateway?"
 }] }'

  4. 最後に、スクリプトは自身が生成するデプロイファイルに関する情報を表示します。この情報は、今後の AI Gateway 構成に使用できます。

    =======================================================
 ⚒️                What is next with the Kong AI Gateway
=======================================================
   
This script demonstrated the installation and usage
of only one of the many AI plugins that Kong Gateway
provides (the 'ai-proxy' plugin).
   
See the output directory to reference the files
used during the installation process and modify for
your production deployment.
ℹ /tmp/kong/ai-gateway

注： デフォルトでは、ローカルモデルはエンドポイントhttp://host.docker.internal:11434で構成されます。 これにより、Dockerで実行されているKong Gatewayホストマシンに接続できるようになります。

その他の情報