MCP Chat (#1125)

Co-authored-by: Taichiro Suzuki <[email protected]>

Author: tbrand

README.md

@@ -99,10 +99,12 @@ When using Knowledge Base, advanced RAG features such as [Advanced Parsing](docs
 Knowledge Base also allows for [Metadata Filter Settings](docs/en/DEPLOY_OPTION.md#metadata-filter-configuration).
 For example, you can meet requirements such as "switching accessible data sources by organization" or "allowing users to set filters from the UI."
 
+Additionally, it is possible to build a RAG that references data outside of AWS by [enabling MCP chat](docs/en/DEPLOY_OPTION.md#enabling-mcp-chat-use-case) and adding an external service's MCP server to [packages/cdk/mcp-api/mcp.json](/packages/cdk/mcp-api/mcp.json).
+
 </details>
 
 <details markdown="1">
-  <summary><strong><ins>I want to use custom AI agents or Bedrock Flows within my organization</ins></strong></summary>
+  <summary><strong><ins>I want to use custom Bedrock Agents or Bedrock Flows within my organization</ins></strong></summary>
 
 When you [enable agents](docs/en/DEPLOY_OPTION.md#enabling-agent-chat-use-case) in GenU, Web Search Agent and Code Interpreter Agent are created.
 The Web Search Agent searches the web for information to answer user questions. For example, it can answer "What is AWS GenU?"
@@ -116,6 +118,8 @@ Additionally, you can [hide unnecessary standard use cases](docs/en/DEPLOY_OPTIO
 
 Similarly, there is an [import feature](docs/en/DEPLOY_OPTION.md#enabling-flow-chat-use-case) for Bedrock Flows, so please make use of it.
 
+Additionally, you can create agents that perform actions on services outside AWS by [enabling MCP chat](docs/en/DEPLOY_OPTION.md#enabling-mcp-chat-use-case) and adding external MCP servers to [packages/cdk/mcp-api/mcp.json](/packages/cdk/mcp-api/mcp.json).
+
 </details>
 
 <details markdown="1">

README_ja.md

@@ -97,10 +97,12 @@ Knowledge Base を利用する場合は、[Advanced Parsing](docs/ja/DEPLOY_OPTI
 また Knowledge Base では、[メタデータフィルターの設定](docs/ja/DEPLOY_OPTION.md#メタデータフィルターの設定) も可能です。
 例えば「組織ごとにアクセス可能なデータソースを切り替えたい」や「UI からユーザーがフィルタを設定したい」といった要件を満たすことが可能です。
 
+また、[MCP チャットを有効化](docs/ja/DEPLOY_OPTION.md#mcp-チャットユースケースの有効化) して外部サービスの MCP サーバーを [packages/cdk/mcp-api/mcp.json](/packages/cdk/mcp-api/mcp.json) に追加することで、AWS 外のデータを参照する RAG を構築することも可能です。
+
 </details>
 
 <details markdown="1">
-  <summary><strong><ins>独自に作成した AI エージェントや Bedrock Flows などを社内で利用したい</ins></strong></summary>
+  <summary><strong><ins>独自に作成した Bedrock Agents や Bedrock Flows などを社内で利用したい。</ins></strong></summary>
 
 GenU で [エージェントを有効化](docs/ja/DEPLOY_OPTION.md#agent-チャットユースケースの有効化)すると Web 検索エージェントと Code Interpreter エージェントが作成されます。
 Web 検索エージェントは、ユーザーの質問に回答するための情報を Web で検索し、回答します。例えば「AWS の GenU ってなに？」という質問に回答できます。
@@ -114,6 +116,8 @@ GenU をエージェント活用のプラットフォームとして利用する
 
 Bedrock Flows に関しても同様に [インポート機能](docs/ja/DEPLOY_OPTION.md#flow-チャットユースケースの有効化) がございますので、ぜひご活用ください。
 
+また、[MCP チャットを有効化](docs/ja/DEPLOY_OPTION.md#mcp-チャットユースケースの有効化) して外部サービスの MCP サーバーを [packages/cdk/mcp-api/mcp.json](/packages/cdk/mcp-api/mcp.json) に追加することで、AWS 外のサービスにも何らかのアクションを起こすエージェントを作成することも可能です。
+
 </details>
 
 <details markdown="1">

docs/en/DEPLOY_OPTION.md

@@ -562,6 +562,60 @@ const envs: Record<string, Partial<StackInput>> = {
 }
 ```
 
+### Enabling MCP Chat Use Case
+
+[MCP (Model Context Protocol)](https://modelcontextprotocol.io/introduction) is a protocol that connects LLM models with external data and tools.
+In GenU, we provide chat use cases that execute MCP-compliant tools using [Strands Agents](https://strandsagents.com/latest/).
+To enable MCP chat use cases, the `docker` command must be executable.
+
+**Edit [parameter.ts](/packages/cdk/parameter.ts)**
+
+```
+const envs: Record<string, Partial<StackInput>> = {
+  dev: {
+    mcpEnabled: true,
+  },
+};
+```
+
+**Edit [packages/cdk/cdk.json](/packages/cdk/cdk.json)**
+
+```json
+// cdk.json
+{
+  "context": {
+    "mcpEnabled": true
+  }
+}
+```
+
+The MCP servers to be used are defined in [packages/cdk/mcp-api/mcp.json](/packages/cdk/mcp-api/mcp.json).
+If you want to add tools other than those defined by default, please modify mcp.json.
+
+**However, there are currently the following constraints on the MCP server and its configuration:**
+
+- The MCP server runs on AWS Lambda, so file writing is not possible. (Writing to `/tmp` is possible, but you cannot retrieve the files.)
+- The MCP server must be executable with `uvx` or `npx`.
+- The MCP client can only use stdio.
+- Currently, multimodal requests are not supported.
+- A mechanism to dynamically obtain API Keys and set them as environment variables has not yet been implemented.
+- A mechanism for users to select which MCP server to use has not yet been implemented. (Currently, all tools defined in mcp.json are used.)
+- In mcp.json, you can configure `command`, `args`, and `env`. Here's a specific example:
+
+```json
+{
+  "mcpServers": {
+    "SERVER_NAME": {
+      "command": "uvx",
+      "args": ["SERVER_ARG"]
+      "env": {
+        "YOUR_API_KEY": "xxx"
+      }
+    }
+  }
+}
+```
+
 ### Enabling Flow Chat Use Case
 
 In the Flow Chat use case, you can call created Flows.

docs/ja/DEPLOY_OPTION.md

@@ -577,6 +577,60 @@ const envs: Record<string, Partial<StackInput>> = {
 }
 ```
 
+### MCP チャットユースケースの有効化
+
+[MCP (Model Context Protocol)](https://modelcontextprotocol.io/introduction) とは、LLM モデルと外部データやツールを繋ぐプロトコルです。
+GenU では [Strands Agents](https://strandsagents.com/latest/) を活用して MCP に準拠したツールを実行するチャットユースケースを用意しています。
+MCP チャットユースケースを有効化するためには、`docker` コマンドが実行可能である必要があります。
+
+**[parameter.ts](/packages/cdk/parameter.ts) を編集**
+
+```
+const envs: Record<string, Partial<StackInput>> = {
+  dev: {
+    mcpEnabled: true,
+  },
+};
+```
+
+**[packages/cdk/cdk.json](/packages/cdk/cdk.json) を編集**
+
+```json
+// cdk.json
+{
+  "context": {
+    "mcpEnabled": true
+  }
+}
+```
+
+利用する MCP サーバーは [packages/cdk/mcp-api/mcp.json](/packages/cdk/mcp-api/mcp.json) に定義されております。
+デフォルトで定義されているツール以外のツールを累加する場合は、mcp.json を変更してください。
+
+**ただし、現状 MCP サーバーとその設定には以下の制約があります。**
+
+- MCP サーバーは AWS Lambda で実行されるため、ファイルの書き込みはできません。(`/tmp` 以下に書き込むことは可能ですが、取り出すことができません。)
+- MCP サーバーは `uvx` または `npx` で実行可能である必要があります。
+- MCP クライアントは stdio のみが利用できます。
+- 現状、マルチモーダルのリクエストはサポートされていません。
+- API Key などを動的に取得して環境変数に設定する仕組みはまだ実装されていません。
+- ユーザーが利用する MCP サーバーを選択する仕組みはまだ実装されていません。(現状は mcp.json に定義されたすべてのツールが利用されます。)
+- mcp.json には `command`, `args`, `env` が設定できます。具体例は以下です。
+
+```json
+{
+  "mcpServers": {
+    "SERVER_NAME": {
+      "command": "uvx",
+      "args": ["SERVER_ARG"]
+      "env": {
+        "YOUR_API_KEY": "xxx"
+      }
+    }
+  }
+}
+```
+
 ### Flow チャットユースケースの有効化
 
 Flow チャットユースケースでは、作成済みの Flow を呼び出すことができます。