From 555d67e24a17a77f45d675eb9ce3d40c49b458eb Mon Sep 17 00:00:00 2001 From: Hana <115437281+Hana-Hasa@users.noreply.github.com> Date: Wed, 11 Nov 2026 17:29:45 +0700 Subject: [PATCH] =?UTF-8?q?[docs]=20[AI=20Stack]=20Remove=20AI=20Gateway?= =?UTF-8?q?=20as=20a=20standalone=20service=20=E2=80=94=20VI=20+=20EN?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit GreenNode has integrated AI Gateway capabilities into MaaS; AI Gateway is no longer offered as a standalone service. - Delete ai-stack/ai-gateway docs folders (VI + EN) and orphan 'Using MaaS with AI Gateway' pages - Remove AI Gateway nav blocks from Vietnamese/English/root SUMMARY.md - AI Stack overview: drop AI Gateway section, note gateway capabilities now apply to all GreenNode MaaS - Update inference.md and vng-regions tables to reference MaaS instead of AI Gateway - Keep historical release-note entries; remove links to deleted pages - codex-cli: rename provider label 'MAAS AI Gateway' -> 'MAAS' Co-Authored-By: Claude Code --- English/SUMMARY.md | 13 -- English/ai-stack/README.md | 10 +- .../ai-stack/ai-coding/cli-tools/codex-cli.md | 4 +- English/ai-stack/ai-gateway/README.md | 33 ----- .../ai-stack/ai-gateway/ai-gateway/README.md | 2 - .../ai-stack/ai-gateway/ai-gateway/caching.md | 118 ------------------ .../ai-gateway/guardrails-coming-soon.md | 2 - .../ai-gateway/initialize-ai-gateway.md | 22 ---- .../ai-gateway/ai-gateway/rate-limit.md | 45 ------- .../sending-requests-to-ai-gateway.md | 50 -------- .../working-with-authentication-tokens.md | 71 ----------- .../README.md | 29 ----- .../model-providers.md | 21 ---- .../seft-host-models.md | 2 - .../get-starting-with-ai-gateway/README.md | 3 - .../monitoring-ai-gateway-activity.md | 41 ------ English/ai-stack/ai-gateway/pricing.md | 9 -- English/ai-stack/ai-gateway/security.md | 11 -- .../ai-stack/ai-gateway/what-is-ai-gateway.md | 19 --- English/ai-stack/ai-platform/inference.md | 2 +- .../using-maas-with-ai-gateway.md | 73 ----------- English/ai-stack/release-notes.md | 3 +- English/overview/product-updates-all/2025.md | 3 +- .../vng-regions-and-availability-zones.md | 1 - SUMMARY.md | 39 ------ Vietnamese/SUMMARY.md | 13 -- Vietnamese/ai-stack/README.md | 10 +- .../ai-stack/ai-coding/dong-lenh/codex-cli.md | 4 +- Vietnamese/ai-stack/ai-gateway/README.md | 33 ----- .../ai-stack/ai-gateway/ai-gateway-la-gi.md | 19 --- .../ai-stack/ai-gateway/ai-gateway/README.md | 2 - .../ai-gateway/caching-coming-soon.md | 101 --------------- .../ai-gateway/goi-request-toi-ai-gateway.md | 50 -------- .../ai-gateway/guardrails-coming-soon.md | 2 - .../ai-gateway/khoi-tao-ai-gateway.md | 22 ---- .../lam-viec-voi-authentication-token.md | 73 ----------- .../lam-viec-voi-provider-va-model/README.md | 29 ----- .../seft-host-models.md | 9 -- .../ai-gateway/rate-limit-coming-soon.md | 33 ----- Vietnamese/ai-stack/ai-gateway/bao-mat.md | 11 -- .../ai-gateway/bat-dau-voi-ai-gateway.md | 3 - .../ai-stack/ai-gateway/cach-tinh-gia.md | 7 -- .../ai-stack/ai-gateway/giam-sat-hoat-dong.md | 61 --------- .../ai-stack/ai-gateway/model-providers.md | 22 ---- Vietnamese/ai-stack/ai-platform/inference.md | 2 +- .../su-dung-maas-voi-ai-gateway.md | 69 ---------- Vietnamese/ai-stack/release-notes.md | 3 +- .../thong-bao-va-cap-nhat/2025.md | 2 +- .../thong-bao-va-cap-nhat/release_notes.md | 2 +- .../vng-regions-and-availability-zones.md | 1 - .../bat-dau-voi-ai-gateway-1/README.md | 2 - 51 files changed, 15 insertions(+), 1196 deletions(-) delete mode 100644 English/ai-stack/ai-gateway/README.md delete mode 100644 English/ai-stack/ai-gateway/ai-gateway/README.md delete mode 100644 English/ai-stack/ai-gateway/ai-gateway/caching.md delete mode 100644 English/ai-stack/ai-gateway/ai-gateway/guardrails-coming-soon.md delete mode 100644 English/ai-stack/ai-gateway/ai-gateway/initialize-ai-gateway.md delete mode 100644 English/ai-stack/ai-gateway/ai-gateway/rate-limit.md delete mode 100644 English/ai-stack/ai-gateway/ai-gateway/sending-requests-to-ai-gateway.md delete mode 100644 English/ai-stack/ai-gateway/ai-gateway/working-with-authentication-tokens.md delete mode 100644 English/ai-stack/ai-gateway/ai-gateway/working-with-providers-and-models/README.md delete mode 100644 English/ai-stack/ai-gateway/ai-gateway/working-with-providers-and-models/model-providers.md delete mode 100644 English/ai-stack/ai-gateway/ai-gateway/working-with-providers-and-models/seft-host-models.md delete mode 100644 English/ai-stack/ai-gateway/get-starting-with-ai-gateway/README.md delete mode 100644 English/ai-stack/ai-gateway/monitoring-ai-gateway-activity.md delete mode 100644 English/ai-stack/ai-gateway/pricing.md delete mode 100644 English/ai-stack/ai-gateway/security.md delete mode 100644 English/ai-stack/ai-gateway/what-is-ai-gateway.md delete mode 100644 English/ai-stack/model-as-a-service/using-maas-with-ai-gateway.md delete mode 100644 Vietnamese/ai-stack/ai-gateway/README.md delete mode 100644 Vietnamese/ai-stack/ai-gateway/ai-gateway-la-gi.md delete mode 100644 Vietnamese/ai-stack/ai-gateway/ai-gateway/README.md delete mode 100644 Vietnamese/ai-stack/ai-gateway/ai-gateway/caching-coming-soon.md delete mode 100644 Vietnamese/ai-stack/ai-gateway/ai-gateway/goi-request-toi-ai-gateway.md delete mode 100644 Vietnamese/ai-stack/ai-gateway/ai-gateway/guardrails-coming-soon.md delete mode 100644 Vietnamese/ai-stack/ai-gateway/ai-gateway/khoi-tao-ai-gateway.md delete mode 100644 Vietnamese/ai-stack/ai-gateway/ai-gateway/lam-viec-voi-authentication-token.md delete mode 100644 Vietnamese/ai-stack/ai-gateway/ai-gateway/lam-viec-voi-provider-va-model/README.md delete mode 100644 Vietnamese/ai-stack/ai-gateway/ai-gateway/lam-viec-voi-provider-va-model/seft-host-models.md delete mode 100644 Vietnamese/ai-stack/ai-gateway/ai-gateway/rate-limit-coming-soon.md delete mode 100644 Vietnamese/ai-stack/ai-gateway/bao-mat.md delete mode 100644 Vietnamese/ai-stack/ai-gateway/bat-dau-voi-ai-gateway.md delete mode 100644 Vietnamese/ai-stack/ai-gateway/cach-tinh-gia.md delete mode 100644 Vietnamese/ai-stack/ai-gateway/giam-sat-hoat-dong.md delete mode 100644 Vietnamese/ai-stack/ai-gateway/model-providers.md delete mode 100644 Vietnamese/ai-stack/model-as-a-service/su-dung-maas-voi-ai-gateway.md delete mode 100644 vietnamese/ai-stack/ai-gateway/bat-dau-voi-ai-gateway-1/README.md diff --git a/English/SUMMARY.md b/English/SUMMARY.md index ef74284a3..c2bff7bc6 100644 --- a/English/SUMMARY.md +++ b/English/SUMMARY.md @@ -764,19 +764,6 @@ * [MaaS API](ai-stack/model-as-a-service/maas-api.md) * [Pricing](ai-stack/model-as-a-service/pricing.md) * [SLA](ai-stack/model-as-a-service/sla.md) - * [AI Gateway](ai-stack/ai-gateway/README.md) - * [What is AI Gateway?](ai-stack/ai-gateway/what-is-ai-gateway.md) - * [Get Started with AI Gateway](ai-stack/ai-gateway/get-starting-with-ai-gateway/README.md) - * [Initialize AI Gateway](ai-stack/ai-gateway/ai-gateway/initialize-ai-gateway.md) - * [Sending Requests to AI Gateway](ai-stack/ai-gateway/ai-gateway/sending-requests-to-ai-gateway.md) - * [Monitoring AI Gateway Activity](ai-stack/ai-gateway/monitoring-ai-gateway-activity.md) - * [Working with Providers and Models](ai-stack/ai-gateway/ai-gateway/working-with-providers-and-models/README.md) - * [Model Providers](ai-stack/ai-gateway/ai-gateway/working-with-providers-and-models/model-providers.md) - * [Working with Authentication Tokens](ai-stack/ai-gateway/ai-gateway/working-with-authentication-tokens.md) - * [Caching](ai-stack/ai-gateway/ai-gateway/caching.md) - * [Rate Limit](ai-stack/ai-gateway/ai-gateway/rate-limit.md) - * [Security](ai-stack/ai-gateway/security.md) - * [Pricing](ai-stack/ai-gateway/pricing.md) * [Token Plan](ai-stack/token-plan/README.md) * [A-Z Guide](ai-stack/token-plan/a-z-guide.md) * [Buy Token Plan](ai-stack/token-plan/buy-token-plan.md) diff --git a/English/ai-stack/README.md b/English/ai-stack/README.md index 4f1bf33c4..73bc57c65 100644 --- a/English/ai-stack/README.md +++ b/English/ai-stack/README.md @@ -37,17 +37,11 @@ GreenNode provides a comprehensive AI platform that helps enterprises deploy, in * Suitable for storing training data, model checkpoints, model registry, and inference output. * Integrates easily with components such as AI Platform, VKS, and popular training tools. -#### 5. AI Gateway – Centralized routing and monitoring - -* A single access point for multiple AI models, with intelligent routing and caching to optimize performance and cost. -* Tracks access, generates audit logs, and monitors usage behavior through metrics and alerts. -* Integrates guardrails to control content and keep AI safe in production. - -#### 6. Model-as-a-Service +#### 5. Model-as-a-Service * Provides access to a wide range of leading **GenAI models** such as GPT, Claude, Gemini, and DeepSeek through a single unified API. * Includes both open-source models and models optimized for Vietnamese. -* The service is currently being finalized (coming soon). +* AI Gateway capabilities (intelligent routing, caching, rate limiting, authentication tokens, and more) are now integrated and applied to all GreenNode MaaS. * Shortens integration time so enterprises can experiment and bring AI into production quickly. *** diff --git a/English/ai-stack/ai-coding/cli-tools/codex-cli.md b/English/ai-stack/ai-coding/cli-tools/codex-cli.md index e9f6af8df..819ec2d64 100644 --- a/English/ai-stack/ai-coding/cli-tools/codex-cli.md +++ b/English/ai-stack/ai-coding/cli-tools/codex-cli.md @@ -86,7 +86,7 @@ model_max_output_tokens = 16400 disable_response_storage = true [model_providers.maas] -name = "MAAS AI Gateway" +name = "MAAS" # base_url must NOT have a trailing /responses — Codex appends it (→ .../v1/responses) base_url = "https://maas-llm-aiplatform-hcm.api.vngcloud.vn/v1" @@ -112,7 +112,7 @@ model_max_output_tokens = 16400 disable_response_storage = true [model_providers.maas] -name = "MAAS AI Gateway" +name = "MAAS" # base_url must NOT have a trailing /responses — Codex appends it (→ .../v1/responses) base_url = "https://tokenplan.api.greennode.ai/v1" diff --git a/English/ai-stack/ai-gateway/README.md b/English/ai-stack/ai-gateway/README.md deleted file mode 100644 index e73ef916c..000000000 --- a/English/ai-stack/ai-gateway/README.md +++ /dev/null @@ -1,33 +0,0 @@ ---- -description: An intelligent connection gateway for AI services ---- - -# AI Gateway - -**AI Gateway** is a centralized gateway that lets you integrate AI models from multiple providers (OpenAI, Google, Deepseek, and more) through a single endpoint — reducing the complexity of switching models, centralizing monitoring, optimizing cost, and protecting your data. - -*** - -## Overview - -| Capability | Description | -|---|---| -| **Multi-LLM support** | Flexibly integrate multiple LLMs from multiple providers through one gateway | -| **Monitoring** | Track performance and activity through metrics and logs, including detailed latency breakdowns | -| **Access control** | Manage **Authentication Tokens** and set rate limits by request count or token count | -| **Cost optimization** | Caching reduces the number of requests sent to the model, saving cost and improving response time | - -*** - -## Getting Started - -| I want to... | Go to | -|---|---| -| Understand what AI Gateway is and what it solves | [What is AI Gateway?](what-is-ai-gateway.md) | -| Initialize a gateway, send my first request, and monitor activity | [Get Started with AI Gateway](get-starting-with-ai-gateway/README.md) | -| Add, edit, or remove providers and models on the gateway | [Working with Providers and Models](ai-gateway/working-with-providers-and-models/README.md) | -| Create and manage Authentication Tokens | [Working with Authentication Tokens](ai-gateway/working-with-authentication-tokens.md) | -| Reduce cost and latency with caching | [Caching](ai-gateway/caching.md) | -| Limit requests or tokens within a time window | [Rate Limit](ai-gateway/rate-limit.md) | -| Learn how AI Gateway protects sensitive information | [Security](security.md) | -| See the pricing policy for the service | [Pricing](pricing.md) | diff --git a/English/ai-stack/ai-gateway/ai-gateway/README.md b/English/ai-stack/ai-gateway/ai-gateway/README.md deleted file mode 100644 index 68642669d..000000000 --- a/English/ai-stack/ai-gateway/ai-gateway/README.md +++ /dev/null @@ -1,2 +0,0 @@ -# AI Gateway - diff --git a/English/ai-stack/ai-gateway/ai-gateway/caching.md b/English/ai-stack/ai-gateway/ai-gateway/caching.md deleted file mode 100644 index 40171f3c8..000000000 --- a/English/ai-stack/ai-gateway/ai-gateway/caching.md +++ /dev/null @@ -1,118 +0,0 @@ ---- -description: >- - Model Caching stores responses returned from models for reuse with identical - or similar requests, helping reduce latency, save resources, and improve - throughput when handling repeated requests. ---- - -# Caching - -## 1. Access the Model Caching Page - -Access the page via:: [https://aigateway.console.greennode.ai/model-caching/list](https://aigateway.console.greennode.ai/model-caching/list) - -## 2. Create a Caching Configuration - -* Go to the Model Caching page and click the "Create a Caching Configuration" button. - -
- -* In the Create a Caching Configuration form, provide the following information: - * Configuration Name (required) - * Allows lowercase letters, numbers, and hyphens `-` , with a length between 5 and 50 characters. - * Caching Type (required)\ - Select one or both of the following: - * Exact caching: Returns cached responses only when requests are completely identical. - * Semantic caching: Returns cached responses for requests with similar meaning. When this option is selected, the system will display an additional Semantic Threshold field (0.0–1.0). - * Higher values (e.g., 0.9): Cache is returned only for highly similar requests. - * Lower values (e.g., 0.7): Broader similarity matching is accepted. - * Time-to-Live (TTL)\ - Enter the duration (in seconds) for which the response will remain in the cache before expiring. - * A larger TTL keeps cache entries longer but increases the risk of outdated data. Maximum value: 172800 seconds (48 hours). - * Cache-Control Policies - - Cache behavior can be affected or overridden by HTTP headers in client requests. - * Supported x-cache-control headers include: - * no-cache: Forces AI Gateway to bypass existing cache and send a new request to the model. - * no-store: Prevents AI Gateway from storing the response in cache. - * max-age=: Sets the TTL from the client side. AI Gateway will use the smaller value between this and the provider TTL. -* After completing the form, click Create to save the configuration. - -## 3. Manage Caching (Edit / Manage Models / Delete) - -* After creation, the new configuration will appear in the list. -* In the Action (⋮) column, open the menu to choose:In the Action (⋮) column, open the menu to choose: - - * Manage models — Assign gateways and models. - * Edit configuration — Modify TTL, name, or caching type. - * Delete — Remove the configuration. - -
- -### Manage Models (Assign Gateways and Models) - -* Assigning a caching configuration to a gateway applies that configuration to all selected models within the gateway. -* You can: - - Assign the same configuration to multiple gateways. - - Assign multiple configurations to the same gateway. - - However, one model within a gateway can only have one active configuration. -* To remove assignments: - - Open Manage models → remove the gateway or deselect models → Save. - -#### Steps to Assign Gateways and Models - -1. In the Model Caching list, select the desired configuration and click Manage models. -2. The Manage models dialog will appear. If no gateways have been added yet, you will see the message No Gateway added and an Add a gateway button. -3. Click Add a gateway → a dropdown list of existing gateways will appear → select a gateway. You may add multiple gateways if needed. - -
- -4. After adding a gateway, under each gateway you will see the API models section with a Select models field. Click this field to open the list of models available in the gateway. - -* You can: - - Select individual models. - - Choose Select all models to apply caching to all models within the gateway. -* Use the Search box to find models by name (e.g `gemini-1.5-pro`, `gpt-4o`...). - -
- -5. After selecting models, click Save to apply the changes. - -#### View Caching Configurations Assigned to a Gateway - -1. Open the Gateway list page:: [https://aigateway.console.greennode.ai/ai-gateway/list](https://aigateway.console.greennode.ai/ai-gateway/list). -2. Select the desired Gateway → open the Gateway details page. -3. Go to the Model Caching tab — this will display all caching configurations assigned to the gateway, including columns for: - - Caching type - - Caching configuration (TTL, semantic threshold) - - Associated models -4. From here, you can quickly identify which models are using which cache configurations. - -
- -### Edit Configuration (Modify TTL / Name / Cache Type) - -1. In the configuration list, click Edit Configuration from the Action (⋮) menu. -2. Update the following parameters: - * Input Caching Strategy (Exact ↔ Semantic). - * TTL, Semantic Threshold. - * Configuration name or description. -3. Click Save changes to apply updates. - -📌Note: Changes will apply to all models and gateways currently using this configuration. - -### Delete Configuration - -1. In the configuration list, select Delete from the Action (⋮) menu. -2. Confirm the deletion. - -📌 Note: A configuration can only be deleted when it is no longer assigned to any model or gateway. If still assigned, you must first detach the models/gateways. diff --git a/English/ai-stack/ai-gateway/ai-gateway/guardrails-coming-soon.md b/English/ai-stack/ai-gateway/ai-gateway/guardrails-coming-soon.md deleted file mode 100644 index cc5b39d7c..000000000 --- a/English/ai-stack/ai-gateway/ai-gateway/guardrails-coming-soon.md +++ /dev/null @@ -1,2 +0,0 @@ -# Guardrails (Coming soon) - diff --git a/English/ai-stack/ai-gateway/ai-gateway/initialize-ai-gateway.md b/English/ai-stack/ai-gateway/ai-gateway/initialize-ai-gateway.md deleted file mode 100644 index ad5aa93fb..000000000 --- a/English/ai-stack/ai-gateway/ai-gateway/initialize-ai-gateway.md +++ /dev/null @@ -1,22 +0,0 @@ -# Initialize AI Gateway - -To start using AI Gateway on GreenNode, follow these steps: - -**Step 1:** Access the AI Gateway interface on the GreenNode Console via: [http://aigateway.console.greennode.ai/](http://aigateway.console.greennode.ai/)​ - -**Step 2:** In the left-hand menu, select AI Gateway, then click the Create an AI Gateway button. - -
- -**Step 3:** On the Create New Gateway screen, fill in the following information: - -* **AI Gateway Name:** Provide a memorable name for your gateway. The name must contain only a–z, A–Z, 0–9, underscore (\_) or hyphen (-), and be between 5 and 50 characters -* **Model Provider:** - * Select the AI model provider you want to connect to, such as OpenAI, Anthropic, Google, or DeepSeek. - * **API Key:** Enter the corresponding API Key from the provider. If you do not have one, click Get API Key — you will be redirected to the provider’s page to obtain it. - * **Choose Model:** Select the AI model you want to use (e.g., gemini-1.5, gemini-2.0, etc.). To view the full list, click View full list to display all supported models. -* **Gateway Config:** By default, the system enables the Authenticated Gateway feature. An authentication token will be automatically generated — you can use this token to send requests to the AI Gateway - -**Step 4:** Click Create an AI Gateway. Your AI Gateway will be initialized and ready for use. - -
diff --git a/English/ai-stack/ai-gateway/ai-gateway/rate-limit.md b/English/ai-stack/ai-gateway/ai-gateway/rate-limit.md deleted file mode 100644 index cbd2326e7..000000000 --- a/English/ai-stack/ai-gateway/ai-gateway/rate-limit.md +++ /dev/null @@ -1,45 +0,0 @@ ---- -description: >- - Rate Limit is a mechanism used to control the number of requests or tokens - within a specified period of time. It helps protect the system from abuse, - ensures fairness when multiple users share the sam ---- - -# Rate Limit - -### 1. Access the Rate Limit Feature - -1. After creating an Authentication Token, navigate to the token list and select the icon in the **Action** column, as illustrated below, to open the Rate Limit configuration panel. - -
- -2. Or you may select **Configure Rate Limit** directly when creating an Authentication Token. - -
- -### 2. Create a New Rate Limit Configuration - -1. Limit by (Select one or both options) - -* **Requests**: Set a limit for the number of API requests. - * Minimum: 1 request - * Maximum: 1,000,000 requests - * Supported time windows: - * 1 Minute - * 1 Hour - * 1 Day - * 1 Month - * **Window Time Type:** Currently supports **Fixed Window** only. -* **Tokens**: Set a limit for the number of tokens consumed - * Minimum: 100 tokens - * Maximum: 5,000,000,000 tokens - * Supported time windows: - * 1 Minute - * 1 Hour - * 1 Day - * 1 Month - * **Window Time Type:** Currently supports **Fixed Window** only. - -### 3. Save the Configuration - -
diff --git a/English/ai-stack/ai-gateway/ai-gateway/sending-requests-to-ai-gateway.md b/English/ai-stack/ai-gateway/ai-gateway/sending-requests-to-ai-gateway.md deleted file mode 100644 index 8aed13e18..000000000 --- a/English/ai-stack/ai-gateway/ai-gateway/sending-requests-to-ai-gateway.md +++ /dev/null @@ -1,50 +0,0 @@ -# Sending Requests to AI Gateway - -After successfully creating an AI Gateway, you can start sending requests to the configured AI model by following these steps: - -**Step 1:** Access the [AI Gateway Portal](http://aigateway.console.greennode.ai/) and locate the gateway you just created. - -**Step 2:** In the Providers & Model section, find the AI model you configured. Click the Curl command icon to get a sample request. - -
- -**Step 3:** Copy the displayed curl command and execute it on your local machine (via Terminal or Command Prompt). - -
- -Example: - -```bash -curl -X POST https://user-60108-gateway-0b50037b-93.ai-gateway.vngcloud.vn/deepseek/deepseek-chat/chat/completions \ - --header 'Authorization: Bearer {AUTHENTICATION_TOKEN}' \ - --header 'Content-Type: application/json' \ - --data '{ - "model": "deepseek-chat", - "messages": [ - { - "role": "user", - "content": "What is AI?" - } - ] - }' -``` - -**Note:** - -* Replace `{AUTHENTICATION_TOKEN}` with the token provided after creating the Gateway -* You can modify the prompt content (the question in the "content" field) to suit your use case. -* If your AI Gateway is using Authenticated Gateway mode, you must include a header named cf-aig-authorization in your HTTP request. - -For example, instead of using: - -```http -Authorization: Bearer {AUTHENTICATION_TOKEN} -``` - -You must use: - -```http -cf-aig-authorization: Bearer {AUTHENTICATION_TOKEN} -``` - -After sending the request, you will receive a response from the AI model in JSON format. diff --git a/English/ai-stack/ai-gateway/ai-gateway/working-with-authentication-tokens.md b/English/ai-stack/ai-gateway/ai-gateway/working-with-authentication-tokens.md deleted file mode 100644 index c3ed90946..000000000 --- a/English/ai-stack/ai-gateway/ai-gateway/working-with-authentication-tokens.md +++ /dev/null @@ -1,71 +0,0 @@ -# Working with Authentication Tokens - -## Creating a New Authentication Token - -To create a new token for AI Gateway authentication: - -1. Go to the Authentication Token tab in the AI Gateway management interface. -2. Click the Create authentication token button to open the token creation popup. -3. In the popup window: - * Enter a Token name (required). This is an identifier to help you manage tokens more easily. - * Examples: `token-user01, token-user02,...` -4. Click Create to generate the token. - -Each token is associated with a specific AI Gateway and can be used to securely call APIs or access the Gateway. - -
- -
- -
- -## Managing the Token List - -After creation, the token will appear in the list with the following information: - -
FieldDescription
Token nameThe identifier you assigned when creating the token
Created atCreation timestamp
StatusToken status (e.g: ACTIVE)
ActionDelete the token when it is no longer needed
- -Only tokens with ACTIVE status can be used to authenticate API Gateway requests. - -
- -## Deleting an Authentication Token - -To delete a token: - -1. Select the token from the list. -2. Click the Delete button. -3. Confirm the deletion to complete the action. - -Once deleted, the token can no longer be used to authenticate access to the AI Gateway. - -
- -{% hint style="info" %} -Notes: - -* Tokens function as temporary credentials — keep them secure and never share them publicly. -* Each token is valid for only one specific AI Gateway. -* It is recommended to periodically review and remove unused tokens to reduce security risks. -{% endhint %} - -## Integrating Authentication Tokens to Call APIs - -Once a token has been created and is in `ACTIVE`status, you can use it to call APIs through the AI Gateway. - -You must include the token in the HTTP request header. The AI Gateway will validate the token before forwarding the request to the LLM model. - -**Example with `curl`:** - -```bash -curl -X POST https://user-123456-demo-gateway.ai-gateway.vngcloud.vn/deepseek/deepseek-chat/chat/completions \ - --header 'Authorization: Bearer {YOUR_TOKEN}' \ - --header 'Content-Type: application/json' \ - --data '{"model": "deepseek-chat", "messages": [{"role": "user", "content": "What is AI?"}]}' -``` - -Where: - -* `` is the token you created earlier. - -If the token is invalid or expired, AI Gateway will return the error `Invalid authentication token.` diff --git a/English/ai-stack/ai-gateway/ai-gateway/working-with-providers-and-models/README.md b/English/ai-stack/ai-gateway/ai-gateway/working-with-providers-and-models/README.md deleted file mode 100644 index 0de85320e..000000000 --- a/English/ai-stack/ai-gateway/ai-gateway/working-with-providers-and-models/README.md +++ /dev/null @@ -1,29 +0,0 @@ -# Working with Providers and Models - -In addition to adding models during AI Gateway creation, you can also add, edit, or remove models as follows: - -#### **Step 1:** Access the Provider & Model Configuration - -* Go to the Gateway detail page. -* Click the "**Manage Provider & Models**" button. - -
- -#### Step 2: The "Connect Gateway to AI Models" interface will appear. - -* For each Provider (Google, Deepseek, OpenAI, Anthropic, etc.): - * Enter the corresponding API Key. - * Select the models you want to use in the API models section. - * Click "View full list" to view all selected models. -* You can add a new Provider by clicking “+ Add a provider” and selecting from the list (e.g., OpenAI, Anthropic, etc.). -* If you want to remove a Provider or Model, you can: - - * Click the X icon next to a model to remove that specific model. - - Click the - icon next to the Provider name to remove the entire Provider from the Gateway. - -
- -#### Step 3: After completing the configuration, click “Save” to apply the changes. - -You can click on each model to view the corresponding curl command details or integrate it into your application. diff --git a/English/ai-stack/ai-gateway/ai-gateway/working-with-providers-and-models/model-providers.md b/English/ai-stack/ai-gateway/ai-gateway/working-with-providers-and-models/model-providers.md deleted file mode 100644 index e7f5a8136..000000000 --- a/English/ai-stack/ai-gateway/ai-gateway/working-with-providers-and-models/model-providers.md +++ /dev/null @@ -1,21 +0,0 @@ ---- -description: AI Gateway supports integration with leading AI model providers. ---- - -# Model Providers - -**Các Model Provider Hỗ Trợ** - -| Provider | Featured Models | Quick Description | -| ------------------- | -------------------------- | -------------------------------------------------------- | -| **Anthropic** | `claude-3-5-haiku-latest` | Lightweight, fast, and cost-effective | -| ​ | `claude-3-7-sonnet-latest` | Balanced speed and quality | -| ​ | `claude-3-opus-latest` | Most powerful, excellent reasoning capabilities | -| **Google DeepMind** | `gemini-1.5-pro` | Multimodal, capable of understanding long contexts | -| ​ | `gemini-1.5-flash` | Optimized for speed and cost efficiency | -| ​ | `gemini-2.0-flash` | Latest version with high performance | -| **OpenAI** | `gpt-4o` | Fast response times with reasonable cost | -| ​ | `gpt-4o-mini` | Lightweight and cost-saving version | -| ​ | `gpt-3.5-turbo` | Popular for chatbots, summarization, and code generation | -| **DeepSeek** | `deepseek-chat` | Optimized for conversational AI with high speed | -| ​ | `deepseek-reasoner` | Strong reasoning and logical analysis capabilities | diff --git a/English/ai-stack/ai-gateway/ai-gateway/working-with-providers-and-models/seft-host-models.md b/English/ai-stack/ai-gateway/ai-gateway/working-with-providers-and-models/seft-host-models.md deleted file mode 100644 index edf6b8101..000000000 --- a/English/ai-stack/ai-gateway/ai-gateway/working-with-providers-and-models/seft-host-models.md +++ /dev/null @@ -1,2 +0,0 @@ -# Seft-host Models - diff --git a/English/ai-stack/ai-gateway/get-starting-with-ai-gateway/README.md b/English/ai-stack/ai-gateway/get-starting-with-ai-gateway/README.md deleted file mode 100644 index c5c1cbab4..000000000 --- a/English/ai-stack/ai-gateway/get-starting-with-ai-gateway/README.md +++ /dev/null @@ -1,3 +0,0 @@ -# Get Started with AI Gateway - -You can use the following guides to get started with AI Gateway. If you run into any issue while using the service, please contact GreenNode at [**support@greennode.ai**](mailto:support@greennode.ai) or via hotline **19001549**. diff --git a/English/ai-stack/ai-gateway/monitoring-ai-gateway-activity.md b/English/ai-stack/ai-gateway/monitoring-ai-gateway-activity.md deleted file mode 100644 index 82a6e337c..000000000 --- a/English/ai-stack/ai-gateway/monitoring-ai-gateway-activity.md +++ /dev/null @@ -1,41 +0,0 @@ -# Monitoring AI Gateway Activity - -To track and analyze the operation of an active AI Gateway, you can monitor it through the following: - -## Metric - -In the detailed view of a Gateway, select the Monitor tab to observe real-time metrics displayed in charts, including: - -* **Requests**: Total number of requests sent to the AI Gateway. -* **Errors**: Number of requests sent to the AI Gateway that resulted in errors -* **Tokens**: Total number of tokens used, including: - * `input`: input tokens (your prompt/question). - * `output`: output tokens (responses from the LLM model). - -You can customize the observation time range (15m, 30m, 1h, 2h, etc.) and filter by specific Provider or Model. - -
- -## Logs - -In the detailed view of a Gateway, select the Log tab to view a list of all requests sent through the Gateway. - -Here, you can see request details including: - -* **Time:** Timestamp of the request. -* **Status:** Request status, including Success, Error, or Timeout. -* **Model:** Name of the model used. -* **Tokens:** Number of input/output tokens. -* **Duration:** Total processing time of the request. - -You can customize the observation time range (24h, 1d, 2d, etc.) and filter by specific Status. - -
- -Additionally, you can view detailed information for a specific request by: - -* Clicking the Detail icon in the Action column to open the Detail Log. -* Here you will find: - * **Input**: The original prompt or question sent. - * **Output**: The response returned from the LLM model. - * **Thông tin bổ sung**: host, model, response time, and more. diff --git a/English/ai-stack/ai-gateway/pricing.md b/English/ai-stack/ai-gateway/pricing.md deleted file mode 100644 index 4aabcce69..000000000 --- a/English/ai-stack/ai-gateway/pricing.md +++ /dev/null @@ -1,9 +0,0 @@ -# Pricing - -Currently, AI Gateway on GreenNode is provided free of charge for customers to try and evaluate. If you would like to try the product, please: - -Send an email to support@greennode.ai - -Call the hotline: 1900 1549 - -Or create a ticket directly on the portal diff --git a/English/ai-stack/ai-gateway/security.md b/English/ai-stack/ai-gateway/security.md deleted file mode 100644 index 402bb652b..000000000 --- a/English/ai-stack/ai-gateway/security.md +++ /dev/null @@ -1,11 +0,0 @@ -# Security - -GreenNode AI Gateway ensures the protection of sensitive customer information such as authentication tokens and API keys through the following mechanisms: - -1. **User Authentication Token** - * Displayed only once at the time of creation. - * Encrypted and securely stored. - * Can be deleted at any time when no longer in use. -2. **API Key for Calling LLM Models** - * Customer-provided API keys are encrypted before being stored. - * Can be updated or deleted whenever needed. diff --git a/English/ai-stack/ai-gateway/what-is-ai-gateway.md b/English/ai-stack/ai-gateway/what-is-ai-gateway.md deleted file mode 100644 index 9480c9152..000000000 --- a/English/ai-stack/ai-gateway/what-is-ai-gateway.md +++ /dev/null @@ -1,19 +0,0 @@ -# What is AI Gateway? - -## Overview: - -**AI Gateway** is a centralized access layer that enables you to integrate multiple AI models (OpenAI, Google, Deepseek, etc.). Using AI Gateway reduces the complexity of switching between models, while providing monitoring, management, cost optimization, and data security. - -
- -## Key Features of AI Gateway - -* **Multi-LLM Support:** AI Gateway acts as a unified access point, allowing seamless integration with multiple large language models (LLMs) from various providers such as OpenAI, Google, Deepseek, and more. -* **Comprehensive Monitoring:** AI Gateway provides performance and operational monitoring through metrics and logs, helping users easily track, analyze, and optimize system performance. -* **Cost Optimization:** The caching feature (coming soon) reduces the number of requests sent to LLM models, helping save costs and improve response speed. -* **Content & Behavior Control – Guardrails** (coming soon): AI Gateway enables you to define safety layers to ensure that model inputs and outputs align with your requirements and expectations. -* **Automatic Load Balancing** (coming soon): AI Gateway automatically distributes traffic across AI models to optimize performance and ensure scalable operations. -* **Automatic Error Handling** (coming soon): - * **Automatic Retries:** Automatically retries requests in case of temporary failures. - * **Automatic Fallbacks:** Automatically switches to alternative models when the primary model fails, ensuring service continuity. -* **Security:** Ensures the protection of sensitive information such as authentication tokens and API keys. diff --git a/English/ai-stack/ai-platform/inference.md b/English/ai-stack/ai-platform/inference.md index da9a92a72..cc2d20cef 100644 --- a/English/ai-stack/ai-platform/inference.md +++ b/English/ai-stack/ai-platform/inference.md @@ -7,7 +7,7 @@ Overview of Inference * Deploy models from Model Registry as REST API endpoints. * Supports selecting compute resources (CPU/GPU) based on performance requirements. * Automatically scales based on request traffic. -* Can integrate with AI Gateway for security management, rate limiting, authentication tokens, and more. +* Can integrate with MaaS for security management, rate limiting, authentication tokens, and more. *** diff --git a/English/ai-stack/model-as-a-service/using-maas-with-ai-gateway.md b/English/ai-stack/model-as-a-service/using-maas-with-ai-gateway.md deleted file mode 100644 index 40d24de16..000000000 --- a/English/ai-stack/model-as-a-service/using-maas-with-ai-gateway.md +++ /dev/null @@ -1,73 +0,0 @@ -# Using MaaS with AI Gateway - -To enable MaaS to leverage AI Gateway features (such as Rate Limiting, Model Caching, etc.), follow these steps: - -**Step 1**: Access the AI Gateway interface on the GreenNode Console via: [http://aigateway.console.greennode.ai/](http://aigateway.console.greennode.ai/) - -**Step 2**: In the left-hand menu, select AI Gateway, then click the Create an AI Gateway button. - -
- -**Step 3**: On the Create New Gateway screen, fill in the following information: - -* **AI Gateway Name:** Provide a memorable name for your gateway. The name must contain only a–z, A–Z, 0–9, underscore (\_) or hyphen (-), and be between 5 and 50 characters. -* **Model Provider:** - - * Select OpenAI Compatible as the AI model provider. - * **Model Type**: Select the Model Type (refer to [MaaS](https://aiplatform.console.greennode.ai/models) in the AI Platform portal). - * **Model Endpoint**: Enter the model URL (refer to [MaaS](https://aiplatform.console.greennode.ai/models) in the AI Platform portal). - - ``` -
- ``` - - * **Authentication info**: - - * header\_name: Enter `Authorization`. - * header\_value: Enter the MaaS API Key (created in the AI Platform [Portal ](https://aiplatform.console.greennode.ai/keys)). - -
-* **Gateway Config:** By default, the system enables the Authenticated Gateway feature. - -**Step 4**: Click Create an AI Gateway. Your AI Gateway will be initialized and ready to use. - -
- -**Step 5:** After the AI Gateway is created, generate a Token to call the API. - -**Step 6:** After creating the token, you can configure specific rate limits for each token based on your needs - -
- -
- -\ -**Step 7**: In the Providers & Model section, locate the AI model you configured. Click the Curl command icon to get a sample request. - -
- -**Step 8:** Copy the displayed curl command and execute it on your local machine (via Terminal or Command Prompt). - -
- -Example: - -``` -curl --request POST \ ---url 'https://user-55461-demo-aigateway.ai-gateway.vngcloud.vn/openai-compatible/gemini-2.5-pro/v1/chat/completions' \ ---header 'Content-Type: application/json' \ ---header 'Authorization: Bearer {AUTHENTICATION_TOKEN}' \ ---data '{ - "model": "gemini-2.5-pro", - "messages": [ - { - "role": "user", - "content": "What is AI?" - } - ] -}' -``` - -Note: - -* Replace `{AUTHENTICATION_TOKEN}` with the token created in Step 5. diff --git a/English/ai-stack/release-notes.md b/English/ai-stack/release-notes.md index b93f496f4..603f0de10 100644 --- a/English/ai-stack/release-notes.md +++ b/English/ai-stack/release-notes.md @@ -1,6 +1,6 @@ # Release Notes — GreenNode AI Stack -A single timeline of updates across all GreenNode AI Stack products — GreenNode AgentBase, Model as a Service, AI Gateway, AI Platform, AI Coding, and GenAI Studio. +A single timeline of updates across all GreenNode AI Stack products — GreenNode AgentBase, Model as a Service, AI Platform, AI Coding, and GenAI Studio. *** @@ -66,7 +66,6 @@ GreenNode has upgraded the AI Gateway architecture to better handle growing traf * **Low Latency:** Reduced latency in API key authentication and rate limiting. * **Scalability:** No longer limited by memory — serves more models and more users. * **High Performance:** Handles Token Plan traffic reliably. -* Learn more at [AI Gateway](ai-gateway/README.md). **GreenNode AI Stack — Token Plan** diff --git a/English/overview/product-updates-all/2025.md b/English/overview/product-updates-all/2025.md index 87ae36622..d42f14ed1 100644 --- a/English/overview/product-updates-all/2025.md +++ b/English/overview/product-updates-all/2025.md @@ -185,8 +185,7 @@ Provides an environment for experimentation (notebooks), fine-tuning, and infere **AI Gateway** A centralized management gateway for multiple AI models, offering intelligent routing and caching to optimize performance and cost.\ -Supports access tracking, audit logs, and usage monitoring through metrics and alerts.\ -\&#xNAN;_Reference documentation available_ [_here_](https://app.gitbook.com/s/B0NrrrdJdpYOYzRkbWp5/ai-stack/ai-gateway)_._ +Supports access tracking, audit logs, and usage monitoring through metrics and alerts. **Model-as-a-Service** diff --git a/English/overview/vng-regions-and-availability-zones.md b/English/overview/vng-regions-and-availability-zones.md index 08371acf5..2e2b58079 100644 --- a/English/overview/vng-regions-and-availability-zones.md +++ b/English/overview/vng-regions-and-availability-zones.md @@ -157,7 +157,6 @@ Service URLs within the same region are identical. | **vMarketplace** | - | x | x | x | - | x | [HCM](https://marketplace.console.greennode.ai/overview) \| [HAN](https://marketplace-han-1.console.greennode.ai/overview) | | **vColo** | x | - | - | - | - | - | [Portal](https://vcolo.console.greennode.ai/overview) | | **AI Platform** | - | x | Coming Soon | Coming Soon | - | - | [Portal](https://aiplatform.console.greennode.ai/overview) | -| **AI Gateway** | x | - | - | - | - | - | [Portal](https://aigateway.console.greennode.ai) | | **MaaS** | x | - | - | - | - | - | [Portal](https://aiplatform.console.greennode.ai/models) | {% endtab %} {% endtabs %} diff --git a/SUMMARY.md b/SUMMARY.md index 8cad43f73..e2bf99809 100644 --- a/SUMMARY.md +++ b/SUMMARY.md @@ -51,25 +51,6 @@ * [Usage & Budget](English/ai-stack/agent-base/usage-budget/README.md) * [Configure Budget & Alerts](English/ai-stack/agent-base/usage-budget/budget-alert.md) * [View Usage & Cost](English/ai-stack/agent-base/usage-budget/view-usage-cost.md) - * [AI Gateway](English/ai-stack/ai-gateway/README.md) - * [Monitoring AI Gateway Activity](English/ai-stack/ai-gateway/monitoring-ai-gateway-activity.md) - * [Pricing](English/ai-stack/ai-gateway/pricing.md) - * [Security](English/ai-stack/ai-gateway/security.md) - * [What is AI Gateway?](English/ai-stack/ai-gateway/what-is-ai-gateway.md) - * [AI Gateway](English/ai-stack/ai-gateway/ai-gateway/README.md) - * [Caching](English/ai-stack/ai-gateway/ai-gateway/caching.md) - * [Guardrails (Coming soon)](English/ai-stack/ai-gateway/ai-gateway/guardrails-coming-soon.md) - * [Initialize AI Gateway](English/ai-stack/ai-gateway/ai-gateway/initialize-ai-gateway.md) - * [Rate Limit](English/ai-stack/ai-gateway/ai-gateway/rate-limit.md) - * [Sending Requests to AI Gateway](English/ai-stack/ai-gateway/ai-gateway/sending-requests-to-ai-gateway.md) - * [Working with Authentication Tokens](English/ai-stack/ai-gateway/ai-gateway/working-with-authentication-tokens.md) - * [Working with Providers and Models](English/ai-stack/ai-gateway/ai-gateway/working-with-providers-and-models/README.md) - * [Model Providers](English/ai-stack/ai-gateway/ai-gateway/working-with-providers-and-models/model-providers.md) - * [Seft-host Models](English/ai-stack/ai-gateway/ai-gateway/working-with-providers-and-models/seft-host-models.md) - * [Get starting with AI Gateway](English/ai-stack/ai-gateway/get-starting-with-ai-gateway/README.md) - * [Initialize AI Gateway](English/ai-stack/ai-gateway/get-starting-with-ai-gateway/initialize-ai-gateway.md) - * [Monitoring AI Gateway Activity](English/ai-stack/ai-gateway/get-starting-with-ai-gateway/monitoring-ai-gateway-activity.md) - * [Sending Requests to AI Gateway](English/ai-stack/ai-gateway/get-starting-with-ai-gateway/sending-requests-to-ai-gateway.md) * [AI Platform](English/ai-stack/ai-platform/README.md) * [Getting Started with AI Platform](English/ai-stack/ai-platform/getting-started-with-ai-platform.md) * [Inference](English/ai-stack/ai-platform/inference.md) @@ -1242,26 +1223,6 @@ * [Usage & Budget](Vietnamese/ai-stack/agent-base/usage-budget/README.md) * [Cấu hình Budget & Alerts](Vietnamese/ai-stack/agent-base/usage-budget/budget-alert.md) * [Xem Usage & Cost](Vietnamese/ai-stack/agent-base/usage-budget/xem-usage-cost.md) - * [AI Gateway](Vietnamese/ai-stack/ai-gateway/README.md) - * [AI Gateway là gì?](Vietnamese/ai-stack/ai-gateway/ai-gateway-la-gi.md) - * [Bảo mật](Vietnamese/ai-stack/ai-gateway/bao-mat.md) - * [Bắt đầu với AI Gateway](Vietnamese/ai-stack/ai-gateway/bat-dau-voi-ai-gateway.md) - * [Cách tính giá](Vietnamese/ai-stack/ai-gateway/cach-tinh-gia.md) - * [Giám sát hoạt động](Vietnamese/ai-stack/ai-gateway/giam-sat-hoat-dong.md) - * [Model Providers](Vietnamese/ai-stack/ai-gateway/model-providers.md) - * [AI Gateway](Vietnamese/ai-stack/ai-gateway/ai-gateway/README.md) - * [Caching](Vietnamese/ai-stack/ai-gateway/ai-gateway/caching-coming-soon.md) - * [Gọi request tới AI Gateway](Vietnamese/ai-stack/ai-gateway/ai-gateway/goi-request-toi-ai-gateway.md) - * [Guardrails (Coming soon)](Vietnamese/ai-stack/ai-gateway/ai-gateway/guardrails-coming-soon.md) - * [Khởi tạo AI Gateway](Vietnamese/ai-stack/ai-gateway/ai-gateway/khoi-tao-ai-gateway.md) - * [Làm việc với Authentication Token](Vietnamese/ai-stack/ai-gateway/ai-gateway/lam-viec-voi-authentication-token.md) - * [Giới Hạn rate](Vietnamese/ai-stack/ai-gateway/ai-gateway/rate-limit-coming-soon.md) - * [Làm việc với Provider và Model](Vietnamese/ai-stack/ai-gateway/ai-gateway/lam-viec-voi-provider-va-model/README.md) - * [Seft-host Models](Vietnamese/ai-stack/ai-gateway/ai-gateway/lam-viec-voi-provider-va-model/seft-host-models.md) - * [bat-dau-voi-ai-gateway](vietnamese/ai-stack/ai-gateway/bat-dau-voi-ai-gateway-1/README.md) - * [Giám sát hoạt động của AI Gateway](Vietnamese/ai-stack/ai-gateway/bat-dau-voi-ai-gateway/giam-sat-hoat-dong-cua-ai-gateway.md) - * [Gọi request tới AI Gateway](Vietnamese/ai-stack/ai-gateway/bat-dau-voi-ai-gateway/goi-request-toi-ai-gateway.md) - * [Khởi tạo AI Gateway](Vietnamese/ai-stack/ai-gateway/bat-dau-voi-ai-gateway/khoi-tao-ai-gateway.md) * [AI Infrastructure](Vietnamese/ai-stack/ai-infrastructure/README.md) * [AI Platform](Vietnamese/ai-stack/ai-platform/README.md) * [Bắt đầu với AI Platform](Vietnamese/ai-stack/ai-platform/bat-dau-voi-ai-platform.md) diff --git a/Vietnamese/SUMMARY.md b/Vietnamese/SUMMARY.md index ea308e33d..58996d571 100644 --- a/Vietnamese/SUMMARY.md +++ b/Vietnamese/SUMMARY.md @@ -854,19 +854,6 @@ * [MaaS API](ai-stack/model-as-a-service/maas-api.md) * [Cách tính phí](ai-stack/model-as-a-service/cach-tinh-phi.md) * [Cam kết SLA](ai-stack/model-as-a-service/cam-ket-sla.md) - * [AI Gateway](ai-stack/ai-gateway/README.md) - * [AI Gateway là gì?](ai-stack/ai-gateway/ai-gateway-la-gi.md) - * [Bắt đầu với AI Gateway](ai-stack/ai-gateway/bat-dau-voi-ai-gateway.md) - * [Khởi tạo AI Gateway](ai-stack/ai-gateway/ai-gateway/khoi-tao-ai-gateway.md) - * [Gọi request tới AI Gateway](ai-stack/ai-gateway/ai-gateway/goi-request-toi-ai-gateway.md) - * [Giám sát hoạt động](ai-stack/ai-gateway/giam-sat-hoat-dong.md) - * [Làm việc với Provider và Model](ai-stack/ai-gateway/ai-gateway/lam-viec-voi-provider-va-model/README.md) - * [Model Providers](ai-stack/ai-gateway/model-providers.md) - * [Làm việc với Authentication Token](ai-stack/ai-gateway/ai-gateway/lam-viec-voi-authentication-token.md) - * [Caching](ai-stack/ai-gateway/ai-gateway/caching-coming-soon.md) - * [Giới hạn Rate](ai-stack/ai-gateway/ai-gateway/rate-limit-coming-soon.md) - * [Bảo mật](ai-stack/ai-gateway/bao-mat.md) - * [Cách tính giá](ai-stack/ai-gateway/cach-tinh-gia.md) * [Token Plan](ai-stack/token-plan/README.md) * [Hướng dẫn A-Z](ai-stack/token-plan/huong-dan-a-z.md) * [Mua gói Token Plan](ai-stack/token-plan/mua-goi-token-plan.md) diff --git a/Vietnamese/ai-stack/README.md b/Vietnamese/ai-stack/README.md index ea609f338..56cbfae58 100644 --- a/Vietnamese/ai-stack/README.md +++ b/Vietnamese/ai-stack/README.md @@ -37,17 +37,11 @@ GreenNode cung cấp một nền tảng AI toàn diện giúp doanh nghiệp tri * Phù hợp để lưu trữ dữ liệu huấn luyện, checkpoint mô hình, model registry và output inference. * Dễ dàng tích hợp với các thành phần như AI Platform, VKS và các công cụ huấn luyện phổ biến. -#### 5. AI Gateway – điều phối và giám sát tập trung - -* Cổng truy cập duy nhất cho nhiều mô hình AI, hỗ trợ routing thông minh và caching để tối ưu hiệu năng và chi phí. -* Theo dõi truy cập, sinh audit logs, giám sát hành vi sử dụng qua metrics và alerts. -* Tích hợp guardrails để kiểm soát nội dung và đảm bảo AI an toàn khi triển khai thực tế. - -#### 6. Model-as-a-Service +#### 5. Model-as-a-Service * Hỗ trợ truy cập hơn đa dạng **mô hình GenAI** hàng đầu như GPT, Claude, Gemini, DeepSeek... chỉ với 1 API thống nhất. * Bao gồm cả mô hình mã nguồn mở và các mô hình tối ưu cho tiếng Việt. -* Dịch vụ hiện đang trong giai đoạn hoàn thiện (coming soon). +* Các chức năng của **AI Gateway** (routing thông minh, caching, rate limit, authentication token,...) hiện đã được tích hợp và áp dụng cho toàn bộ MaaS của GreenNode. * Rút ngắn thời gian tích hợp, giúp doanh nghiệp nhanh chóng thử nghiệm và đưa AI vào thực tế. *** diff --git a/Vietnamese/ai-stack/ai-coding/dong-lenh/codex-cli.md b/Vietnamese/ai-stack/ai-coding/dong-lenh/codex-cli.md index f858a72e8..bee5be4d9 100644 --- a/Vietnamese/ai-stack/ai-coding/dong-lenh/codex-cli.md +++ b/Vietnamese/ai-stack/ai-coding/dong-lenh/codex-cli.md @@ -86,7 +86,7 @@ model_max_output_tokens = 16400 disable_response_storage = true [model_providers.maas] -name = "MAAS AI Gateway" +name = "MAAS" # base_url KHÔNG có trailing /responses — Codex tự append (→ .../v1/responses) base_url = "https://maas-llm-aiplatform-hcm.api.vngcloud.vn/v1" @@ -112,7 +112,7 @@ model_max_output_tokens = 16400 disable_response_storage = true [model_providers.maas] -name = "MAAS AI Gateway" +name = "MAAS" # base_url KHÔNG có trailing /responses — Codex tự append (→ .../v1/responses) base_url = "https://tokenplan.api.greennode.ai/v1" diff --git a/Vietnamese/ai-stack/ai-gateway/README.md b/Vietnamese/ai-stack/ai-gateway/README.md deleted file mode 100644 index 00f748e09..000000000 --- a/Vietnamese/ai-stack/ai-gateway/README.md +++ /dev/null @@ -1,33 +0,0 @@ ---- -description: Cổng kết nối thông minh cho dịch vụ AI ---- - -# AI Gateway - -**AI Gateway** là cổng kết nối tập trung giúp bạn tích hợp nhiều AI model từ các nhà cung cấp khác nhau (OpenAI, Google, Deepseek...) thông qua một endpoint duy nhất — giảm độ phức tạp khi chuyển đổi model, hỗ trợ giám sát tập trung, tối ưu chi phí và bảo mật dữ liệu. - -*** - -## Tổng quan - -| Nhóm tính năng | Mô tả | -|---|---| -| **Đa mô hình (Multi-LLM)** | Tích hợp linh hoạt nhiều LLM từ nhiều provider qua một cổng kết nối duy nhất | -| **Giám sát** | Theo dõi hiệu suất và hoạt động qua metrics và logs, bao gồm cả các chỉ số latency chi tiết | -| **Kiểm soát truy cập** | Quản lý **Authentication Token** và đặt giới hạn Rate theo số request hoặc số token | -| **Tối ưu chi phí** | Caching giúp giảm số request tới model, tiết kiệm chi phí và cải thiện tốc độ phản hồi | - -*** - -## Bắt đầu - -| Tôi muốn... | Đi đến | -|---|---| -| Hiểu AI Gateway là gì và giải quyết vấn đề gì | [AI Gateway là gì?](ai-gateway-la-gi.md) | -| Khởi tạo gateway, gọi request đầu tiên và giám sát hoạt động | [Bắt đầu với AI Gateway](bat-dau-voi-ai-gateway.md) | -| Thêm, sửa hoặc xóa provider và model trên gateway | [Làm việc với Provider và Model](ai-gateway/lam-viec-voi-provider-va-model/README.md) | -| Tạo và quản lý Authentication Token | [Làm việc với Authentication Token](ai-gateway/lam-viec-voi-authentication-token.md) | -| Giảm chi phí và độ trễ bằng caching | [Caching](ai-gateway/caching-coming-soon.md) | -| Giới hạn số request hoặc số token theo khoảng thời gian | [Giới hạn Rate](ai-gateway/rate-limit-coming-soon.md) | -| Tìm hiểu cách AI Gateway bảo vệ thông tin nhạy cảm | [Bảo mật](bao-mat.md) | -| Xem chính sách tính giá của dịch vụ | [Cách tính giá](cach-tinh-gia.md) | diff --git a/Vietnamese/ai-stack/ai-gateway/ai-gateway-la-gi.md b/Vietnamese/ai-stack/ai-gateway/ai-gateway-la-gi.md deleted file mode 100644 index 015617b71..000000000 --- a/Vietnamese/ai-stack/ai-gateway/ai-gateway-la-gi.md +++ /dev/null @@ -1,19 +0,0 @@ -# AI Gateway là gì? - -## Tổng quan: - -**AI Gateway** là cổng kết nối tập trung giúp bạn tích hợp nhiều AI models (OpenAI, Google, Deepseek,...).Việc sử dụng AI Gateway giúp giảm độ phức tạp khi chuyển đổi model, hỗ trợ giám sát và quản lý, tối ưu chi phí, bảo mật dữ liệu. - -
- -## Những điểm nổi bật của AI Gateway - -* **Hỗ trợ đa mô hình AI (Multi-LLM Support):** AI Gateway đóng vai trò như một cổng kết nối tập trung, cho phép tích hợp linh hoạt với nhiều mô hình ngôn ngữ lớn (LLM) từ các nhà cung cấp khác nhau như OpenAI, Google, Deepseek,... -* **Giám sát toàn diện:** AI Gateway hỗ trợ giám sát hiệu suất và hoạt động thông qua metrics và logs, giúp người dùng dễ dàng theo dõi, phân tích và tối ưu hóa quá trình vận hành. -* **Tối ưu chi phí:** Tính năng caching **(coming soon)** giúp giảm số lượng request tới LLM Mode ,qua đó tiết kiệm chi phí và cải thiện tốc độ phản hồi. -* **Kiểm soát nội dung và hành vi - Guardrails (coming soon):** AI Gateway cho phép bạn thiết lập các lớp bảo vệ để đảm bảo đầu vào/ra từ mô hình AI luôn phù hợp với mục tiêu và mong muốn của bạn. -* **Tự động cân bằng tải (coming soon):** AI Gateway tự động phân phối lưu lượng giữa các mô hình AI để tối ưu hiệu suất và đảm bảo khả năng mở rộng ổn định. -* **Tự động xử lý lỗi (coming soon):** - * **Automatic Retries:** Tự động gửi lại yêu cầu trong trường hợp lỗi tạm thời. - * **Automatic Fallbacks:** Tự động chuyển sang mô hình thay thế khi mô hình chính gặp sự cố, đảm bảo dịch vụ không bị gián đoạn. -* **Bảo mật:** đảm bảo an toàn cho các thông tin nhạy cảm của khách hàng như **authentication token** và **API key.** diff --git a/Vietnamese/ai-stack/ai-gateway/ai-gateway/README.md b/Vietnamese/ai-stack/ai-gateway/ai-gateway/README.md deleted file mode 100644 index 68642669d..000000000 --- a/Vietnamese/ai-stack/ai-gateway/ai-gateway/README.md +++ /dev/null @@ -1,2 +0,0 @@ -# AI Gateway - diff --git a/Vietnamese/ai-stack/ai-gateway/ai-gateway/caching-coming-soon.md b/Vietnamese/ai-stack/ai-gateway/ai-gateway/caching-coming-soon.md deleted file mode 100644 index 0f7d93701..000000000 --- a/Vietnamese/ai-stack/ai-gateway/ai-gateway/caching-coming-soon.md +++ /dev/null @@ -1,101 +0,0 @@ ---- -description: >- - Model Caching lưu trữ kết quả trả về từ model để tái sử dụng cho các request - giống hoặc tương tự, giúp giảm độ trễ, tiết kiệm tài nguyên và tăng khả năng - xử lý khi có nhiều request lặp lại. ---- - -# Caching - -## 1. Truy cập trang Model Caching - -Truy cập thông qua đường dẫn: [https://aigateway.console.greennode.ai/model-caching/list](https://aigateway.console.greennode.ai/model-caching/list) - -## 2. Tạo một cấu hình **Caching** - -* Truy cập trang **Model Caching** và nhấn nút **"Tạo một cấu hình Caching"** . - -
- -* Trong form **Tạo một cấu hình Caching**, điền các thông tin sau: - * **Tên cấu hình** (bắt buộc) - * Cho phép chữ thường, số và dấu `-` , độ dài từ 5 đến 50 ký tự. - * **Kiểu Caching** (bắt buộc)\ - Chọn một trong hai hoặc cả hai: - * **Exact caching**: chỉ trả về cache khi request trùng khớp hoàn toàn. - * **Semantic caching**: trả về cache cho các request có ý nghĩa tương tự. Khi chọn loại này, hệ thống sẽ hiển thị thêm trường **Semantic Threshold** (0.0–1.0). - * Giá trị cao (ví dụ 0.9): chỉ nhận cache khi rất giống. - * Giá trị thấp (ví dụ 0.7): chấp nhận mức tương tự rộng hơn. - * **Thời gian tồn tại (TTL)**\ - Nhập thời gian (tính bằng giây) mà response được lưu trong cache trước khi hết hạn. - * TTL càng lớn thời gian lưu càng lâu nhưng dữ liệu dễ lỗi thời hơn, tối đa 172800 giấy tương đương 48 tiếng; - * Cấu hình chính sách bộ đệm có thể bị ảnh hưởng hoặc bị ghi đè bởi tiêu đề HTTP trong yêu cầu của máy khách\ - Tiêu đề bộ đệm được hỗ trợ x-cache-control headers gồm: - * no-cache: buộc AI Gateway bỏ qua bộ đệm hiện có và gửi yêu cầu mới đến mô hình. - * no-store: ngăn AI Gateway lưu phản hồi vào bộ đệm. - * max-age=\: đặt TTL từ client AI Gateway sẽ sử dụng giá trị nhỏ hơn giữa giá trị này và TTL của nhà cung cấp. -* Sau khi điền đầy đủ, nhấn **Create** để lưu cấu hình. - -
- -## 3. Quản lý Caching (Edit / Manage models / Delete) - -* Sau khi tạo, bạn sẽ thấy cấu hình mới trong danh sách . -* Ở cột **Action** (**⋮**), nhấn mở menu để chọn: - * **Manage models** — gán gateway và model . - * **Edit configuration** — chỉnh TTL / tên / loại cache. - * **Delete** — xóa cấu hình - -
- -### Manage models (gán gateway và model). - -* Gán một caching configuration cho gateway là áp dụng cấu hình đó cho tất cả các model bạn chọn ở gateway đó. -* Có thể gán cùng một config cho nhiều gateway hoặc nhiều config cho cùng một gateway. Nhưng một model của một gateway chỉ có config duy nhất. -* Nếu muốn gỡ, mở **Manage models** → remove gateway hoặc bỏ chọn các model → Save - -#### Các bước gán gateway và model - -1. Trong danh sách Model Caching, tại config cần gán, nhấn menu → **Manage models** -2. Hộp thoại **Manage models** hiện — nếu chưa có gateway nào được thêm, bạn sẽ thấy thông báo **No Gateway added** và nút **Add a gateway**. -3. Nhấn **Add a gateway** → dropdown liệt kê các gateway đã tạo → chọn 1 gateway. Bạn có thể thêm nhiều gateway nếu cần. - -
- -4. Sau khi thêm gateway, dưới mỗi gateway sẽ có mục **API models** với ô **Select models**. Click vào ô này để mở danh sách các model có trong gateway. - -* Bạn có thể **chọn từng model** hoặc **Select all models** để áp dụng cache cho tất cả model trong gateway. -* Có ô Search để tìm model theo tên (vd: `gemini-1.5-pro`, `gpt-4o`...). - -
- -5. Sau khi chọn model xong, nhấn **Save** để lưu thay đổi. - -#### Xem các cấu hình Caching đã gán cho một Gateway - -1. Mở trang Gateway list: [https://aigateway.console.greennode.ai/ai-gateway/list](https://aigateway.console.greennode.ai/ai-gateway/list). -2. Chọn Gateway mong muốn → vào trang chi tiết Gateway. -3. Chọn tab **Model Caching** — sẽ hiển thị danh sách các cấu hình Caching đã gán cho gateway đó, kèm cột: **Caching type**, **Caching configuration** (TTL, semantic threshold), **Associated models.** -4. Từ đây bạn có thể truy cập nhanh cấu hình, biết model nào đang dùng cache nào. - -
- -### Edit Configuration (chỉnh TTL / tên / loại cache) - -1. Trong danh sách cấu hình, tại cột **Action** (**⋮**) chọn **Edit Configuration** . -2. Cập nhật các thông số: - * Input Caching Strategy (Exact ↔ Semantic). - * TTL, Semantic Threshold. - * Tên hoặc mô tả configuration. -3. Nhấn **Save changes** để lưu. - -📌 Lưu ý: Việc chỉnh sửa sẽ áp dụng cho tất cả model/gateway đang sử dụng configuration đó - -### Delete (xoá cấu hình) - -1. Trên danh sách hình, tại cột **Action** (**⋮**) chọn **Delete**. -2. Xác nhận thao tác. - -📌 Lưu ý: Chỉ xoá được khi cấu hình không còn được gán cho bất kỳ model/gateway nào. Nếu còn thì gỡ gán (detach model/gateway) - -
diff --git a/Vietnamese/ai-stack/ai-gateway/ai-gateway/goi-request-toi-ai-gateway.md b/Vietnamese/ai-stack/ai-gateway/ai-gateway/goi-request-toi-ai-gateway.md deleted file mode 100644 index e6b415755..000000000 --- a/Vietnamese/ai-stack/ai-gateway/ai-gateway/goi-request-toi-ai-gateway.md +++ /dev/null @@ -1,50 +0,0 @@ -# Gọi request tới AI Gateway - -Sau khi khởi tạo xong một AI Gateway, bạn có thể bắt đầu gửi request đến mô hình AI đã cấu hình theo các bước sau: - -**Bước 1:** Truy cập [AI Gateway Portal](http://aigateway.console.greennode.ai/), tìm đến gateway mà bạn vừa tạo. - -**Bước 2:** Trong mục **Providers & Model**, tìm mô hình AI bạn đã cấu hình. Tại mô hình đó, nhấn vào biểu tượng **Curl command** để lấy câu lệnh mẫu. - -
- -**Bước 3:** Sao chép đoạn lệnh `curl` được hiển thị và thực thi lệnh đó trên máy tính cá nhân của bạn (qua Terminal hoặc Command Prompt). - -
- -Ví dụ: - -```bash -curl -X POST https://user-60108-gateway-0b50037b-93.ai-gateway.vngcloud.vn/deepseek/deepseek-chat/chat/completions \ - --header 'Authorization: Bearer {AUTHENTICATION_TOKEN}' \ - --header 'Content-Type: application/json' \ - --data '{ - "model": "deepseek-chat", - "messages": [ - { - "role": "user", - "content": "What is AI?" - } - ] - }' -``` - -**Lưu ý:** - -* Thay thế `{AUTHENTICATION_TOKEN}` bằng token được cung cấp sau khi tạo Gateway. -* Bạn có thể chỉnh sửa nội dung của prompt (nội dung câu hỏi) trong phần `"content"` để phù hợp với mục đích sử dụng của mình. -* Nếu AI Gateway mà bạn đang sử dụng **được bật chế độ xác thực (Authenticated Gateway)**, bạn cần t**hêm một header tên là `cf-aig-authorization`** vào request HTTP của bạn. - -Ví dụ, thay vì dùng header thông thường kiểu: - -```http -Authorization: Bearer {AUTHENTICATION_TOKEN} -``` - -Bạn phải dùng: - -```http -cf-aig-authorization: Bearer {AUTHENTICATION_TOKEN} -``` - -Sau khi thực hiện, bạn sẽ nhận được phản hồi từ mô hình AI theo đúng định dạng JSON. diff --git a/Vietnamese/ai-stack/ai-gateway/ai-gateway/guardrails-coming-soon.md b/Vietnamese/ai-stack/ai-gateway/ai-gateway/guardrails-coming-soon.md deleted file mode 100644 index cc5b39d7c..000000000 --- a/Vietnamese/ai-stack/ai-gateway/ai-gateway/guardrails-coming-soon.md +++ /dev/null @@ -1,2 +0,0 @@ -# Guardrails (Coming soon) - diff --git a/Vietnamese/ai-stack/ai-gateway/ai-gateway/khoi-tao-ai-gateway.md b/Vietnamese/ai-stack/ai-gateway/ai-gateway/khoi-tao-ai-gateway.md deleted file mode 100644 index 7d43531e9..000000000 --- a/Vietnamese/ai-stack/ai-gateway/ai-gateway/khoi-tao-ai-gateway.md +++ /dev/null @@ -1,22 +0,0 @@ -# Khởi tạo AI Gateway - -Để bắt đầu sử dụng AI Gateway trên GreenNode, bạn hãy thực hiện theo các bước sau: - -**Bước 1:** Truy cập giao diện AI Gateway tại GreenNode Console thông qua đường dẫn: [http://aigateway.console.greennode.ai/](http://aigateway.console.greennode.ai/) - -**Bước 2:** Trong menu bên trái, chọn mục **AI Gateway**, sau đó nhấn vào nút **Create an AI Gateway**. - -
- -**Bước 3:** Tại màn hình **Tạo Gateway mới**, vui lòng điền đầy đủ các thông tin sau: - -* **AI Gateway Name:** Đặt tên dễ nhớ cho gateway của bạn. Tên này chỉ được chứa các ký tự **a–z, A–Z, 0–9, dấu gạch dưới (\_) hoặc dấu gạch ngang (-)**, và có độ dài từ **5 đến 50 ký tự**. -* **Model Provider:** - * Chọn nhà cung cấp mô hình AI bạn muốn kết nối như **OpenAI, Anthropic, Google, DeepSeek**. - * **API Key:** Nhập **API Key** tương ứng từ nhà cung cấp. Nếu chưa có, bạn có thể nhấn **Get API Key** — chúng tôi sẽ chuyển bạn đến trang tương ứng để lấy thông tin. - * **Chọn mô hình (Model):** Lựa chọn mô hình AI bạn muốn sử dụng (ví dụ: _gemini-1.5_, _gemini-2.0_,...). Nếu muốn xem toàn bộ danh sách, hãy nhấn **View full list** để hiển thị tất cả các model mà chúng tôi hỗ trợ. -* **Gateway Config:** Mặc định, hệ thống sẽ bật tính năng **Authenticated Gateway**. Một **authenticated token** sẽ được tạo tự động – bạn có thể sử dụng token này để gửi request đến AI Gateway. - -**Bước 4**: Chọn Create an AI Gateway, AI Gateway của bạn sẽ được khởi tạo và sẵn sàng để sử dụng. - -
diff --git a/Vietnamese/ai-stack/ai-gateway/ai-gateway/lam-viec-voi-authentication-token.md b/Vietnamese/ai-stack/ai-gateway/ai-gateway/lam-viec-voi-authentication-token.md deleted file mode 100644 index c485d0080..000000000 --- a/Vietnamese/ai-stack/ai-gateway/ai-gateway/lam-viec-voi-authentication-token.md +++ /dev/null @@ -1,73 +0,0 @@ -# Làm việc với Authentication Token - -## Tạo mới Authentication Token - -Để tạo một token mới phục vụ cho việc xác thực AI Gateway: - -1. Truy cập tab **Authentication token** trong giao diện quản lý AI Gateway. -2. Nhấn nút **Create authentication token** để mở popup tạo token. -3. Trong cửa sổ popup: - * Nhập **Token name** (bắt buộc). Đây là tên định danh để bạn dễ dàng quản lý token. - * Ví dụ: `token-user01, token-user02,...` -4. Nhấn **Create** để khởi tạo token. - -Mỗi token sẽ gắn liền với AI Gateway cụ thể và có thể được sử dụng để gọi API hoặc truy cập Gateway một cách an toàn. - -
- -
- -
- -## Quản lý danh sách token - -Sau khi tạo, token sẽ xuất hiện trong danh sách với các thông tin: - -
TrườngMô tả
Token nameTên định danh bạn đã đặt khi tạo token
Created atThời gian tạo
StatusTrạng thái của token (ví dụ: ACTIVE)
ActionXóa token khi không còn cần sử dụng
- -Chỉ các token đang ở trạng thái **ACTIVE** mới được sử dụng để xác thực API Gateway. - -
- -## Xoá Authentication Token - -Để xoá một token: - -1. Tick chọn token trong danh sách. -2. Nhấn nút **Delete.** -3. Xác nhận để hoàn tất thao tác xoá. - -Token sau khi xoá sẽ không thể sử dụng lại được để xác thực các truy cập vào AI Gateway. - -
- -{% hint style="info" %} -**Lưu ý:** - -* Token hoạt động như một **chứng chỉ tạm thời** – hãy bảo mật tuyệt đối, tránh chia sẻ công khai. -* Mỗi token chỉ dùng cho **1 AI Gateway cụ thể**. -* Nên định kỳ rà soát và xoá các token không còn sử dụng để giảm rủi ro bảo mật. -{% endhint %} - -Tuyệt vời! Dưới đây là phần hướng dẫn **tích hợp Authentication Token để gọi API qua AI Gateway**: - -## Tích hợp Authentication Token để gọi API - -Sau khi đã tạo token và token đang ở trạng thái `ACTIVE`, bạn có thể sử dụng token này để gọi API thông qua AI Gateway. - -Bạn cần **gửi token trong header** của HTTP request. Token này sẽ được AI Gateway kiểm tra trước khi forward request đến LLM Model. - -**Ví dụ với `curl`:** - -```bash -curl -X POST https://user-123456-demo-gateway.ai-gateway.vngcloud.vn/deepseek/deepseek-chat/chat/completions \ - --header 'Authorization: Bearer {YOUR_TOKEN}' \ - --header 'Content-Type: application/json' \ - --data '{"model": "deepseek-chat", "messages": [{"role": "user", "content": "What is AI?"}]}' -``` - -**Trong đó:** - -* `` chính là **token vừa tạo.** - -Nếu token sai hoặc đã hết hiệu lực, AI Gateway sẽ trả về lỗi `Invalid authentication token.` diff --git a/Vietnamese/ai-stack/ai-gateway/ai-gateway/lam-viec-voi-provider-va-model/README.md b/Vietnamese/ai-stack/ai-gateway/ai-gateway/lam-viec-voi-provider-va-model/README.md deleted file mode 100644 index dc1b287c4..000000000 --- a/Vietnamese/ai-stack/ai-gateway/ai-gateway/lam-viec-voi-provider-va-model/README.md +++ /dev/null @@ -1,29 +0,0 @@ -# Làm việc với Provider và Model - -Ngoài việc thêm model trong lúc tạo AI Gateway, bạn có thể **thêm mới**, **chỉnh sửa**, hoặc **xóa model** như sau: - -**Bước 1:** Truy cập cấu hình Provider & Model - -* Vào giao diện chi tiết Gateway. -* Nhấn nút **"Manage Provider & Models"** - -
- -#### Bước 2: Giao diện **"Connect Gateway to AI Models"** sẽ hiện ra. - -* Với mỗi Provider (Google, Deepseek, OpenAI, Anthropic…): - * Nhập **API Key** tương ứng. - * Chọn các model cần dùng tại mục **API models**. - * Nhấn **"View full list"** để xem các model đã chọn. -* Có thể thêm Provider mới bằng cách nhấn **“+ Add a provider”**, chọn từ danh sách (ví dụ: OpenAI, Anthropic...). -* Nếu bạn muốn xóa Provider hoặc Model, bạn có thể: - - * Nhấn biểu tượng X cạnh model để xóa từng model. - - Nhấn biểu tượng - cạnh tên Provider để xóa toàn bộ Provider khỏi Gateway. - -
- -**Bước 3:** Sau khi cấu hình xong, nhấn **“Save”** để áp dụng. - -Bạn có thể nhấn vào từng model để xem chi tiết câu lệnh `curl` tương ứng hoặc tích hợp với ứng dụng. diff --git a/Vietnamese/ai-stack/ai-gateway/ai-gateway/lam-viec-voi-provider-va-model/seft-host-models.md b/Vietnamese/ai-stack/ai-gateway/ai-gateway/lam-viec-voi-provider-va-model/seft-host-models.md deleted file mode 100644 index 133bd020c..000000000 --- a/Vietnamese/ai-stack/ai-gateway/ai-gateway/lam-viec-voi-provider-va-model/seft-host-models.md +++ /dev/null @@ -1,9 +0,0 @@ -# Seft-host Models - -### Tổng quan - - - -### Anthentication Information - -### Options Information diff --git a/Vietnamese/ai-stack/ai-gateway/ai-gateway/rate-limit-coming-soon.md b/Vietnamese/ai-stack/ai-gateway/ai-gateway/rate-limit-coming-soon.md deleted file mode 100644 index 78608edec..000000000 --- a/Vietnamese/ai-stack/ai-gateway/ai-gateway/rate-limit-coming-soon.md +++ /dev/null @@ -1,33 +0,0 @@ ---- -description: >- - Là cơ chế giới hạn số lượng request, token trong một khoảng thời gian nhất - định để bảo vệ hệ thống khỏi lạm dụng, công bằng khi dùng chung một gateway và - tối ưu chi phí, tính ổn định cho model ---- - -# Giới Hạn rate - -## 1. Truy cập tính năng giới hạn Rate - -1. Sau khi đã [tạo Authentication Token](lam-viec-voi-authentication-token.md#tao-moi-authentication-token), tại danh sách các token chọn icon ở cột Hành Động như hình dưới để mở cấu hình giới hạn Rate - -
- -2. Hoặc có thể chọn Configure Rate limit khi tạo Authentication Token. - -
- -## 2. Tạo mới **Rate Limit Token** - -1. **Limit by** (chọn một hoặc cả hai): - -* **Requests**: Đặt giới hạn cho các Request. - * Tối thiểu 1 Request - tối đa 1.000.00 Requests . Trong thời gian (1 Phút, 1 Giờ, 1 Ngày, 1 Tháng). - * Window time type: chỉ hỗ trợ Fixed. -* **Tokens**: Đặt giới hạn cho các Token. - * Tôi thiểu 100 Token - tối đa 5.000.00.000 Token . Trong thời gian (1 Phút, 1 Giờ, 1 Ngày, 1 Tháng). - * Window time type: chỉ hỗ trợ Fixed. - -2 Nhấn **Lưu** cấu hình.
- -
diff --git a/Vietnamese/ai-stack/ai-gateway/bao-mat.md b/Vietnamese/ai-stack/ai-gateway/bao-mat.md deleted file mode 100644 index 44ac59721..000000000 --- a/Vietnamese/ai-stack/ai-gateway/bao-mat.md +++ /dev/null @@ -1,11 +0,0 @@ -# Bảo mật - -GreenNode AI Gateway đảm bảo an toàn cho các thông tin nhạy cảm của khách hàng như **authentication token** và **API key** theo các cách sau: - -1. **Token xác thực người dùng** - * Chỉ hiển thị một lần khi tạo. - * Được mã hóa và lưu trữ an toàn. - * Có thể xóa bất kỳ lúc nào khi không còn sử dụng. -2. **API Key dùng để gọi LLM Model** - * API Key do khách hàng nhập được mã hóa trước khi lưu. - * Có thể thay đổi hoặc xóa khi cần. diff --git a/Vietnamese/ai-stack/ai-gateway/bat-dau-voi-ai-gateway.md b/Vietnamese/ai-stack/ai-gateway/bat-dau-voi-ai-gateway.md deleted file mode 100644 index b828436fc..000000000 --- a/Vietnamese/ai-stack/ai-gateway/bat-dau-voi-ai-gateway.md +++ /dev/null @@ -1,3 +0,0 @@ -# Bắt đầu với AI Gateway - -Bạn có thể sử dụng các hướng dẫn sau đây để bắt đầu làm việc với AI Gateway. Trong quá trình sử dụng, nếu gặp vấn đề gì với dịch vụ, bạn hãy vui lòng liên hệ với GreenNode qua email [**support@greennode.ai**](mailto:support@greennode.ai) hoặc hotline **19001549.** diff --git a/Vietnamese/ai-stack/ai-gateway/cach-tinh-gia.md b/Vietnamese/ai-stack/ai-gateway/cach-tinh-gia.md deleted file mode 100644 index f2f85decc..000000000 --- a/Vietnamese/ai-stack/ai-gateway/cach-tinh-gia.md +++ /dev/null @@ -1,7 +0,0 @@ -# Cách tính giá - -Hiện tại, AI Gateway trên GreenNode đang được cung cấp **miễn phí** cho quý khách hàng trải nghiệm. Do chưa áp dụng gói tính phí, chúng tôi chưa có cam kết uptime SLA .Nếu bạn có nhu cầu thử nghiệm sản phẩm, vui lòng: - -* Gửi email đến **support@greennode.ai** -* Gọi hotline **1900 1549** -* Hoặc tạo ticket trực tiếp trên portal diff --git a/Vietnamese/ai-stack/ai-gateway/giam-sat-hoat-dong.md b/Vietnamese/ai-stack/ai-gateway/giam-sat-hoat-dong.md deleted file mode 100644 index 2dd94cf8d..000000000 --- a/Vietnamese/ai-stack/ai-gateway/giam-sat-hoat-dong.md +++ /dev/null @@ -1,61 +0,0 @@ -# Giám sát hoạt động - -Để theo dõi và phân tích hoạt động của một AI Gateway đang hoạt động, bạn có thể giám sát thông qua: - -## Metric - -Tại giao diện chi tiết của một Gateway, chọn tab **Monitor** để theo dõi các chỉ số thời gian thực được thể hiện qua biểu đồ bao gồm: - -* **Requests**: Tổng số lượng request đã được gửi tới AI Gateway. -* **Errors**: Số request đã được gửi tới AI Gateway và được nhận kết quả lỗi. -* **Tokens**: Số lượng token đã sử dụng, bao gồm: - * `input`: token đầu vào (câu hỏi của bạn). - * `output`: token đầu ra (kết quả từ LLM Model). - -Bạn có thể tùy chỉnh khoảng thời gian quan sát (15m, 30m, 1h, 2h, v.v.) và lọc theo Provider hoặc Model cụ thể. - -
- -## Logs - -Tại giao diện chi tiết của một Gateway, chọn tab **Log** để xem danh sách tất cả các request đã gửi qua Gateway. - -Tại đây, bạn có thể danh sách request được gửi tới AI Gateway bao gồm: - -* **Time:** thời gian gửi request. -* **Status:** trạng thái của request, bao gồm **Success**, **Error** hoặc **Timeout**. -* **Model:** tên model được sử dụng. -* **Tokens:** số lượng token input/ output. -* **Duration:** tổng thời gian xử lý request. - -Bạn có thể tùy chỉnh khoảng thời gian quan sát (24h, 1d, 2d,...) và lọc theo Status cụ thể. - -
- -Ngoài ra, bạn có thể xem chi tiết một request bằng cách: - -* Nhấn vào biểu tượng **Detail** cột **Action** để mở **Detail Log**. -* Tại đây bạn sẽ thấy: - * **Input**: Nội dung câu hỏi hoặc prompt gốc bạn gửi vào. - * **Output**: Kết quả trả về từ LLM Model. - * **Thông tin bổ sung**: host, model, thời gian phản hồi,... - -
- -
- -## Latencies - -
- -Các metrics đo lường latencies trong một request cũng được hiển thị cụ thể tại đây: - -**latencies.receive**: Thời gian bắt đầu nhận response(byte đầu tiên) tới kết thúc nhận response (byte cuối cùng) từ LLM - -**latencies.gateway**: Thời gian xử lý nội bộ tại Gateway (không tính thời gian proxy) - -**latencies.proxy**: Thời gian GW gửi request lên LLM và nhận response từ LLM về (byte đầu tiên) - -
- -
diff --git a/Vietnamese/ai-stack/ai-gateway/model-providers.md b/Vietnamese/ai-stack/ai-gateway/model-providers.md deleted file mode 100644 index 98c96bd1d..000000000 --- a/Vietnamese/ai-stack/ai-gateway/model-providers.md +++ /dev/null @@ -1,22 +0,0 @@ ---- -description: AI Gateway hỗ trợ kết nối đến các Model Provider hàng đầu ---- - -# Model Providers - -**Các Model Provider Hỗ Trợ** - -| **Nhà cung cấp** | **Mô hình nổi bật** | **Mô tả nhanh** | -| ------------------- | -------------------------- | -------------------------------------- | -| **Anthropic** | `claude-3-5-haiku-latest` | Nhẹ, nhanh, chi phí thấp | -| | `claude-3-7-sonnet-latest` | Cân bằng tốc độ & chất lượng | -| | `claude-3-opus-latest` | Mạnh nhất, giỏi reasoning | -| **Google DeepMind** | `gemini-1.5-pro` | Đa modal, hiểu ngữ cảnh dài | -| | `gemini-1.5-flash` | Tối ưu tốc độ, tiết kiệm chi phí | -| | `gemini-2.0-flash` | Bản mới nhất, hiệu suất cao | -| **OpenAI** | `gpt-4o` | Phản hồi nhanh, chi phí hợp lý | -| | `gpt-4o-mini` | Phiên bản rút gọn, tiết kiệm | -| | `gpt-3.5-turbo` | Phổ biến, chatbot, tổng hợp, viết code | -| **DeepSeek** | `deepseek-chat` | Tối ưu cho hội thoại, tốc độ cao | -| | `deepseek-reasoner` | Mạnh về lập luận và phân tích logic | - diff --git a/Vietnamese/ai-stack/ai-platform/inference.md b/Vietnamese/ai-stack/ai-platform/inference.md index 83a8aa31c..97a04e4ea 100644 --- a/Vietnamese/ai-stack/ai-platform/inference.md +++ b/Vietnamese/ai-stack/ai-platform/inference.md @@ -7,7 +7,7 @@ Tính năng **Inference** giúp bạn triển khai mô hình AI thành một d * Deploy mô hình từ **Model Registry** dưới dạng một **REST API endpoint**. * Hỗ trợ chọn loại máy chủ tính toán (**CPU/GPU**) theo yêu cầu hiệu năng. * Tự động scale theo lưu lượng request. -* Có thể tích hợp với **AI Gateway** để quản lý bảo mật, rate limit, auth token… +* Có thể tích hợp với **MaaS** để quản lý bảo mật, rate limit, auth token… *** diff --git a/Vietnamese/ai-stack/model-as-a-service/su-dung-maas-voi-ai-gateway.md b/Vietnamese/ai-stack/model-as-a-service/su-dung-maas-voi-ai-gateway.md deleted file mode 100644 index 68aaa0b50..000000000 --- a/Vietnamese/ai-stack/model-as-a-service/su-dung-maas-voi-ai-gateway.md +++ /dev/null @@ -1,69 +0,0 @@ -# Sử dụng MaaS với AI Gateway - -Để MaaS có thể sử dụng các tính năng của AI Gateway (Rate Limit, Model Caching... ), bạn hãy thực hiện theo các bước sau: - -**Bước 1:** Truy cập giao diện AI Gateway tại GreenNode Console thông qua đường dẫn: [http://aigateway.console.greennode.ai/](http://aigateway.console.greennode.ai/) - -**Bước 2:** Trong menu bên trái, chọn mục **AI Gateway**, sau đó nhấn vào nút **Create an AI Gateway**. - -
- -**Bước 3:** Tại màn hình **Tạo Gateway mới**, vui lòng điền đầy đủ các thông tin sau: - -* **AI Gateway Name:** Đặt tên dễ nhớ cho gateway của bạn. Tên này chỉ được chứa các ký tự **a–z, A–Z, 0–9, dấu gạch dưới (\_) hoặc dấu gạch ngang (-)**, và có độ dài từ **5 đến 50 ký tự**. -* **Model Provider:** - * Chọn nhà cung cấp mô hình AI OpenAI Compatible. - * **Model Type**: Chọn Model Type (xem tại [MaaS](https://aiplatform.console.greennode.ai/models/md-37404b64-0656-4c85-978c-a6e1b84ea8ac) ở portal AI Platform). - * **Model Endpoint**: Điền URL của model (xem tại [MaaS](https://aiplatform.console.greennode.ai/models/md-37404b64-0656-4c85-978c-a6e1b84ea8ac) ở poral AI Platform). - * **Model Name**: Điền Name của model (xem tại [MaaS](https://aiplatform.console.greennode.ai/models/md-37404b64-0656-4c85-978c-a6e1b84ea8ac) ở poral AI Platform).\ - ![](<../../.gitbook/assets/image (3).png>) - * **Authentication info**: - - * header\_name: Điền `Authorization`. - * header\_value: Điền `Bearer ` ( API Key trong hình được tạo ở [Portal ](https://aiplatform.console.greennode.ai/keys)AI Platform). - -
123
-* **Gateway Config:** Mặc định, hệ thống sẽ bật tính năng **Authenticated Gateway.** - -**Bước 4**: Chọn Create an AI Gateway, AI Gateway của bạn sẽ được khởi tạo và sẵn sàng để sử dụng. - -
- -**Bước 5**: Sau khi AI Gateway được khởi tạo bạn cần [tạo Token](https://docs.vngcloud.vn/vng-cloud-document/vn/ai-stack/ai-gateway/ai-gateway/lam-viec-voi-authentication-token) để gọi API. - -**Bước 6**: Sau khi bạn tạo token, bạn có thể cấu hình rate limit cụ thể trên từng token theo nhu cầu cá nhân. - -
- -
- -\ -**Bước 7**: Trong mục **Providers & Model**, tìm mô hình AI bạn đã cấu hình. Tại mô hình đó, nhấn vào biểu tượng **Curl command** để lấy câu lệnh mẫu. - -
- -**Bước 8**: Sao chép đoạn lệnh `curl` được hiển thị và thực thi lệnh đó trên máy tính cá nhân của bạn (qua Terminal hoặc Command Prompt). - -
- -Ví dụ: - -``` -curl --request POST \ ---url 'https://user-55461-demo-aigateway.ai-gateway.vngcloud.vn/openai-compatible/gemini-2.5-pro/v1/chat/completions' \ ---header 'Content-Type: application/json' \ ---header 'Authorization: Bearer {AUTHENTICATION_TOKEN}' \ ---data '{ - "model": "gemini-2.5-pro", - "messages": [ - { - "role": "user", - "content": "What is AI?" - } - ] -}' -``` - -**Lưu ý:** - -* Thay thế `{AUTHENTICATION_TOKEN}` bằng token được tạo ở bước 5. diff --git a/Vietnamese/ai-stack/release-notes.md b/Vietnamese/ai-stack/release-notes.md index 4195a5a7f..93794474a 100644 --- a/Vietnamese/ai-stack/release-notes.md +++ b/Vietnamese/ai-stack/release-notes.md @@ -1,6 +1,6 @@ # Lịch sử cập nhật — GreenNode AI Stack -Tổng hợp các bản cập nhật của toàn bộ sản phẩm trong GreenNode AI Stack — GreenNode AgentBase, Model as a Service, AI Gateway, AI Platform, AI Coding và GenAI Studio. +Tổng hợp các bản cập nhật của toàn bộ sản phẩm trong GreenNode AI Stack — GreenNode AgentBase, Model as a Service, AI Platform, AI Coding và GenAI Studio. *** @@ -66,7 +66,6 @@ GreenNode nâng cấp kiến trúc AI Gateway để đáp ứng tốt hơn lưu * **Low Latency:** Giảm độ trễ authentication API key và rate limiter. * **Scalability:** Không còn giới hạn bởi memory — phục vụ nhiều model, nhiều user hơn. * **High Performance:** Đáp ứng tốt traffic từ Token Plan. -* Tìm hiểu thêm tại [AI Gateway](ai-gateway/README.md). **GreenNode AI Stack — Token Plan** diff --git a/Vietnamese/gioi-thieu-chung/thong-bao-va-cap-nhat/2025.md b/Vietnamese/gioi-thieu-chung/thong-bao-va-cap-nhat/2025.md index 9ce745ce1..75ab53a7e 100644 --- a/Vietnamese/gioi-thieu-chung/thong-bao-va-cap-nhat/2025.md +++ b/Vietnamese/gioi-thieu-chung/thong-bao-va-cap-nhat/2025.md @@ -144,7 +144,7 @@ Hệ sinh thái các dịch vụ chính của AI stack bao gồm: * **VKS (GreenNode Kubernetes Service):** là dịch vụ Kubernetes được quản lý toàn diện.Tích hợp GPU, khả năng autoscaling, giám sát tài nguyên và bảo mật. Giúp tối ưu cho AI workloads cần GPU, nhưng cũng phù hợp để triển khai ứng dụng web, microservices và backend quy mô lớn. Qua đó, giúp doanh nghiệp nhanh chóng triển khai ứng dụng mà không cần tự xây dựng và duy trì hạ tầng. Tài liệu tham khảo [tại đây](../../vks/) * vDB **OpenSearch:** Vector Database dưới dạng dịch vụ, giúp Hỗ trợ PostgreSQL(**pgvector)** và **OpenSearch** làm vector database.Hỗ trợ triển khai mô hình **RAG (Retrieval-Augmented Generation)** nhanh chóng.Giúp mô hình GenAI hiểu và khai thác dữ liệu doanh nghiệp theo ngữ cảnh. Tài liệu tham khảo [tại đây](../../vdb/opensearch-cluster-database-ods/) * **AI Platform:** Cung cấp môi trường để **thử nghiệm (notebook )**, **fine-tune** và **inference** các mô hình AI ngay trên nền tảng GPU của GreenNode. Tài liệu tham khảo [tại đây](../../ai-stack/ai-platform/) -* **AI Gateway:** là Cổng truy cập quản trị tập trung duy nhất cho nhiều mô hình AI, hỗ trợ routing thông minh và caching để tối ưu hiệu năng và chi phí. Giúp theo dõi truy cập, sinh audit logs, giám sát hành vi sử dụng qua metrics và alerts. Tài liệu tham khảo [tại đây](../../ai-stack/ai-gateway/) +* **AI Gateway:** là Cổng truy cập quản trị tập trung duy nhất cho nhiều mô hình AI, hỗ trợ routing thông minh và caching để tối ưu hiệu năng và chi phí. Giúp theo dõi truy cập, sinh audit logs, giám sát hành vi sử dụng qua metrics và alerts. * **Model-as-a-Service:** Hỗ trợ truy cập hơn đa dạng **mô hình GenAI** hàng đầu như GPT, Claude, Gemini, DeepSeek... chỉ với 1 API thống nhất. Tài liệu tham khảo [tại đây](../../ai-stack/model-as-a-service/) **Tháng 4, 2025** diff --git a/Vietnamese/gioi-thieu-chung/thong-bao-va-cap-nhat/release_notes.md b/Vietnamese/gioi-thieu-chung/thong-bao-va-cap-nhat/release_notes.md index d08bf9fec..e5886d886 100644 --- a/Vietnamese/gioi-thieu-chung/thong-bao-va-cap-nhat/release_notes.md +++ b/Vietnamese/gioi-thieu-chung/thong-bao-va-cap-nhat/release_notes.md @@ -119,7 +119,7 @@ Hệ sinh thái các dịch vụ chính của AI stack bao gồm: * **VKS (GreenNode Kubernetes Service):** là dịch vụ Kubernetes được quản lý toàn diện.Tích hợp GPU, khả năng autoscaling, giám sát tài nguyên và bảo mật. Giúp tối ưu cho AI workloads cần GPU, nhưng cũng phù hợp để triển khai ứng dụng web, microservices và backend quy mô lớn. Qua đó, giúp doanh nghiệp nhanh chóng triển khai ứng dụng mà không cần tự xây dựng và duy trì hạ tầng. Tài liệu tham khảo [tại đây](../../vks/) * vDB **OpenSearch:** Vector Database dưới dạng dịch vụ, giúp Hỗ trợ PostgreSQL(**pgvector)** và **OpenSearch** làm vector database.Hỗ trợ triển khai mô hình **RAG (Retrieval-Augmented Generation)** nhanh chóng.Giúp mô hình GenAI hiểu và khai thác dữ liệu doanh nghiệp theo ngữ cảnh. Tài liệu tham khảo [tại đây](../../vdb/opensearch-cluster-database-ods/) * **AI Platform:** Cung cấp môi trường để **thử nghiệm (notebook )**, **fine-tune** và **inference** các mô hình AI ngay trên nền tảng GPU của GreenNode. Tài liệu tham khảo [tại đây](../../ai-stack/ai-platform/) -* **AI Gateway:** là Cổng truy cập quản trị tập trung duy nhất cho nhiều mô hình AI, hỗ trợ routing thông minh và caching để tối ưu hiệu năng và chi phí. Giúp theo dõi truy cập, sinh audit logs, giám sát hành vi sử dụng qua metrics và alerts. Tài liệu tham khảo [tại đây](../../ai-stack/ai-gateway/) +* **AI Gateway:** là Cổng truy cập quản trị tập trung duy nhất cho nhiều mô hình AI, hỗ trợ routing thông minh và caching để tối ưu hiệu năng và chi phí. Giúp theo dõi truy cập, sinh audit logs, giám sát hành vi sử dụng qua metrics và alerts. * **Model-as-a-Service:** Hỗ trợ truy cập hơn đa dạng **mô hình GenAI** hàng đầu như GPT, Claude, Gemini, DeepSeek... chỉ với 1 API thống nhất. Tài liệu tham khảo [tại đây](../../ai-stack/model-as-a-service/) diff --git a/Vietnamese/gioi-thieu-chung/vng-regions-and-availability-zones.md b/Vietnamese/gioi-thieu-chung/vng-regions-and-availability-zones.md index 0710af847..c6d074a3d 100644 --- a/Vietnamese/gioi-thieu-chung/vng-regions-and-availability-zones.md +++ b/Vietnamese/gioi-thieu-chung/vng-regions-and-availability-zones.md @@ -157,7 +157,6 @@ URL của các service trong cùng 1 region sẽ giống nhau. | **vMarketplace** | - | x | x | x | - | x | [HCM](https://marketplace.console.greennode.ai/overview) \| [HAN](https://marketplace-han-1.console.greennode.ai/overview) | | **vColo** | x | - | - | - | - | - | [Portal](https://vcolo.console.greennode.ai/overview) | | **AI Platform** | - | x | Coming Soon | Coming Soon | - | - | [Portal](https://aiplatform.console.greennode.ai/overview) | -| **AI Gateway** | x | - | - | - | - | - | [Portal](https://aigateway.console.greennode.ai) | | **MaaS** | x | - | - | - | - | - | [Portal](https://aiplatform.console.greennode.ai/models) | {% endtab %} {% endtabs %} diff --git a/vietnamese/ai-stack/ai-gateway/bat-dau-voi-ai-gateway-1/README.md b/vietnamese/ai-stack/ai-gateway/bat-dau-voi-ai-gateway-1/README.md deleted file mode 100644 index 4d5371c7b..000000000 --- a/vietnamese/ai-stack/ai-gateway/bat-dau-voi-ai-gateway-1/README.md +++ /dev/null @@ -1,2 +0,0 @@ -# bat-dau-voi-ai-gateway -