From 609e3aded0a58649a9562b701bb57c177425c9f8 Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?=EC=84=B8=EB=B9=88=20=EA=B6=8C?= Date: Sat, 27 Jun 2026 20:14:05 +0900 Subject: [PATCH 1/3] =?UTF-8?q?#1012=20[docs]=20README=20=EC=9E=AC?= =?UTF-8?q?=EC=9E=91=EC=84=B1=20=E2=80=94=20=EA=B3=B5=EA=B0=9C=20=EC=A0=80?= =?UTF-8?q?=EC=9E=A5=EC=86=8C=EC=9A=A9=20=ED=94=84=EB=A1=9C=EC=A0=9D?= =?UTF-8?q?=ED=8A=B8=20=EC=86=8C=EA=B0=9C=C2=B7=EC=95=84=ED=82=A4=ED=85=8D?= =?UTF-8?q?=EC=B2=98=C2=B7=EB=A1=9C=EC=BB=AC=20=EC=8B=A4=ED=96=89=20?= =?UTF-8?q?=EC=A0=95=EB=B9=84?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit FP 설계 문서와 실제 코드 기준으로 개요·핵심 기능·아키텍처(mermaid)·기술 스택·디렉터리·로컬 실행·인프라/배포·팀·라이선스를 정리. codex 4라운드 리뷰로 사실성·과장 여부를 검증했다. 비밀값·식별자는 포함하지 않는다. Co-Authored-By: Claude Opus 4.8 --- README.md | 274 ++++++++++++++++++++++++++++++++---------------------- 1 file changed, 163 insertions(+), 111 deletions(-) diff --git a/README.md b/README.md index a2cdaa3c..1356ec98 100644 --- a/README.md +++ b/README.md @@ -1,155 +1,207 @@ -# Bifröst +# Bifrost -> **DB만 연결하면 데이터 파이프라인은 클릭 몇 번 또는 자연어로, 장애는 AI 에이전트가 진단까지.** -> CDC·EDA 데이터 파이프라인을 셀프서비스로 구축·운영하는 AIOps 플랫폼. +> 데이터베이스를 등록하면 CDC/EDA 파이프라인을 구성하고, 운영 중 발생하는 장애 신호를 evidence 기반 AI Agent가 진단하는 DataOps/AIOps 플랫폼. ---- +![Java 21](https://img.shields.io/badge/Java-21-007396?logo=openjdk&logoColor=white) +![Spring Boot 3.3.5](https://img.shields.io/badge/Spring%20Boot-3.3.5-6DB33F?logo=springboot&logoColor=white) +![Python 3.11+](https://img.shields.io/badge/Python-3.11%2B-3776AB?logo=python&logoColor=white) +![FastAPI](https://img.shields.io/badge/FastAPI-0.115%2B-009688?logo=fastapi&logoColor=white) +![React 18](https://img.shields.io/badge/React-18.3-61DAFB?logo=react&logoColor=111111) +![Kafka / Strimzi](https://img.shields.io/badge/Kafka%20%2F%20Strimzi-Connect-231F20?logo=apachekafka&logoColor=white) +![Kubernetes / EKS](https://img.shields.io/badge/Kubernetes-EKS-326CE5?logo=kubernetes&logoColor=white) -## 개요 +Kafka, Debezium, Kafka Connect, Kubernetes를 직접 다루지 않고도 데이터베이스 중심으로 스트리밍 파이프라인을 만들고 운영할 수 있게 하는 것이 목표입니다. 사용자는 Workspace에 Source/Sink DB를 등록하고 테이블 단위로 CDC(direct)·EDA(fan-out) 파이프라인을 생성하며, lag·connector failure·schema mismatch 같은 운영 신호를 콘솔과 AI Agent로 확인합니다. -**Bifröst**는 사용자가 소스·싱크 데이터베이스만 등록하면, UI 클릭 또는 자연어 채팅으로 **CDC(Change Data Capture)** 및 **EDA(Event-Driven Architecture)** 파이프라인을 생성·운영할 수 있는 플랫폼입니다. +핵심적으로 구현한 것은 다음 세 가지입니다. -파이프라인을 만들면 플랫폼이 Kubernetes 위에 **Kafka(Strimzi)·Debezium·Kafka Connect**를 자동 프로비저닝합니다. 운영 중에는 **AI 에이전트**가 파이프라인을 모니터링하고, 장애를 감지해 **근거 기반 RCA(Root Cause Analysis)**를 수행하며, 자연어로 상태 조회와 조치를 지원합니다(변경 조치는 운영자 승인 후 실행). +- **Strimzi 기반 connector provisioning** — UI/API 입력을 Fabric8로 `KafkaConnector` CR로 만들고 status watcher로 lifecycle을 추적 +- **`/internal/ops` mutation governance** — 운영 변경을 policy·approval·idempotency·audit 경계 하나로 강제 +- **evidence 기반 RCA** — root cause catalog + evidence matrix + verifier loop로 LLM 진단의 환각을 억제 + +## 이 프로젝트에서 다룬 문제 + +운영 자동화에 LLM을 붙일 때 가장 큰 위험은 **AI가 인프라를 직접, 검증 없이 바꾸는 것**입니다. Bifrost는 이를 구조로 제한합니다. + +- **AI는 운영 리소스를 직접 변경하지 않는다.** FastAPI Agent는 read-only tool과 root cause catalog로 RCA를 수행하고 근거(evidence)를 매트릭스로 제시하며, verifier로 자기 검증한 뒤 불확실하면 단정하지 않고 unknown/evidence gap으로 보류하거나 추가 evidence를 요구합니다. RCA·remediation 단계는 *조치 후보*까지만 만듭니다. +- **모든 mutation은 단일 경계를 통과한다.** connector restart/pause/resume, consumer group restart 같은 변경은 Spring `/internal/ops`에서 idempotency·policy·evidence·audit 경계를 거쳐 실행됩니다. AI 서비스는 이 경계 밖으로 운영 리소스를 만질 수 없습니다. +- **위험 조치는 사람이 승인한다(HITL).** `PolicyGuard` 판정에 따라 위험 조치는 approval·change ticket 대상이 되고, platform mutation gate(`/internal/ops`) 기준으로 낮은 위험 조치(예: resume)는 자동 허용됩니다. + +이 경계 덕분에 "AI가 장애를 진단한다"와 "AI가 운영을 직접 바꾼다"를 분리할 수 있습니다. ## 핵심 기능 -- **셀프서비스 파이프라인** — DB 등록 → CDC(source→sink) / EDA(fan-out) 파이프라인을 UI·자연어로 생성. Strimzi Kafka·Debezium·JDBC Sink Connector 자동 구성. -- **AI 장애 대응(RCA)** — 8계층·35 근본원인 카탈로그 + evidence matrix 기반 진단, confidence 스코어링·캘리브레이션, 근거 부족 시 기권(`UNKNOWN_WITH_EVIDENCE_GAP`). -- **자연어 운영** — 채팅으로 파이프라인·메트릭·로그·인시던트를 조회하고 조치. planner가 read-only 도구로 라우팅하며, 변경 조치는 HITL(Human-in-the-Loop) 승인을 거칩니다. -- **실시간 관측성** — 파이프라인 상태·consumer lag·인시던트를 실시간 대시보드로 추적. -- **멀티테넌시** — 프로젝트(테넌트)별 DB·파이프라인·인시던트 격리. +| 영역 | 내용 | +| --- | --- | +| 인증·Workspace | 이메일/비밀번호 로그인, JWT, Workspace 생성·멤버·설정, Workspace 단위 Kafka principal secret reference 조회 | +| Database Registry | PostgreSQL/MariaDB 연결 테스트·등록, schema 탐색, CDC source/sink readiness 점검, DB metrics | +| Pipeline | UI wizard·API로 CDC(direct)·EDA(fan-out) 생성, 테이블 단위 Debezium source / JDBC sink, pause·resume·delete lifecycle | +| Provisioning | Fabric8 + Strimzi `KafkaConnector` CR 생성, status watcher, topic/connector naming 규칙, `timestamptz` custom converter 포함 Connect 이미지 | +| Monitoring | pipeline·connector·task 상태, consumer lag, topic messages, CDC sync 근사치, cluster overview, SSE event stream | +| AI Agent | 자연어 질의, incident RCA workflow, 35종 root cause catalog, evidence matrix, verifier loop, HITL approval·action | +| Governance | `/internal/ops` 경계, mutation allowlist, `PolicyGuard`, approval·change ticket·idempotency·audit | ## 아키텍처 +```mermaid +flowchart TB + User[Browser] --> FE[Frontend
React + Vite] + FE -->|auth · workspaces · databases · pipelines · monitoring| OPS[Operations Backend
Spring Boot] + FE -->|agent query · SSE| AI[AI Service
FastAPI Agent] + AI -->|/internal/ops only| OPS + + subgraph ControlPlane[Control Plane] + OPS --> META[(metadb
PostgreSQL)] + AI --> AGENTDB[(agentdb
PostgreSQL + pgvector)] + AI --> LLM[LLM Provider
optional] + end + + subgraph Runtime[Data / Runtime Plane] + OPS --> K8S[Fabric8 / Kubernetes API] + OPS --> STRIMZI[Strimzi KafkaConnector CR] + OPS --> CONNECT[Kafka Connect REST] + OPS --> KAFKA[Kafka AdminClient] + OPS --> OBS[Prometheus / Loki / Tempo] + STRIMZI --> CONNECT + CONNECT --> TOPIC[Kafka Topic] + SOURCE[(Source DB)] --> CONNECT + CONNECT --> SINK[(Sink DB · CDC direct)] + TOPIC --> CONSUMER[External Consumer · EDA fan-out] + end ``` - Browser - │ /api - ▼ -┌──────────────┐ /api/v1/agent ┌──────────────────────┐ -│ frontend │ ─────────────────────────▶ │ ai-service │ -│ React/Vite │ │ FastAPI (8082) │ -│ (5173) │ │ RCA 에이전트 · LLM │ -└──────┬───────┘ │ pgvector 지식베이스 │ - │ /api └───────────┬──────────┘ - ▼ │ /internal/ops -┌──────────────────────────┐ ◀──────────────────────────┘ -│ operations-backend │ -│ Spring Boot (8080) │ 인증 · datasource/pipeline 도메인 · K8s/Kafka 자동화 -└──────────────┬────────────┘ - │ provisioning - ▼ -┌────────────────────────────────────────────────────────────┐ -│ Kubernetes (EKS) · Strimzi Kafka · Kafka Connect │ -│ Debezium(source) → Kafka Topic → JDBC Connect(sink) │ -└────────────────────────────────────────────────────────────┘ -``` -- **operations-backend** (Spring Boot 모놀리스) — 플랫폼 API, 인증, datasource·pipeline 도메인, K8s/Kafka 자동화. 에이전트 전용 내부 API `/internal/ops/**`는 외부에 노출하지 않습니다. -- **ai-service** (FastAPI) — RCA 에이전트, LLM 도구 라우팅(planner·retrieval), 인시던트 분석, pgvector 지식베이스, 운영자 피드백 gold set. -- **frontend** (React·Vite·TypeScript) — 콘솔 UI, 파이프라인·인시던트 대시보드, AI 채팅 패널. +대표적인 요청 흐름은 세 가지입니다. + +1. **파이프라인 생성** — Frontend wizard → Spring platform API → Fabric8가 Strimzi `KafkaConnector` CR 생성 → watcher가 상태 추적 +2. **장애 진단** — 사용자 질의/incident → FastAPI Agent가 read-only 조회 + catalog/evidence 기반 RCA → verifier 검증 → 근거와 함께 응답(SSE) +3. **승인된 조치 실행** — Agent가 만든 조치 후보 → `/internal/ops`에서 policy·approval·idempotency·audit → Kafka Connect REST 조치 + +### 서비스 책임 -> 브라우저/외부 클라이언트는 `/api/**` 또는 FastAPI `/api/v1/agent/**`만 사용하고, FastAPI가 내부 DNS로 Spring Boot `/internal/ops/**`를 호출합니다. Spring Boot는 단일 모놀리스이며, core/orchestrator 분리는 [ADR 0004](docs/adr/0004-monorepo-monolith.md)로 흡수되었습니다. +- **`services/operations-backend`** (Spring Boot) — 플랫폼 본체. 인증, Workspace, DB registry, pipeline lifecycle, provisioning, monitoring, governance, `/internal/ops` 집행 경계. +- **`services/ai-service`** (FastAPI) — 장애대응 AI 계층. Supervisor가 진단 경로(`correlation → planner → retrieval → classifier → rca → verifier → report`)를 제어하고, remediation 요청 시 `remediation → policy_guard → approval_gate`가 덧붙으며, 승인된 조치 실행은 별도 `action_execution` 경로(executor)에서 Spring `/internal/ops`로 위임. +- **`services/frontend`** (React/Vite) — 운영 콘솔. Spring·FastAPI API를 함께 호출, pipeline·database·alerts·cluster·settings 화면과 AI Agent panel 제공. +- **`connect-plugins/timestamptz-converter`** — Debezium PostgreSQL `timestamptz`를 Kafka Connect `Timestamp` 논리 타입으로 변환하는 custom converter. ## 기술 스택 -| 영역 | 스택 | +| 구분 | 사용 기술 | | --- | --- | -| Backend | Java 21, Spring Boot, Gradle | -| AI | Python 3.11, FastAPI, LLM, pgvector | -| Frontend | React, Vite, TypeScript, Tailwind CSS | -| Data plane | Apache Kafka (Strimzi), Debezium, Kafka Connect (JDBC) | -| Datastore | PostgreSQL(metadb), pgvector(agentdb), 테넌트 DB(PostgreSQL/MariaDB) | -| Build/CI/CD | Gradle multi-module(`operations-backend`, `timestamptz-converter`), Jenkins(Kaniko), Harbor, Argo CD GitOps | -| Infra | AWS EKS(Terraform), Strimzi, ingress-nginx+cert-manager, Sealed Secrets | -| Observability | Prometheus, Grafana, Loki, Tempo | +| JVM Backend | Java 21, Spring Boot 3.3.5, Spring Security/Data JPA/Kafka, SSE, springdoc-openapi, Gradle multi-project | +| Infra Client | Fabric8 Kubernetes Client 6.13.4, Strimzi API 0.45.0, Kafka Clients 3.7.1, Flyway, PostgreSQL·MariaDB JDBC | +| AI Backend | Python 3.11+, FastAPI, Pydantic v2, httpx, asyncpg, Alembic, OpenAI SDK, OpenTelemetry | +| Frontend | React 18.3, TypeScript 5.7, Vite 6, Tailwind CSS 4, React Router, Recharts, React Markdown, Three.js, Vitest | +| Data Plane | Apache Kafka, Strimzi, Kafka Connect, Debezium PostgreSQL/MariaDB, Confluent JDBC Sink | +| Storage | PostgreSQL metadb, PostgreSQL/pgvector agentdb, PostgreSQL·MariaDB tenant DB | +| CI/CD · Infra | Terraform(EKS), Kubernetes, Jenkins, Kaniko, Harbor, Argo CD GitOps, SealedSecrets(gitops branch) | +| Observability | Prometheus, OpenTelemetry OTLP (Grafana·Loki·Tempo 연동) | + +## 디렉터리 구조 + +```text +bifrost/ +├─ services/ +│ ├─ operations-backend/ Spring Boot 플랫폼 API · internal ops executor +│ ├─ ai-service/ FastAPI RCA/Agent 서비스 +│ └─ frontend/ React/Vite 운영 콘솔 +├─ connect-plugins/ +│ └─ timestamptz-converter/ Kafka Connect custom converter (Gradle 모듈) +├─ infra/ +│ ├─ terraform/ EKS Terraform (environments/dev · modules/eks) +│ ├─ k8s/ Strimzi · Kafka · Connect · monitoring manifest +│ ├─ cicd/ Jenkins · Argo CD · Harbor bootstrap +│ ├─ docker/kafka-connect/ Custom Kafka Connect 이미지 +│ └─ local/ 로컬 tenant DB · smoke-test helper +├─ docs/ 스펙 · 설계 · API · ADR +├─ docker-compose.yml 로컬 Kafka/metadb/tenantdb/agentdb/WireMock 스택 +├─ Jenkinsfile CI/CD 파이프라인 +└─ Makefile Terraform · kubeconfig · Strimzi · compose 단축 명령 +``` -## 빠른 시작 +## 로컬 실행 -### Prerequisites +로컬은 **의존 인프라를 Compose로 띄우고 각 애플리케이션 서비스를 직접 실행**하는 구성입니다. `docker-compose.yml`은 Kafka·Connect·DB·WireMock 등 인프라와 `ai-service`만 정의하며, `operations-backend`와 `frontend`는 아래처럼 별도로 실행합니다. -- JDK 21 (Temurin 권장) -- Node 20+ -- Python 3.11+ -- Docker + Docker Compose +**Prerequisites** — JDK 21 · Node.js 20+ · Python 3.11+와 `uv` · Docker Compose (선택: Strimzi 대상 `KUBECONFIG`) -### 로컬 실행 +> 파이프라인 provisioning의 정본 경로는 Strimzi `KafkaConnector` CR입니다. 로컬 Compose 스택은 개발/스모크 용도이며, CR 생성·watcher까지 보려면 kind/EKS 등 Kubernetes + Strimzi가 필요합니다. ```bash -# 1. 의존 인프라(Kafka, metadb, 테넌트 DB 시뮬레이터, agentdb 등) 기동 -docker compose up -d # 또는 ./scripts/local-up.sh - -# 2. operations-backend (Spring Boot) -JAVA_HOME=$(/usr/libexec/java_home -v 21) ./gradlew :services:operations-backend:bootRun - -# 3. ai-service (FastAPI) -cd services/ai-service -python -m venv .venv && .venv/bin/pip install -e . -.venv/bin/uvicorn app.main:app --reload --port 8082 - -# 4. frontend (React) -cd services/frontend -npm install && npm run dev +# 1. 로컬 의존 인프라 기동 (make local-up 과 동일) +docker compose up -d meta-db tenant-postgres tenant-mariadb kafka kafka-connect kafka-ui agentdb wiremock + +# 2. Operations Backend (Spring) — dev 프로필, env는 예시값 +SPRING_PROFILES_ACTIVE=dev \ +META_DB_URL=jdbc:postgresql://localhost:5433/metadb \ +KAFKA_BOOTSTRAP=localhost:9094 \ +KAFKA_CONNECT_REST_URL=http://localhost:8083 \ +INTERNAL_OPS_AUTH_DISABLED=true \ +./gradlew :services:operations-backend:bootRun + +# 3. AI Service (FastAPI) — 별도 터미널, agentdb는 Compose에서 localhost:5435 +(cd services/ai-service && uv sync && \ + AI_DATABASE_URL=postgresql+asyncpg://agent:agent@localhost:5435/agentdb uv run alembic upgrade head) +(cd services/ai-service && \ + AI_SPRING_OPS_BASE_URL=http://localhost:8080 \ + AI_DATABASE_URL=postgresql+asyncpg://agent:agent@localhost:5435/agentdb \ + uv run uvicorn app.main:app --port 8082 --reload) + +# 4. Frontend — 별도 터미널 +(cd services/frontend && npm install && npm run dev) ``` -접속: +LLM API key가 없으면 AI Service는 fallback 응답으로 동작합니다. 서비스별 필수 환경변수는 각 서비스 디렉터리의 설정과 `application-dev.yml`을 참고하세요. README에는 민감한 production secret을 포함하지 않습니다. | 대상 | URL | | --- | --- | -| Frontend | http://localhost:5173 | -| Platform API (Swagger) | http://localhost:8080/swagger-ui.html | -| AI Service (OpenAPI) | http://localhost:8082/docs | -| Kafka UI | http://localhost:8090 | +| Frontend | `http://localhost:5173` | +| Spring Swagger UI | `http://localhost:8080/swagger-ui.html` | +| FastAPI OpenAPI | `http://localhost:8082/docs` | +| Kafka UI | `http://localhost:8090` | +| Kafka Connect REST | `http://localhost:8083` | -## 프로젝트 구조 +## 테스트와 빌드 -``` -bifrost/ -├─ docs/ 문서·ADR·명세 (Source of Truth) -├─ services/ -│ ├─ operations-backend/ Spring Boot — 플랫폼 API·K8s/Kafka 자동화 -│ ├─ ai-service/ FastAPI — RCA 에이전트·LLM -│ └─ frontend/ React UI -├─ connect-plugins/ Kafka Connect 커스텀 컨버터 Gradle 모듈 -├─ infra/ Terraform·K8s manifest·CI/CD bootstrap -├─ scripts/ 로컬/배포 스크립트 (local-up.sh 등) -└─ docker-compose.yml 로컬 의존 인프라 +```bash +./gradlew :services:operations-backend:test # Spring Boot +./gradlew :connect-plugins:timestamptz-converter:test # Kafka Connect converter +cd services/ai-service && uv run pytest # FastAPI +cd services/frontend && npm run test && npm run build # Frontend ``` -## CI/CD·배포 +주요 테스트 축은 governance gate, Strimzi mapper·provisioner, RCA catalog·evidence·verifier, frontend Agent SSE·pipeline wizard helper입니다. -- Jenkins `bifrost-ci`는 `jenkins-values.yaml`의 JCasC/job-dsl로 생성되는 단일 Pipeline job이며, SCM 브랜치는 `*/main`, scriptPath는 루트 `Jenkinsfile`이다. -- `main` push/webhook 빌드에서 직전 성공 커밋 대비 변경된 앱 서비스(`services/ai-service`, `services/operations-backend`, `services/frontend`)만 Kaniko로 빌드해 Harbor `harbor.harbor.svc.cluster.local/library/bifrost-:`와 `:latest`에 push한다. -- `operations-backend`는 멀티모듈 Gradle 빌드라 Kaniko 컨텍스트가 레포 루트이고, `ai-service`와 `frontend`는 각 서비스 디렉터리를 컨텍스트로 쓴다. -- `infra/docker/kafka-connect` 또는 `connect-plugins/` 변경 시 Kafka Connect 커스텀 이미지도 루트 컨텍스트로 빌드해 고정 태그 `1.0.0-converter`, git sha, `latest`로 Harbor에 push한다. 앱 서비스처럼 GitOps tag를 자동 변경하지는 않는다. -- 앱 서비스 배포는 Jenkins가 `gitops` 브랜치의 `charts//values.yaml` `image.tag`만 커밋하고, Argo CD `0-root-bifrost-root` app-of-apps가 `argocd/apps/`의 10개 child Application을 polling/reconcile해 적용한다. +## 인프라와 배포 -## 개발 +- `infra/terraform`이 기존 VPC/Subnet 위에 EKS 클러스터·노드그룹을 구성합니다(`environments/dev`, `modules/eks`). +- Kubernetes runtime은 namespace 경계로 Kafka/Connect, Bifrost services, registry, CI/CD, GitOps, monitoring, metadb·agentdb·tenantdb를 분리합니다. +- Kafka는 Strimzi 기반 KRaft cluster, Kafka Connect는 Debezium·JDBC Sink·custom `timestamptz` converter를 포함한 custom image를 사용합니다. +- Jenkins는 변경된 app service만 Kaniko로 build/push하고 `gitops` 브랜치의 Helm values image tag를 갱신합니다. +- **이 저장소(기본 브랜치)** 에는 EKS Terraform(`infra/terraform`), Strimzi/Kafka/Connect/monitoring manifest, Jenkins·Argo CD·Harbor bootstrap이 있습니다. +- **애플리케이션 배포 정본(app-of-apps, 서비스 Helm chart, SealedSecrets)은 별도 `gitops` 브랜치**에 있으며 Argo CD가 이를 reconcile합니다. +- secret 값·token·production endpoint는 README에 포함하지 않습니다. -브랜치·커밋·PR 컨벤션은 [docs/team/git-convention.md](docs/team/git-convention.md)를 따릅니다. +## 설계에서 신경 쓴 점 -- **브랜치 모델**: `main`(배포 가능) ← `develop`(통합) ← 작업 브랜치 `{type}/#{이슈번호}` -- **작업 흐름**: GitHub Issue 생성 → 브랜치 → PR(대상 `develop`) → **Squash & merge**. `main ← develop`은 릴리스 시점에만. -- **타입**: `feat` · `fix` · `chore` · `docs` · `refactor` (커밋은 `test` 추가) -- **커밋 메시지**: `#{이슈번호} [type] 메시지` -- **보호**: `main`·`develop` 직접 푸시 금지, PR·CI 통과 필수 +- **v1 Agent는 pipeline 생성을 직접 실행하지 않습니다.** 파이프라인 생성은 UI wizard·Spring platform API가 정본 경로입니다. +- **Agent mutation과 platform 조치의 책임이 다릅니다.** `POST /pipelines/{id}/pause|resume`(platform)와 Agent mutation tool은 경로가 구분되며, Agent 변경은 `/internal/ops`에서 approval·idempotency·audit을 거칩니다. +- Workspace KafkaUser provisioning은 SCRAM-SHA-512 인증 CR을 생성합니다. Kafka ACL authorization은 cluster authorizer 설정에 의존해 현재 코드에서 제외돼 있습니다. +- monitoring poller는 event row를 만들지만 완전 자동 incident 생성·RCA trigger는 제한적이며, RCA run은 주로 Alerts/Agent 경로에서 사용자 시작으로 수행됩니다. +- DB credential은 metadb secret store에 저장될 수 있으나 API 응답·로그에 raw material을 노출하지 않습니다. -## 팀 +## 문서 -| 이름 | 역할 | 담당 | GitHub | Email | -| --- | --- | --- | --- | --- | -| 이성민 | **PM** | Spring Boot | [@seongmin0229](https://github.com/seongmin0229) | leesung2925@gmail.com | -| 정재환 | **PL** | 인프라 · Frontend · CI/CD | [@hwnnn](https://github.com/hwnnn) | 2020112023@dgu.ac.kr | -| 백강민 | Backend | Spring Boot | [@baekkangmin](https://github.com/baekkangmin) | rkdgur1902@naver.com | -| 권세빈 | AI | FastAPI | [@sebeeeen](https://github.com/sebeeeen) | a856412@gmail.com | -| 김연수 | AI | FastAPI | [@sooooscode](https://github.com/sooooscode) | sooooscode@gmail.com | +[문서 인덱스](docs/README.md) · [기능 명세](docs/spec.md) · [Spring 설계](docs/design/backend-springboot/overview.md) · [FastAPI 설계](docs/design/backend-fastapi/overview.md) · [Frontend 설계](docs/design/frontend.md) · [Infra 설계](docs/design/infra.md) · [Spring API](docs/api/springboot.md) · [FastAPI API](docs/api/fastapi.md) · [ADR](docs/adr/) · [Git Convention](docs/team/git-convention.md) -## 문서 +## Team -- [문서 인덱스](docs/README.md) -- [기능 명세 (Spec)](docs/spec.md) -- [ADR (Architecture Decision Records)](docs/adr/) -- [Git 컨벤션](docs/team/git-convention.md) +| 이름 | 역할 | 담당 | +| --- | --- | --- | +| 이성민 | PM | Spring Boot | +| 정재환 | PL | Infra · Frontend · CI/CD | +| 백강민 | Backend | Spring Boot | +| 권세빈 | AI | FastAPI | +| 김연수 | AI | FastAPI | ## License -캡스톤 프로젝트 — 라이선스 미정. +루트 `LICENSE` 파일이 아직 없습니다. 공개 배포 전 라이선스 확정이 필요합니다. From 8c545f72b49128bfc705a3fdedef08b6634840f7 Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?=EC=84=B8=EB=B9=88=20=EA=B6=8C?= Date: Sat, 27 Jun 2026 20:44:27 +0900 Subject: [PATCH 2/3] =?UTF-8?q?#1012=20[docs]=20README=20=ED=8F=AC?= =?UTF-8?q?=ED=8A=B8=ED=8F=B4=EB=A6=AC=EC=98=A4=20=EC=A0=95=EB=B9=84=20?= =?UTF-8?q?=E2=80=94=20=EB=A1=9C=EA=B3=A0=C2=B7=EC=BD=98=EC=86=94=20?= =?UTF-8?q?=EC=8A=A4=ED=81=AC=EB=A6=B0=EC=83=B7=C2=B7=EB=B0=9C=ED=91=9C=20?= =?UTF-8?q?=EC=9E=90=EB=A3=8C=20=EB=A7=81=ED=81=AC=20=EC=B6=94=EA=B0=80,?= =?UTF-8?q?=20Team=20=EC=A0=9C=EA=B1=B0?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit 히어로/화면 섹션에 실제 콘솔 스크린샷(파이프라인·RCA·조치)을 넣고, 자체 완결형 발표 덱(docs/pitch-deck.html)을 추가해 상단에서 링크. 캡스톤성 Team R&R 표는 제거. Co-Authored-By: Claude Opus 4.8 --- README.md | 39 +- docs/pitch-deck.html | 975 +++++++++++++++++++++++++++++++++++++++++++ 2 files changed, 1002 insertions(+), 12 deletions(-) create mode 100644 docs/pitch-deck.html diff --git a/README.md b/README.md index 1356ec98..87f6d255 100644 --- a/README.md +++ b/README.md @@ -1,6 +1,10 @@ -# Bifrost +

+ Bifrost +

-> 데이터베이스를 등록하면 CDC/EDA 파이프라인을 구성하고, 운영 중 발생하는 장애 신호를 evidence 기반 AI Agent가 진단하는 DataOps/AIOps 플랫폼. +

Bifrost

+ +

데이터베이스를 등록하면 CDC/EDA 파이프라인을 구성하고, 운영 중 발생하는 장애 신호를 evidence 기반 AI Agent가 진단하는 DataOps/AIOps 플랫폼

![Java 21](https://img.shields.io/badge/Java-21-007396?logo=openjdk&logoColor=white) ![Spring Boot 3.3.5](https://img.shields.io/badge/Spring%20Boot-3.3.5-6DB33F?logo=springboot&logoColor=white) @@ -10,6 +14,14 @@ ![Kafka / Strimzi](https://img.shields.io/badge/Kafka%20%2F%20Strimzi-Connect-231F20?logo=apachekafka&logoColor=white) ![Kubernetes / EKS](https://img.shields.io/badge/Kubernetes-EKS-326CE5?logo=kubernetes&logoColor=white) +

발표 자료 · 문서 · 로컬 실행

+ +

+ Bifrost 운영 콘솔 — 파이프라인 목록과 AI 인시던트 패널 +
+ 운영 콘솔 — 파이프라인 상태와 AI Agent 인시던트 패널 +

+ Kafka, Debezium, Kafka Connect, Kubernetes를 직접 다루지 않고도 데이터베이스 중심으로 스트리밍 파이프라인을 만들고 운영할 수 있게 하는 것이 목표입니다. 사용자는 Workspace에 Source/Sink DB를 등록하고 테이블 단위로 CDC(direct)·EDA(fan-out) 파이프라인을 생성하며, lag·connector failure·schema mismatch 같은 운영 신호를 콘솔과 AI Agent로 확인합니다. 핵심적으로 구현한 것은 다음 세 가지입니다. @@ -40,6 +52,19 @@ Kafka, Debezium, Kafka Connect, Kubernetes를 직접 다루지 않고도 데이 | AI Agent | 자연어 질의, incident RCA workflow, 35종 root cause catalog, evidence matrix, verifier loop, HITL approval·action | | Governance | `/internal/ops` 경계, mutation allowlist, `PolicyGuard`, approval·change ticket·idempotency·audit | +## 화면 + + + + + + + + + + +
evidence 기반 RCA승인 기반 조치 후보
evidence 기반 RCA — confidence와 근거가 부족하면 UNKNOWN_WITH_EVIDENCE_GAP으로 보류하고 추가 evidence를 요구조치 후보 — 위험도(낮음·중간)와 승인 상태, 근거 리포트를 함께 제시하고 실행은 /internal/ops 경계를 통과
+ ## 아키텍처 ```mermaid @@ -192,16 +217,6 @@ cd services/frontend && npm run test && npm run build # Frontend [문서 인덱스](docs/README.md) · [기능 명세](docs/spec.md) · [Spring 설계](docs/design/backend-springboot/overview.md) · [FastAPI 설계](docs/design/backend-fastapi/overview.md) · [Frontend 설계](docs/design/frontend.md) · [Infra 설계](docs/design/infra.md) · [Spring API](docs/api/springboot.md) · [FastAPI API](docs/api/fastapi.md) · [ADR](docs/adr/) · [Git Convention](docs/team/git-convention.md) -## Team - -| 이름 | 역할 | 담당 | -| --- | --- | --- | -| 이성민 | PM | Spring Boot | -| 정재환 | PL | Infra · Frontend · CI/CD | -| 백강민 | Backend | Spring Boot | -| 권세빈 | AI | FastAPI | -| 김연수 | AI | FastAPI | - ## License 루트 `LICENSE` 파일이 아직 없습니다. 공개 배포 전 라이선스 확정이 필요합니다. diff --git a/docs/pitch-deck.html b/docs/pitch-deck.html new file mode 100644 index 00000000..9c750b36 --- /dev/null +++ b/docs/pitch-deck.html @@ -0,0 +1,975 @@ + + + + + +Bifrost — 제안 발표 + + + + + +
+
+
+
+ + +
+
bifrost.
+
데이터 파이프라인 운영의 지능화.
+
+ + +
+
01
+

데이터 파이프라인,
왜 필요할까?

+
먼저, 누구나 아는 익숙한 장면 하나로 시작하겠습니다.
+
+ + +
+
+
사례
+

이미 많은 기업이 구축 중인 데이터 파이프라인

+
+
+
+
+ +

농협 · 금융

+

1,110개 법인 데이터를 1초 미만으로 통합

+
전자신문, 2026.3
+
+
+ +

토스증권 · 핀테크

+

거래 데이터를 분석·ML에 실시간 공급

+
토스 기술블로그
+
+
+ +

배달의민족 · 테크

+

주문 변경을 실시간으로 전파

+
우아한형제들 기술블로그
+
+
+ +

카카오 · 플랫폼

+

대용량 DB 동기화 데이터 파이프라인

+
if(kakao) · 카카오클라우드
+
+
+ +

하이퍼커넥트 · 글로벌

+

사내 표준 데이터 파이프라인 구축·운영

+
Hyperconnect 기술블로그
+
+
+ +

Netflix · 글로벌

+

추천·이상탐지 데이터 실시간 수집

+
VentureBeat
+
+
+ +

Uber · 글로벌

+

서비스 간 데이터 일관성 유지

+
VentureBeat
+
+
+ +

Airbnb · 글로벌

+

데이터 파이프라인을 인프라 핵심으로

+
VentureBeat
+
+
+
+
bifrost출처: 전자신문 · VentureBeat · 각 사 기술블로그
+
+ + +
+
+
왜 필요한가
+

왜 데이터 파이프라인이 필요했을까?

+
+
+
+
+
목표이탈 방지 — 실시간 추천·부정탐지
+
데이터가 수많은 마이크로서비스에 흩어져 — 모으지 않으면 추천이 낡고, 계정 도용을 놓친다
+
→ 구축변경분(CDC)을 실시간으로 한곳에 모으는 파이프라인 직접 구축
+
+
+
목표초개인화 + 실시간 이상거래탐지(FDS)
+
고객 데이터가 1,110개 법인에 흩어져 — 통합 못 하면 한 고객을 못 보고, 야간 배치로는 초 단위 사기를 놓친다
+
→ 구축1초 미만 통합 상용 CDC(오라클 GoldenGate) 도입
+
+
+
서비스가 커지고 새로 늘어날수록 — 데이터를 잇는 일은 더욱 절실
+
+
bifrost출처: VentureBeat(Netflix CDC), 전자신문(농협, 2026.3)
+
+ + +
+
+
+
시스템 2개연결 1
+ → +
시스템 6개연결 15
+ → +
시스템 10개연결 45
+
+
시스템이 늘수록, 이어야 할 데이터 연결은 폭증합니다.
+
서비스가 커지고 새로 늘어날수록,
데이터 파이프라인은 피할 수 없는 과제가 됩니다.
+
+
+ + +
+
+
시장
+

그리고 이 시장은, 빠르게 커지고 있습니다

+
+
+
+
+
$12B
2024
+
$15B
2025
+
$19B
2026
+
$25B
2027
+
$31B
2028
+
$39B
2029
+
$48B
2030
+
+
+
+
+26.8% /년
+
데이터 파이프라인 도구 시장
연평균 성장률(CAGR)
+
+
연 +26.8%가 쌓이면 — 6년 새 약 4배로
성장할 전망 ($12B → $48B, USD)
+
※ 2025년 이후는 시장 예측치 · 데이터 통합 시장도 $33B(2030) 전망
+
+
+
+
bifrost출처: Grand View Research(데이터 파이프라인 도구), MarketsandMarkets(데이터 통합)
+
+ + +
+
+
painpoint
+

진짜 문제는 — 만들고 운영하는 것

+
+
+
+
+
PAINPOINT 1
+
🛠️
+

어려운 구축

+

커넥터·토픽·정합성을
직접 설계·구축

+
+
+
PAINPOINT 2
+
🚨
+

운영 난제

+

장애 감지·원인·조치를
사람이 24시간

+
+
+
PAINPOINT 3
+
📊
+

흩어진 현황

+

모니터링을
따로 구축·연동

+
+
+
PAINPOINT 4
+
💬
+

높은 진입장벽

+

콘솔·CLI
숙련이 필요

+
+
+
여기에 상용 솔루션·전문 인력 비용까지 — 이 모든 painpoint를 Bifrost가 해결
+
+
bifrost
+
+ + +
+
02
+

그래서 우리는,
운영까지 AI가 함께하는
데이터 파이프라인 플랫폼을 만들었습니다

+
+ + +
+
+
솔루션
+

각 painpoint를, 이 기능으로 해결

+
+
+
+
+
PAINPOINT 1 · 구축만들기가 어렵고 오래 걸린다커넥터·토픽·정합성 직접 설계 · 수일~수주
+
→
+
⚙️

파이프라인 자동 구축

DB 등록만으로 파이프라인 자동 생성 — 분 단위
+
+
+
PAINPOINT 2 · 운영장애 대응이 진짜 난제감지·원인 분석·조치를 사람이 24시간
+
→
+
🤖

AI 운영 핵심

AI가 장애 감지·원인 분석·조치 제안 (사람 승인)
+
+
+
PAINPOINT 3 · 관측현황이 흩어져 안 보인다모니터링 도구를 따로 구축·연동
+
→
+
📊

통합 관측

파이프라인·클러스터·장애를 한 콘솔에서
+
+
+
PAINPOINT 4 · 접근성다루기가 어렵다콘솔·CLI 숙련이 필요
+
→
+
💬

자연어 운영 Agent

“최근 장애 원인은?” 물으면 응답·조치 수행
+
+
+
+
bifrost
+
+ + +
+
+
타겟
+

누구를 위한 것인가

+
+
+
+
+
✓
데이터를 잇는 수요가 있다

서비스·시스템이 늘며 DB 간 실시간 연동·이벤트가 필요

+
✓
빠르게 구축해야 한다

전담 데이터플랫폼팀을 새로 꾸릴 여건은 부족

+
✓
운영 역량이 부족하다

데이터 파이프라인 장애를 깊이 진단·대응할 인력·지식이 부족

+
✓
데이터를 외부로 보내기 어렵다

망분리·보안 — SaaS로 데이터를 반출할 수 없음

+
→ 상용은 과하고, 직접 구축은 버거운 다수 조직
+
+
+
+ AI 운영 지능화 → + 비용 효율성 → +
Bifrost설치형 · AI 운영
+
Debezium오픈소스 · 직접 구축
+
GoldenGate상용 · 고가
+
관리형 SaaSFivetran·Hevo
+
+
+
+
+
bifrost※ 전제: 고객이 Kubernetes(EKS) 클러스터를 운영 중
+
+ + +
+
+
① 구축
+

파이프라인 생성 — 데이터 동기화 · 이벤트 전달

+
새 연동을 수주가 아니라 — 등록 한 번이면 분 단위로
+
+
+
+
+
파이프라인 생성×
+
+ 연결 방식› + Source› + 테이블› + 확인 +
+
+
연결 방식을 선택하세요
+
+
데이터 동기화DB → DB 복제
+
이벤트 전달변경 → 여러 서비스
+
+
+
이전다음
+
+
+
+
데이터 동기화
+

데이터 실시간 복제

+

원본 DB의 변경을 다른 DB로 실시간 복제합니다.

+
분석용 DB · 복제본 · 무중단 마이그레이션
+
+
+
이벤트 전달
+

이벤트 기반 전달

+

데이터 변경을 이벤트로 전달하여, 여러 서비스가 실시간으로 반응합니다.

+
알림 · 검색 · 추천 등 MSA 환경
+
+
+
+
+
bifrost[움짤 삽입] DB 등록 → 파이프라인 자동 생성 시연
+
+ + +
+
+
② AI 운영 · 핵심
+

AI 운영 — 감지부터 조치까지

+
장애를 사람이 쫓지 않아도 — AI가 원인·조치를 제시
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
AI 근본 원인 분석
+
+
+
+
권장 조치
+
+
+
+
+
+
+
+
1
감지
커넥터 실패·소비 지연(lag)을 자동 포착
+
2
원인 분석
여러 신호를 묶어 원인을 평문으로 정리
+
3
조치 추천 + 승인
예: 커넥터 재시작 — 사람이 승인(HITL)
+
+
+
+
bifrost[움짤 삽입] 장애 발생 → AI 원인·조치 → 승인 · ※ 운영 장애(연결·지연) 범위
+
+ + +
+
+
③ 통합 관측
+

흩어진 모니터링을 한 화면에

+
모니터링을 따로 구축하지 않아도 — 상태·장애를 한 눈에
+
+
+
+
+
+
+
+
128처리량/s
+
0Consumer Lag
+
12가동 파이프라인
+
1인시던트
+
+
+
+
+
→
+
→
+
→
+
→
+
+
+
+
+
+
+
+
+
+
✓
상태·처리량·지연을 한 눈에
파이프라인·클러스터·장애를 하나의 콘솔에서
+
✓
모니터링을 따로 구축할 필요 없음
설치하면 관측까지 함께 제공됩니다
+
★
앞서 본 AI 운영이 이 관측 위에서 동작
관측 신호를 묶어 장애를 감지·분석
+
+
+
+
bifrost[움짤 삽입] 대시보드에서 상태·장애 확인 시연
+
+ + +
+
+
④ 자연어 운영
+

자연어로 운영 — 묻고, 조치까지

+
콘솔 숙련 없이 — 평문으로 묻고 바로 조치
+
+
+
+
+
+
+
최근 발생한 장애의 원인이 뭐야?
+
+
Bifrost Agent
+
+
+
+
그럼 커넥터 재시작해줘
+
+
+
+
+
1
평문으로 질문
현황·원인·이력을 자연어로 조회
+
2
Agent가 도구를 조합해 응답
관측·운영 데이터를 묶어 근거와 함께
+
★
조치까지 — 사람이 승인(HITL)
콘솔 숙련 없이도 안전하게 운영
+
+
+
+
bifrost[움짤 삽입] 자연어로 질문 → Agent 응답 → 조치 승인
+
+ + +
+
03
+

데이터 파이프라인 솔루션과
무엇이 다른가

+
+ + +
+
+
차별점
+

데이터 파이프라인 솔루션 기능 비교

+
+
+
+
+
기능
+
GoldenGate상용
+
Debezium직접
+
Fivetran·Hevo관리형 SaaS
+
Bifrost
+
+
+
실시간 로그 기반 CDC
+
✓
✓
✓
✓
+
+
+
파이프라인 자동 구축
+
✗
✗
✓
✓
+
+
+
운영 장애 자동 감지
+
△
✗
△
✓
+
+
+
AI 원인 분석·조치 추천
+
✗
✗
✗
✓
+
+
+
통합 콘솔 (관측 + 운영)
+
△
✗
✓
✓
+
+
+
라이선스 · 비용
+
✗고가
+
✓무료
+
△구독료
+
✓오픈소스
+
+
+
데이터, 고객 환경에 잔류
+
✓설치형
+
✓직접
+
✗외부 전송
+
✓고객 K8s
+
+
+
+
bifrost출처: Oracle 공식 교육과정·OGG 제품자료 · 토스·우아한형제들 기술블로그 · 각 제품 공개 자료
+
+ + +
+
04
+

참고 — 구축과 운영,
그 비용도 작지 않습니다

+
가치가 먼저, 비용 절감은 덤입니다.
+
+ + +
+
+
비용 (참고)
+

데이터 파이프라인 구축·운영 비용

+
+
+
+
+
수일~수주
+
새 연동 1건을 만드는 데 (복잡하면 수개월)
+
Canva는 커스텀 연동에 3개월 — Airbyte/Fivetran
+
+
+
70%
+
파이프라인 운영을 ‘복잡하다’고 답한 데이터 실무자
+
Soda 데이터 품질 조사
+
+
+
연 ~5억
+
파이프라인을 만들고 유지하는 전담 팀 비용 (≈$52만/년)
+
Wakefield / Monte Carlo
+
+
+
15시간
+
데이터 장애 1건 평균 해결 시간 (전년比 +166%)
+
Monte Carlo, 2023
+
+
+
+
bifrost출처: Soda, Wakefield/Monte Carlo(2023), Airbyte/Fivetran build-vs-buy
+
+ + +
+
+
구축은 자동으로, 운영 장애는
AI가 감지·분석하고 조치를 제안합니다.
+
사람이 직접 대응하던 데이터 파이프라인 운영을, 이제 AI가 함께합니다.
+
고객의 Kubernetes(EKS) 클러스터에 설치 — 데이터는 외부로 나가지 않습니다.
+
+
+ + +
+
+
bifrost.
+
데이터 파이프라인 운영의 지능화.
+
감사합니다. — Q&A
+
+
+ +
+
+
← → 또는 클릭으로 이동 · F 전체화면
+ + + + From 1ed04c5611e9715c4cda1406bbce7014148acc23 Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?=EC=84=B8=EB=B9=88=20=EA=B6=8C?= Date: Sat, 27 Jun 2026 20:47:40 +0900 Subject: [PATCH 3/3] =?UTF-8?q?#1012=20[docs]=20=EB=B0=9C=ED=91=9C=20?= =?UTF-8?q?=EC=9E=90=EB=A3=8C(pitch-deck)=20=EC=A0=9C=EA=B1=B0=20=E2=80=94?= =?UTF-8?q?=20README=20=EB=B0=9C=ED=91=9C=20=EB=A7=81=ED=81=AC=C2=B7?= =?UTF-8?q?=EB=8D=B1=20=ED=8C=8C=EC=9D=BC=20=EC=82=AD=EC=A0=9C?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit Co-Authored-By: Claude Opus 4.8 --- README.md | 2 +- docs/pitch-deck.html | 975 ------------------------------------------- 2 files changed, 1 insertion(+), 976 deletions(-) delete mode 100644 docs/pitch-deck.html diff --git a/README.md b/README.md index 87f6d255..7e117632 100644 --- a/README.md +++ b/README.md @@ -14,7 +14,7 @@ ![Kafka / Strimzi](https://img.shields.io/badge/Kafka%20%2F%20Strimzi-Connect-231F20?logo=apachekafka&logoColor=white) ![Kubernetes / EKS](https://img.shields.io/badge/Kubernetes-EKS-326CE5?logo=kubernetes&logoColor=white) -

발표 자료 · 문서 · 로컬 실행

+

문서 · 로컬 실행

Bifrost 운영 콘솔 — 파이프라인 목록과 AI 인시던트 패널 diff --git a/docs/pitch-deck.html b/docs/pitch-deck.html deleted file mode 100644 index 9c750b36..00000000 --- a/docs/pitch-deck.html +++ /dev/null @@ -1,975 +0,0 @@ - - - - - -Bifrost — 제안 발표 - - - - - -

-
-
-
- - -
-
bifrost.
-
데이터 파이프라인 운영의 지능화.
-
- - -
-
01
-

데이터 파이프라인,
왜 필요할까?

-
먼저, 누구나 아는 익숙한 장면 하나로 시작하겠습니다.
-
- - -
-
-
사례
-

이미 많은 기업이 구축 중인 데이터 파이프라인

-
-
-
-
- -

농협 · 금융

-

1,110개 법인 데이터를 1초 미만으로 통합

-
전자신문, 2026.3
-
-
- -

토스증권 · 핀테크

-

거래 데이터를 분석·ML에 실시간 공급

-
토스 기술블로그
-
-
- -

배달의민족 · 테크

-

주문 변경을 실시간으로 전파

-
우아한형제들 기술블로그
-
-
- -

카카오 · 플랫폼

-

대용량 DB 동기화 데이터 파이프라인

-
if(kakao) · 카카오클라우드
-
-
- -

하이퍼커넥트 · 글로벌

-

사내 표준 데이터 파이프라인 구축·운영

-
Hyperconnect 기술블로그
-
-
- -

Netflix · 글로벌

-

추천·이상탐지 데이터 실시간 수집

-
VentureBeat
-
-
- -

Uber · 글로벌

-

서비스 간 데이터 일관성 유지

-
VentureBeat
-
-
- -

Airbnb · 글로벌

-

데이터 파이프라인을 인프라 핵심으로

-
VentureBeat
-
-
-
-
bifrost출처: 전자신문 · VentureBeat · 각 사 기술블로그
-
- - -
-
-
왜 필요한가
-

왜 데이터 파이프라인이 필요했을까?

-
-
-
-
-
목표이탈 방지 — 실시간 추천·부정탐지
-
데이터가 수많은 마이크로서비스에 흩어져 — 모으지 않으면 추천이 낡고, 계정 도용을 놓친다
-
→ 구축변경분(CDC)을 실시간으로 한곳에 모으는 파이프라인 직접 구축
-
-
-
목표초개인화 + 실시간 이상거래탐지(FDS)
-
고객 데이터가 1,110개 법인에 흩어져 — 통합 못 하면 한 고객을 못 보고, 야간 배치로는 초 단위 사기를 놓친다
-
→ 구축1초 미만 통합 상용 CDC(오라클 GoldenGate) 도입
-
-
-
서비스가 커지고 새로 늘어날수록 — 데이터를 잇는 일은 더욱 절실
-
-
bifrost출처: VentureBeat(Netflix CDC), 전자신문(농협, 2026.3)
-
- - -
-
-
-
시스템 2개연결 1
- → -
시스템 6개연결 15
- → -
시스템 10개연결 45
-
-
시스템이 늘수록, 이어야 할 데이터 연결은 폭증합니다.
-
서비스가 커지고 새로 늘어날수록,
데이터 파이프라인은 피할 수 없는 과제가 됩니다.
-
-
- - -
-
-
시장
-

그리고 이 시장은, 빠르게 커지고 있습니다

-
-
-
-
-
$12B
2024
-
$15B
2025
-
$19B
2026
-
$25B
2027
-
$31B
2028
-
$39B
2029
-
$48B
2030
-
-
-
-
+26.8% /년
-
데이터 파이프라인 도구 시장
연평균 성장률(CAGR)
-
-
연 +26.8%가 쌓이면 — 6년 새 약 4배로
성장할 전망 ($12B → $48B, USD)
-
※ 2025년 이후는 시장 예측치 · 데이터 통합 시장도 $33B(2030) 전망
-
-
-
-
bifrost출처: Grand View Research(데이터 파이프라인 도구), MarketsandMarkets(데이터 통합)
-
- - -
-
-
painpoint
-

진짜 문제는 — 만들고 운영하는 것

-
-
-
-
-
PAINPOINT 1
-
🛠️
-

어려운 구축

-

커넥터·토픽·정합성을
직접 설계·구축

-
-
-
PAINPOINT 2
-
🚨
-

운영 난제

-

장애 감지·원인·조치를
사람이 24시간

-
-
-
PAINPOINT 3
-
📊
-

흩어진 현황

-

모니터링을
따로 구축·연동

-
-
-
PAINPOINT 4
-
💬
-

높은 진입장벽

-

콘솔·CLI
숙련이 필요

-
-
-
여기에 상용 솔루션·전문 인력 비용까지 — 이 모든 painpoint를 Bifrost가 해결
-
-
bifrost
-
- - -
-
02
-

그래서 우리는,
운영까지 AI가 함께하는
데이터 파이프라인 플랫폼을 만들었습니다

-
- - -
-
-
솔루션
-

각 painpoint를, 이 기능으로 해결

-
-
-
-
-
PAINPOINT 1 · 구축만들기가 어렵고 오래 걸린다커넥터·토픽·정합성 직접 설계 · 수일~수주
-
→
-
⚙️

파이프라인 자동 구축

DB 등록만으로 파이프라인 자동 생성 — 분 단위
-
-
-
PAINPOINT 2 · 운영장애 대응이 진짜 난제감지·원인 분석·조치를 사람이 24시간
-
→
-
🤖

AI 운영 핵심

AI가 장애 감지·원인 분석·조치 제안 (사람 승인)
-
-
-
PAINPOINT 3 · 관측현황이 흩어져 안 보인다모니터링 도구를 따로 구축·연동
-
→
-
📊

통합 관측

파이프라인·클러스터·장애를 한 콘솔에서
-
-
-
PAINPOINT 4 · 접근성다루기가 어렵다콘솔·CLI 숙련이 필요
-
→
-
💬

자연어 운영 Agent

“최근 장애 원인은?” 물으면 응답·조치 수행
-
-
-
-
bifrost
-
- - -
-
-
타겟
-

누구를 위한 것인가

-
-
-
-
-
✓
데이터를 잇는 수요가 있다

서비스·시스템이 늘며 DB 간 실시간 연동·이벤트가 필요

-
✓
빠르게 구축해야 한다

전담 데이터플랫폼팀을 새로 꾸릴 여건은 부족

-
✓
운영 역량이 부족하다

데이터 파이프라인 장애를 깊이 진단·대응할 인력·지식이 부족

-
✓
데이터를 외부로 보내기 어렵다

망분리·보안 — SaaS로 데이터를 반출할 수 없음

-
→ 상용은 과하고, 직접 구축은 버거운 다수 조직
-
-
-
- AI 운영 지능화 → - 비용 효율성 → -
Bifrost설치형 · AI 운영
-
Debezium오픈소스 · 직접 구축
-
GoldenGate상용 · 고가
-
관리형 SaaSFivetran·Hevo
-
-
-
-
-
bifrost※ 전제: 고객이 Kubernetes(EKS) 클러스터를 운영 중
-
- - -
-
-
① 구축
-

파이프라인 생성 — 데이터 동기화 · 이벤트 전달

-
새 연동을 수주가 아니라 — 등록 한 번이면 분 단위로
-
-
-
-
-
파이프라인 생성×
-
- 연결 방식› - Source› - 테이블› - 확인 -
-
-
연결 방식을 선택하세요
-
-
데이터 동기화DB → DB 복제
-
이벤트 전달변경 → 여러 서비스
-
-
-
이전다음
-
-
-
-
데이터 동기화
-

데이터 실시간 복제

-

원본 DB의 변경을 다른 DB로 실시간 복제합니다.

-
분석용 DB · 복제본 · 무중단 마이그레이션
-
-
-
이벤트 전달
-

이벤트 기반 전달

-

데이터 변경을 이벤트로 전달하여, 여러 서비스가 실시간으로 반응합니다.

-
알림 · 검색 · 추천 등 MSA 환경
-
-
-
-
-
bifrost[움짤 삽입] DB 등록 → 파이프라인 자동 생성 시연
-
- - -
-
-
② AI 운영 · 핵심
-

AI 운영 — 감지부터 조치까지

-
장애를 사람이 쫓지 않아도 — AI가 원인·조치를 제시
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
AI 근본 원인 분석
-
-
-
-
권장 조치
-
-
-
-
-
-
-
-
1
감지
커넥터 실패·소비 지연(lag)을 자동 포착
-
2
원인 분석
여러 신호를 묶어 원인을 평문으로 정리
-
3
조치 추천 + 승인
예: 커넥터 재시작 — 사람이 승인(HITL)
-
-
-
-
bifrost[움짤 삽입] 장애 발생 → AI 원인·조치 → 승인 · ※ 운영 장애(연결·지연) 범위
-
- - -
-
-
③ 통합 관측
-

흩어진 모니터링을 한 화면에

-
모니터링을 따로 구축하지 않아도 — 상태·장애를 한 눈에
-
-
-
-
-
-
-
-
128처리량/s
-
0Consumer Lag
-
12가동 파이프라인
-
1인시던트
-
-
-
-
-
→
-
→
-
→
-
→
-
-
-
-
-
-
-
-
-
-
✓
상태·처리량·지연을 한 눈에
파이프라인·클러스터·장애를 하나의 콘솔에서
-
✓
모니터링을 따로 구축할 필요 없음
설치하면 관측까지 함께 제공됩니다
-
★
앞서 본 AI 운영이 이 관측 위에서 동작
관측 신호를 묶어 장애를 감지·분석
-
-
-
-
bifrost[움짤 삽입] 대시보드에서 상태·장애 확인 시연
-
- - -
-
-
④ 자연어 운영
-

자연어로 운영 — 묻고, 조치까지

-
콘솔 숙련 없이 — 평문으로 묻고 바로 조치
-
-
-
-
-
-
-
최근 발생한 장애의 원인이 뭐야?
-
-
Bifrost Agent
-
-
-
-
그럼 커넥터 재시작해줘
-
-
-
-
-
1
평문으로 질문
현황·원인·이력을 자연어로 조회
-
2
Agent가 도구를 조합해 응답
관측·운영 데이터를 묶어 근거와 함께
-
★
조치까지 — 사람이 승인(HITL)
콘솔 숙련 없이도 안전하게 운영
-
-
-
-
bifrost[움짤 삽입] 자연어로 질문 → Agent 응답 → 조치 승인
-
- - -
-
03
-

데이터 파이프라인 솔루션과
무엇이 다른가

-
- - -
-
-
차별점
-

데이터 파이프라인 솔루션 기능 비교

-
-
-
-
-
기능
-
GoldenGate상용
-
Debezium직접
-
Fivetran·Hevo관리형 SaaS
-
Bifrost
-
-
-
실시간 로그 기반 CDC
-
✓
✓
✓
✓
-
-
-
파이프라인 자동 구축
-
✗
✗
✓
✓
-
-
-
운영 장애 자동 감지
-
△
✗
△
✓
-
-
-
AI 원인 분석·조치 추천
-
✗
✗
✗
✓
-
-
-
통합 콘솔 (관측 + 운영)
-
△
✗
✓
✓
-
-
-
라이선스 · 비용
-
✗고가
-
✓무료
-
△구독료
-
✓오픈소스
-
-
-
데이터, 고객 환경에 잔류
-
✓설치형
-
✓직접
-
✗외부 전송
-
✓고객 K8s
-
-
-
-
bifrost출처: Oracle 공식 교육과정·OGG 제품자료 · 토스·우아한형제들 기술블로그 · 각 제품 공개 자료
-
- - -
-
04
-

참고 — 구축과 운영,
그 비용도 작지 않습니다

-
가치가 먼저, 비용 절감은 덤입니다.
-
- - -
-
-
비용 (참고)
-

데이터 파이프라인 구축·운영 비용

-
-
-
-
-
수일~수주
-
새 연동 1건을 만드는 데 (복잡하면 수개월)
-
Canva는 커스텀 연동에 3개월 — Airbyte/Fivetran
-
-
-
70%
-
파이프라인 운영을 ‘복잡하다’고 답한 데이터 실무자
-
Soda 데이터 품질 조사
-
-
-
연 ~5억
-
파이프라인을 만들고 유지하는 전담 팀 비용 (≈$52만/년)
-
Wakefield / Monte Carlo
-
-
-
15시간
-
데이터 장애 1건 평균 해결 시간 (전년比 +166%)
-
Monte Carlo, 2023
-
-
-
-
bifrost출처: Soda, Wakefield/Monte Carlo(2023), Airbyte/Fivetran build-vs-buy
-
- - -
-
-
구축은 자동으로, 운영 장애는
AI가 감지·분석하고 조치를 제안합니다.
-
사람이 직접 대응하던 데이터 파이프라인 운영을, 이제 AI가 함께합니다.
-
고객의 Kubernetes(EKS) 클러스터에 설치 — 데이터는 외부로 나가지 않습니다.
-
-
- - -
-
-
bifrost.
-
데이터 파이프라인 운영의 지능화.
-
감사합니다. — Q&A
-
-
- -
-
-
← → 또는 클릭으로 이동 · F 전체화면
- - - -