시스템 붕괴의 신호: 지식 커버리지 0점의 의미

에이전트 시스템에서 지식 커버리지 0점과 기타 문의 100% 집중 현상은 단순한 지표 하락이 아닌, 시스템의 '지능적 마비'를 의미합니다. 사용자가 자신의 문제를 어떤 전문가에게 맡겨야 할지 판단하지 못해 가장 쉬운 선택지인 [기타]로 도피하고 있으며, 시스템은 이를 적절한 파트너에게 배분할 지식 베이스조차 갖추지 못한 상태였습니다. Agent 8 팀은 이 긴급한 P0 이슈를 해결하기 위해 기술적 아키텍처 재설계와 UX 심리학을 결합한 전방위적 개선안을 도출했습니다.

"단순히 라우팅 임계값을 낮추는 것은 임시방편일 뿐입니다. 고객의 모호한 언어를 전문가의 기술적 언어로 번역하는 '지능형 브릿지'가 필요합니다."

1. Firestore 기반 RAG 파이프라인과 지식 시딩(Seeding)

가장 먼저 착수한 작업은 집단 지식 DB(Collective Knowledge DB)의 구축입니다. 기존 시스템은 정적인 규칙 기반 라우팅에 의존했으나, 이를 Firestore 기반의 벡터 검색 구조로 전환했습니다.

• 도메인 지식 시딩: 핵심 도메인 지식 50건을 우선적으로 임베딩하여 Firestore에 저장했습니다. 이는 RAG(Retrieval-Augmented Generation) 파이프라인의 기초가 되어, 에이전트가 답변할 수 있는 지식의 범위를 즉각적으로 확장합니다.
• 임베딩 파이프라인: 사용자 입력 텍스트를 고차원 벡터로 변환하고, 이를 지식 DB와 비교하여 가장 유사도가 높은 파트너를 추천하는 로직을 강화했습니다.

2. 멀티 에이전트 브로드캐스팅: SSE(Server-Sent Events)의 활용

단일 파트너에게만 의존하던 기존의 1:1 라우팅 방식은 복합적인 비즈니스 문제를 해결하기에 역부족이었습니다. 카이(Kai) 님이 제안한 브로드캐스팅 로직은 이를 혁신적으로 개선합니다.

사용자의 의도가 여러 파트너의 전문 영역에 걸쳐 있을 경우, 시스템은 SSE(Server-Sent Events)를 통해 관련 파트너들을 순차적으로 호출합니다. 예를 들어, "매출 증대를 위한 마케팅 전략이 필요해요"라는 문의가 들어오면, 마케팅 전문가(미소)와 세일즈 전문가(주노)가 동시에 개입하여 입체적인 솔루션을 제공하는 방식입니다. 이는 파트너 활용도를 극대화하는 동시에 사용자 경험의 깊이를 더합니다.

3. UI/UX의 진화: 드롭다운에서 칩(Chip) 인터페이스로

유나(Yuna) 님은 사용자의 인지 부하를 줄이기 위한 시각적 계층 구조의 개선을 강조했습니다. 기존의 불친절한 드롭다운 메뉴는 사용자로 하여금 '생각하기 귀찮음'을 유발하여 [기타] 카테고리로 몰리게 만들었습니다.

이를 해결하기 위해 고객 페인 포인트(Pain Point) 기반의 칩 인터페이스를 도입했습니다. 사용자는 [기타]를 누르는 대신, [매출 고민], [기술적 난제], [보안 취약점] 등 자신의 증상을 직관적으로 나타내는 칩을 선택하게 됩니다. 이 시각적 유도 장치는 라우팅 엔진에 명확한 분류 태그를 제공하여 오분류율을 획기적으로 낮춥니다.

4. 데이터 보안과 프라이버시: DLP 파이프라인 구축

시스템 고도화 과정에서 가장 큰 리스크는 데이터 유출입니다. 렉스(Rex) 님은 RAG DB 시딩 및 텍스트 분석 단계에서 발생할 수 있는 개인정보 노출 위험을 경고했습니다. 이를 방지하기 위해 DLP(Data Loss Prevention) API를 전처리 과정에 의무화했습니다.

1. PII 마스킹: 전화번호, 이메일, 주소 등 개인 식별 정보는 정규식과 머신러닝 모델을 통해 실시간으로 마스킹 처리됩니다.
2. RBAC(Role-Based Access Control): Firestore 보안 규칙을 통해 각 파트너가 자신의 권한 범위 내 데이터에만 접근할 수 있도록 엄격히 제한했습니다.

---

자주 묻는 질문 (FAQ)

Q1: RAG 파이프라인 도입 시 응답 지연(Latency) 문제는 어떻게 해결하나요?

A1: 벡터 검색의 속도를 최적화하기 위해 Firestore의 인덱싱 기능을 최대한 활용하며, SSE를 통한 비동기 스트리밍 방식을 채택했습니다. 사용자는 전체 답변이 완성될 때까지 기다리는 것이 아니라, 각 파트너가 생성하는 답변 조각을 실시간으로 확인할 수 있어 체감 대기 시간이 대폭 단축됩니다.

Q2: 고객의 모호한 '기타' 문의를 어떻게 구체적인 데이터로 전환하나요?

A2: 다니(Dani) 님이 제안한 K-means 클러스터링 기법을 활용합니다. 과거에 축적된 '기타' 문의 텍스트 1,000여 건을 분석하여 주요 의도 5가지를 도출하고, 이를 기반으로 라우팅 키워드 사전을 갱신합니다. 이는 시스템이 스스로 학습하고 진화하는 기반이 됩니다.

결론: 무조건 되게 만드는 기술적 집요함

이번 Agent 8의 개선 작업은 단순히 버그를 수정하는 차원을 넘어, 시스템의 근본적인 체질을 개선하는 과정이었습니다. 보안 취약점 패치부터 UI 개편, RAG 아키텍처 도입까지, 각 분야 전문가들의 긴밀한 협업이 있었기에 가능했습니다. 우리는 앞으로도 데이터에 기반한 의사결정과 기술적 무결성을 바탕으로, 고객의 문제를 가장 빠르고 정확하게 해결하는 에이전트 생태계를 만들어 나갈 것입니다.