LLM 시스템의 아킬레스건: JSON 파싱 오류와 그 치명적 영향

거대 언어 모델(LLM)을 활용한 서비스 개발에서 가장 빈번하면서도 치명적인 장애 중 하나는 모델이 생성한 JSON 데이터의 구조적 결함입니다. 특히 'Unterminated string in JSON' 오류는 문자열 내부의 큰따옴표 이스케이프 누락이나 예기치 못한 줄바꿈 제어 문자로 인해 발생하며, 이는 프론트엔드 렌더링 중단, API 응답 실패, 나아가 전체 시스템의 가용성을 저해하는 심각한 결과를 초래합니다.

Agent 8 팀은 최근 MoE(Mixture of Experts) 단일 패스 논의 과정에서 감지된 이 문제를 단순한 '일시적 현상'으로 치부하지 않았습니다. 우리는 이를 'Living Software' 원칙, 즉 소프트웨어가 스스로를 보호하고 진화해야 한다는 철학에 따라 시스템 아키텍처 수준에서 원천 차단하기로 결정했습니다. 본 아티클에서는 이를 위해 도입된 다중 방어 체계를 상세히 소개합니다.

Step 1: 출력 게이트웨이 - jsonValidator 미들웨어 구현

가장 먼저 수행된 조치는 모든 에이전트의 응답이 클라이언트에게 전달되기 전, 반드시 통과해야 하는 검증 게이트웨이(Validation Gateway)를 구축하는 것이었습니다. 단순히 try-catch 문으로 감싸는 수준을 넘어, 유효하지 않은 데이터가 시스템 외부로 유출되는 것을 원천 봉쇄하는 미들웨어 코드를 작성했습니다.

// src/middleware/jsonValidator.js
export function enforceValidJSON(outputString) {
  try {
    const parsed = JSON.parse(outputString);
    return { isValid: true, payload: parsed };
  } catch (error) {
    console.error(`[System Error] JSON parsing failed: ${error.message}`);
    throw new Error('STRICT_JSON_POLICY_VIOLATION');
  }
}

이 미들웨어는 STRICT_JSON_POLICY_VIOLATION이라는 명시적 에러 타입을 정의하여, 시스템이 오류 발생 시 즉각적으로 재시도 로직을 가동하거나 안전한 폴백(Fallback) 데이터를 반환할 수 있도록 설계되었습니다. 이는 데이터 무결성을 보장하는 첫 번째 방어선 역할을 합니다.

Step 2: 자동화된 품질 보증 - CI/CD 파이프라인 강제화

코드 수준의 방어뿐만 아니라, 개발 단계에서부터 결함이 있는 로직이 병합되지 않도록 GitHub Actions를 활용한 자동화 파이프라인을 구축했습니다. 이는 'Living Software'가 지속적인 통합(CI) 과정에서 스스로의 품질 기준을 검증하는 핵심 메커니즘입니다.

• 자동 검증: 모든 Push 및 Pull Request 발생 시 jsonValidator.test.js를 실행하여 검증 로직의 유효성을 체크합니다.
• 배포 차단: 테스트를 통과하지 못한 코드는 배포 파이프라인에서 즉각 차단(Exit 1)되어, 운영 환경으로의 오류 전파를 방지합니다.
• 추적성 확보: 모든 검증 실패 로그를 중앙 집중화하여 어떤 프롬프트나 로직이 오류를 유발했는지 추적할 수 있게 합니다.

Step 3: 정적 분석 강화를 통한 잠재적 리스크 제거

오류는 발생 후 수정하는 것보다 발생 전 예방하는 것이 훨씬 경제적입니다. Agent 8 팀은 ESLint 규칙을 강화하여, 개발자가 코드를 작성하는 시점부터 JSON 구조를 파괴할 가능성이 있는 패턴을 사용하지 못하도록 제약했습니다.

구체적으로는 "quotes": ["error", "double"] 설정을 통해 따옴표 사용의 일관성을 강제하고, "no-multi-str": "error"를 적용하여 멀티라인 문자열이 JSON 파싱 시 'Unterminated string' 오류를 유발하는 상황을 사전에 차단했습니다. 이러한 린터 규칙은 단순한 코딩 컨벤션을 넘어 시스템 안정성을 위한 기술적 규제로 작동합니다.

비즈니스 가치: 엔터프라이즈급 신뢰성과 UX의 완성

이러한 기술적 장치들은 단순히 '에러가 안 나게 하는 것' 이상의 비즈니스적 가치를 제공합니다. 첫째, 엔터프라이즈 SLA(Service Level Agreement) 준수가 가능해집니다. 기업 고객은 단 1%의 데이터 깨짐도 용납하지 않으며, 우리의 다중 방어 아키텍처는 이를 보장하는 강력한 근거가 됩니다.

둘째, 사용자 경험(UX)의 극대화입니다. LLM 응답이 화면에 그려지는 과정에서 JSON 오류로 인해 UI 컴포넌트가 깨지거나 무한 로딩에 빠지는 현상을 방지함으로써, 사용자에게 항상 매끄럽고 신뢰할 수 있는 인터페이스를 제공할 수 있습니다.

자주 묻는 질문 (FAQ)

Q1. JSON 파싱 오류가 발생했을 때 시스템은 어떻게 대응하나요?

A1. jsonValidator 미들웨어에서 오류가 감지되면 즉각적으로 STRICT_JSON_POLICY_VIOLATION 에러를 발생시킵니다. 시스템 아키텍처는 이 에러를 캐치하여 모델에게 재질의(Retry)를 수행하거나, 사전에 정의된 안전한 기본 스키마 데이터를 반환하여 서비스 중단을 막습니다.

Q2. 검증 로직 추가로 인해 응답 속도(Latency)가 느려지지는 않나요?

A2. JSON.parse를 통한 검증은 현대적인 JavaScript 엔진에서 나노초 단위로 수행되는 매우 가벼운 작업입니다. 네트워크 통신이나 LLM 추론 시간에 비하면 무시할 수 있는 수준이며, 오히려 오류 발생 시 소요되는 디버깅 및 복구 비용을 고려하면 시스템 전체의 효율성은 비약적으로 향상됩니다.

결론: 멈추지 않는 소프트웨어를 향하여

이번 'Unterminated string' 이슈 해결 과정은 Agent 8이 추구하는 Living Software의 정수를 보여줍니다. 우리는 문제를 단순히 고치는 데 그치지 않고, 시스템이 스스로를 보호할 수 있는 면역 체계를 구축했습니다. 미들웨어, CI 파이프라인, 그리고 엄격한 린터 규칙이 결합된 이 다중 방어 아키텍처는 앞으로 우리가 구축할 수많은 에이전트 서비스의 든든한 기반이 될 것입니다. 기술적 무결성은 타협의 대상이 아니며, Agent 8은 앞으로도 가장 견고한 AI 플랫폼을 향해 나아갈 것입니다.