JEV 탐구 ② — 입출력과 LLM의 차이
난이도: 중급
Jev와 LLM의 차이를 ‘문장 대 JSON’으로만 설명하면, 정작 중요한 차이를 놓치게 됩니다.[1][6]
“같은 주문이 두 번 결제됐어요. 확인하고 환불해주세요.”
1편에서 만난 고객 문의입니다. 담당 팀을 정할 때 필요한 것은 분류 결과이지만, 고객에게 상황을 설명할 때는 문장이 필요합니다. 실제 환불에는 결제 기록과 정책, 실행 권한도 필요합니다. 같은 메시지를 읽더라도 소프트웨어가 받아야 할 결과는 업무 단계마다 다릅니다.[1]
TypeSafe는 Jev를 자연어를 이해하되 생성 문장 대신 타입이 정해진 판단과 확률을 반환하는 모델로 설명합니다.[1] 이번 편의 ‘구조’는 공개 입출력 계약이며 비공개 신경망 설계도가 아닙니다. 처리 방식은3편, 확률 보정은5편에서 따로 다룹니다.
1. 입력은 여전히 자연어입니다
Jev가 문장을 생성하지 않는다고 해서 자연어를 읽지 못하는 것은 아닙니다.[1] 현재 공식 문서는 텍스트 입력을 지원하며, 문자열뿐 아니라 JSON 객체와 텍스트 배열도 평가한다고 설명합니다.[1] 이미지·음성·영상 입력은 현재 지원 범위가 아닙니다.[1]
문서에서 State는 모델이 판단할 재료를 뜻합니다.[2] 문의 한 줄도 State가 될 수 있고, 대화·주문 기록·정책을 묶은 객체도 하나의 State가 될 수 있습니다.[2] 여기서 JSON은 모델이 ‘JSON 언어로 생각한다’는 증거가 아니라, 관련 정보를 이름 붙여 전달하는 그릇으로 이해하면 됩니다.[2]
합성 예시에서는 message, verified_transactions, refund_policy로 자료를 나눕니다. 실행 결과가 아니며 고객의 주장과 확인된 거래 기록을 구분한 설계입니다.
공식 문서는 판단 재료인 State와 판단할 내용을 지정하는 Questions를 구분합니다.[2] 한 요청의 질문들은 같은 State를 보고 독립적으로 평가됩니다.[2] 재료를 주는 일과 무엇을 물을지 정하는 일은 별개의 인터페이스입니다.[2] 어떤 질문을 함께 묶고 어떤 질문을 나눌지는 4편에서 다룹니다.

2. 돌려받는 것은 ‘잘 쓴 설명’이 아닙니다
문서의 기본 질문 유형은 Choice·Score·Noul입니다.[3] Choice는 선택 결과와 선택지별 확률, confidence를, Score는 정의한 단계 위의 점수와 단계 정보·확률·confidence를 반환합니다.[3] Noul은 명제가 참일 확률을 반환하며 별도 confidence는 없습니다.[3]
이름보다 중요한 것은 어떤 종류의 값을 받을지 먼저 정한다는 점입니다.[3] 문의의 담당 팀을 고르는 일, 불만 정도를 척도에 놓는 일, 환불을 요청했는지 판단하는 일은 서로 다른 출력 계약입니다.[3] 이번 편에서는 각 확률의 해석이나 임계값을 깊게 다루지 않습니다. confidence와 정답 가능성의 차이는 5편의 주제입니다.
공식 문서상 Jev는 답장·코드·추론 설명을 생성하지 않습니다.[1] 따라서 고객에게 보낼 사과문까지 Jev에서 받아내려는 것은 현재 제품의 출력 범위와 맞지 않습니다.[1] 여기서는 판단 결과를 코드가 읽고, 필요하다면 별도 템플릿이나 생성 모델이 고객용 설명을 맡는 역할 분담을 생각할 수 있습니다. 이는 제품의 숨은 기능이 아니라 필자의 시스템 구성 예시입니다.
3. LLM도 구조화된 값을 반환합니다
‘LLM은 문장만, Jev는 JSON만’이라는 대비는 정확하지 않습니다.[1][6] OpenAI Structured Outputs도 지정한 JSON Schema에 맞는 응답을 생성합니다.[6] JSON 문법을 맞추는 JSON mode와 스키마 준수는 다릅니다.[6]
차이는 JSON의 독점이 아니라 기본 계약입니다. Jev는 질문 유형과 판단·확률을, Structured Outputs는 지원 스키마에 따른 생성 응답을 중심으로 합니다.[1][3][6] 설정과 반환 필드는 같지 않으며, 스키마가 맞아도 내용상 실수는 남습니다.[6]

3-1. 판단 업무에 생성형 LLM을 연결할 때 남는 제약
GPT-3처럼 자기회귀 방식으로 문장을 생성하는 LLM은 앞선 토큰을 조건으로 다음 토큰을 이어 갑니다.[7] 여기서 다루는 것은 이런 생성 경로이지, 이름에 LLM이 붙은 모든 시스템의 구현을 하나로 단정하는 설명이 아닙니다.[7] 출력 토큰을 생성하는 시간은 지연의 중요한 구성 요소입니다.[8] OpenAI의 지연 최적화 문서도 출력 길이, 모델 크기, 추론 최적화와 요청 횟수를 함께 다룹니다.[8] 따라서 긴 설명 대신 짧은 분류값만 받으면 생성 부담을 줄일 수 있지만, 모든 LLM이 반드시 느리다거나 Jev가 언제나 빠르다는 결론은 아닙니다. 실제 비교에는 입력 길이, 출력 길이, 모델·서빙 조건, 통신 지연과 재시도까지 맞춰야 합니다.[8]
더 중요한 경계는 생성된 값과 의미의 정확성입니다. 스키마를 통과한 billing도 오분류일 수 있고, 문법이 완벽한 설명에 잘못된 사실이나 추론이 들어갈 수 있습니다.[6] Structured Outputs 공식 문서도 내용상의 실수 가능성을 남겨 둡니다.[6] LLM 불확실성 연구 역시 틀린 사실이나 추론을 자신 있게 말하는 문제를 다룹니다.[9] 그러나 그 연구가 모든 모델·과업의 환각 빈도를 하나의 숫자로 정해 주지는 않습니다.[9]
confidence: 0.9를 JSON에 쓰게 하는 것도 우선은 모델이 생성한 자기보고입니다.[9] 다음 토큰의 확률, 답 전체가 맞을 가능성, 문장에 적힌 자신감은 구분해서 검증해야 합니다.[9] 그렇다고 자기보고 확률이 늘 무용하거나 LLM이 반드시 과신한다는 뜻도 아닙니다.[9][10] Tian 등의 2023년 연구는 당시의 특정 RLHF 모델·질의응답 벤치마크에서 말로 보고한 확률이 모델 조건부 확률보다 잘 보정되는 결과를 보고했습니다.[9] Kadavath 등도 적절한 질문 형식에서 보정 가능성을 보였습니다.[10] 우리 한국어 문의까지 검증됐다는 뜻은 아닙니다.

이 비교의 실무적 결론은 출력 형식·지연·업무 정답·확률 품질을 따로 평가하자는 것입니다. Jev도 반환 형식이 제한됐다는 이유만으로 무오판·무환각을 보장하지 않으며, 보정 학습 목표를 우리 데이터의 검증 결과로 바꿔 읽어서는 안 됩니다.[1][4]
4. RLCD는 학습 목표이지 공개 설계도는 아닙니다
회사가 공개한 AI primer는 사전학습 언어모델 이후의 학습 경로를 설명하면서, 사람이 선호하는 응답을 지향하는 RLHF, 검증 가능한 보상을 이용하는 RLVR, 판단과 보정된 확률을 목표로 하는 RLCD를 대비합니다.[4] TypeSafe는 자기 학습 경로를 RLCD라고 부릅니다.[4] 이 도식은 회사가 제시한 비교 틀로만 사용하며, 모든 LLM의 학습을 포괄하는 분류라고 해석하지 않습니다.[4]
RLCD는 Reinforcement Learning for Calibrated Decisions, 즉 보정된 판단을 위한 강화학습이라는 회사의 명칭입니다.[4][5] 공식 설명의 초점은 읽기 좋은 문장보다 판단과 확률을 반환하는 데 있습니다.[4] 어려운 질문에서도 늘 자신 있게 답하는 대신 불확실성을 소프트웨어가 사용할 수 있도록 만들겠다는 설계 방향으로 읽을 수 있습니다.[4]
다만 그 목표를 밝혔다고 목표 달성까지 입증된 것은 아닙니다. 회사 문서도 보정은 여러 예측의 집단에서 평가하는 성질이며 개별 답을 보장하지 않는다고 설명합니다.[1][4] ‘RLCD’라는 이름 하나로 보상 함수의 정확한 수식, 데이터 구성, 학습 과정이나 우리 업무에서의 확률 품질을 확인했다고 할 수는 없습니다.[4][5] 이번 자료는 목적을 이해하는 근거이지 구현 재현이나 독립 검증의 결과가 아닙니다.

5. 요청 이해와 실행은 다릅니다
명시적인 환불 요청을 찾아도 중복 청구는 거래 원장에서 확인해야 합니다. 공식 예시도 모델 판단을 코드 검사와 조합합니다.[1] “결제 내역이 이상해요”처럼 자료가 부족한 합성 문의에는 환불 결론을 꾸미지 않고 보류합니다. 판단 결과를 실행 권한으로 바꾸는 규칙은 서비스 책임입니다.

다음 3편은 타입 안전과 병렬 처리를,4편은 질문 설계를 다룹니다. 확률 보정은5편, 공개 성능 근거는8편으로 이어집니다.
자료 확인일: 2026년 11월 2일(KST). 공개 문서와 제공자 설명을 읽은 해설입니다. API 호출·유료 서비스 이용·모델 성능 실험·독립 재현은 수행하지 않았습니다. 문서의 현재 인터페이스와 제공자의 설계 주장을 구분하며, 성능 우열을 확정하지 않습니다.
보강 자료 확인: 2026년 11월 3일(KST). 논문·공식 공개 문서에 근거한 해설이며 새 모델 실측은 수행하지 않았습니다.
타입 안전·병렬 처리 보강 자료 확인: 2026년 11월 3일(KST). 제공자 주장과 공개 API 계약을 구분했으며 내부 구현 재현이나 모델 호출은 하지 않았습니다.
Sources
[2] TypeSafe · State
[3] TypeSafe · Primitives (Questions)
[5] TypeSafe · Introducing System One Models & Jev
[6] OpenAI · Structured model outputs
[7] Brown et al. · Language Models are Few-Shot Learners
[8] OpenAI · Latency optimization
[9] Tian et al. · Just Ask for Calibration
[10] Kadavath et al. · Language Models (Mostly) Know What They Know