에이전틱 AI란 무엇인가 — "답은 잘하는데, 일은 못한다"

한 줄 요약

LLM은 말은 잘하지만 스스로 확인하거나 처리하지는 못하는 갇힌 두뇌입니다. 여기에 도구·지식·기억·반복을 붙여 실제로 일을 끝내게 만든 것이 에이전트(Agent) 이고, 그런 방식으로 일하는 AI를 에이전틱 AI(Agentic AI) 라고 부릅니다.

1. 먼저, LLM이 무엇인지

LLM(Large Language Model, 대규모 언어 모델) 은 엄청난 양의 글을 읽고 "다음에 올 말"을 예측하도록 학습된 프로그램입니다. ChatGPT, Gemini, Claude가 모두 LLM 위에서 돌아갑니다. 이 과정에서는 구글의 Gemini를 씁니다.

LLM에게 "텀블러 고르는 법 알려줘"라고 물으면 그럴듯한 답이 술술 나옵니다. 그런데 하루마켓 상담 창구에 실제로 들어오는 질문은 이런 것들입니다.

"제 주문 지금 어디까지 왔어요?"
"스테인리스 텀블러 민트색 재고 있어요?"
"불량품이 왔는데 반품 배송비를 제가 내야 하나요?"

LLM 혼자서는 이 질문들에 답할 수 없습니다.

주문 상태는 하루마켓 주문 데이터에만 있고,
재고 수량은 상품 데이터에만 있고,
반품 규정은 하루마켓 정책 문서에만 있기 때문입니다.

LLM은 학습할 때 이 데이터를 본 적이 없고, 지금 가서 볼 방법도 없습니다.

비유하자면 LLM은 백과사전을 통째로 외운 신입사원입니다. 일반 상식은 막힘없이 답하지만, "창고에 민트색 텀블러 몇 개 남았어?"라고 물으면 창고에 갈 수가 없습니다. 더 위험한 것은, 모른다고 하는 대신 그럴듯하게 지어내는 경우입니다.

2. 환각 — 모르면서 아는 것처럼 말한다

LLM이 사실이 아닌 내용을 그럴듯하게 만들어 말하는 현상을 환각(hallucination) 이라고 합니다.

환각은 고장이 아니라 LLM의 작동 방식에서 나오는 결과입니다. LLM은 사실을 확인하는 기계가 아니라 다음 말을 예측하는 기계입니다. "주문번호 HR20260719073의 배송 상태는"이라는 문장 뒤에는 "배송 중이며 내일 도착 예정입니다" 같은 말이 오는 것이 자연스럽습니다. 그래서 그렇게 말합니다. 실제로 그 주문이 어떤 상태인지는 LLM이 알 길이 없는데도 말입니다.

일상 대화에서는 웃고 넘길 수 있지만 고객지원에서는 그대로 사고가 됩니다. 환불 금액을 지어내거나, 없는 정책을 안내하면 회사가 그 말에 책임을 져야 합니다.

환각을 줄이는 방법은 "더 똑똑한 모델을 쓰는 것"이 아닙니다. LLM이 지어낼 필요가 없게 만드는 것입니다. 실제 데이터를 조회해서 손에 쥐여 주고, 그 근거 위에서만 말하게 합니다. 이것이 이 과정 전체를 관통하는 생각입니다.

3. 에이전트 — 두뇌에 네 가지를 붙인다

에이전트(Agent) 는 LLM(두뇌)에 다음 네 가지를 붙여, 말만 하는 것이 아니라 실제로 일을 끝내게 만든 시스템입니다.

붙이는 것	하는 일	하루마켓에서는
도구(Tool)	LLM이 못 하는 "행동"을 대신한다	주문 조회, 재고 확인, 배송지 변경, 교환 접수
지식(Knowledge)	답의 근거가 되는 문서를 찾아 준다	반품·교환·환불 정책, 멤버십 정책
기억(Memory)	앞선 대화와 고객 정보를 잊지 않게 한다	"그거 취소하면요?"의 "그거"를 이해
루프(Loop)	한 번에 안 끝나는 일을 끝날 때까지 반복한다	조회 → 결과 확인 → 추가 조회 → 답변

도구에는 두 종류가 있습니다. 주문 조회처럼 확인만 하는 도구와, 배송지 변경·교환 접수처럼 무언가를 실제로 바꾸는 도구입니다. 앞의 것을 읽기 도구, 뒤의 것을 쓰기 도구라고 부릅니다(8장). "처리해 드렸습니다"라고 말할 수 있으려면 뒤의 것이 있어야 합니다.

구분	LLM 단독	에이전트
구성	두뇌	두뇌 + 도구 + 지식 + 기억 + 루프
"제 주문 어디까지 왔어요?"	"확인할 수 없습니다" 또는 지어냄	주문 데이터를 조회해서 답함
결과	말한다	확인하고, 처리한다

4. AI 애플리케이션과 AI 에이전트의 차이

요즘은 챗봇, AI 앱, 에이전트라는 말이 뒤섞여 쓰입니다. 기술적으로는 분명한 구분 기준이 하나 있습니다.

다음에 무엇을 할지, 누가 결정하는가?

개발자가 미리 정해 두었다면 AI 애플리케이션입니다. "질문을 받으면 → 문서를 검색하고 → 요약해서 → 답한다"처럼 순서가 고정되어 있습니다. LLM은 정해진 자리에서 정해진 일만 합니다.
모델이 상황을 보고 스스로 정한다면 AI 에이전트입니다. 질문을 보고 "이건 주문을 조회해야겠다", "이건 정책 문서를 찾아야겠다", "조회 결과를 보니 재고도 확인해야겠다"를 모델이 판단합니다.

어느 쪽이 더 좋다는 이야기가 아닙니다. 순서가 고정된 쪽은 예측하기 쉽고 싸고 안전합니다. 모델이 정하는 쪽은 처음 보는 상황에 유연하게 대응하지만 예측하기 어렵고 비용이 더 듭니다.

5. 자율성에는 단계가 있다

"에이전트냐 아니냐"는 둘 중 하나가 아니라 정도의 문제입니다.

수준	모델이 결정하는 것	예
0	없음. 글만 만든다	정해진 틀에 맞춰 답변 문장 생성
1	어느 길로 보낼지	문의를 유형으로 분류해 정해진 처리로 넘김
2	어떤 도구를 쓸지	질문을 보고 주문 조회·재고 조회 중 골라 호출
3	몇 번을, 어떤 순서로 할지	결과를 보고 추가 조회를 스스로 이어 감
4	누구에게 맡길지	전문 에이전트들에게 일을 나눠 주고 결과를 취합

이 과정은 이 계단을 아래에서부터 한 칸씩 올라갑니다. 4장에서 수준 1을, 5~8장에서 수준 2를, 9~11장에서 수준 3을, 18장부터 수준 4를 만듭니다.

그리고 실무에서 중요한 감각 하나. 자율성은 높을수록 좋은 것이 아닙니다. 일마다 알맞은 수준이 다릅니다. 배송 조회는 모델에게 맡겨도 되고, 출고 전 배송지 변경처럼 되돌릴 수 있는 일은 에이전트가 직접 처리해도 됩니다. 그러나 환불 실행처럼 되돌릴 수 없는 일은 사람의 승인을 거치게 해야 합니다. 우리 시스템도 그렇게 설계합니다(23장).

핵심 정리

LLM은 일반 지식에는 강하지만 실시간 정보·사내 정보에는 무력합니다.
모르는 것을 그럴듯하게 지어내는 현상이 환각이고, LLM이 "다음 말을 예측하는 기계"여서 생깁니다.
LLM에 도구·지식·기억·루프를 붙여 일을 끝내게 만든 것이 에이전트입니다.
AI 애플리케이션과 에이전트의 차이는 "다음 행동을 누가 결정하는가" 입니다.
자율성은 단계가 있고, 일마다 알맞은 수준을 고르는 것이 설계입니다.