AI 결과 확인하는 법 — 그대로 쓰기 전에 볼 다섯 가지와 순서

보고 자료를 넘기기 직전, 표를 한 번 더 훑어봅니다.

숫자는 칸마다 가지런히 들어가 있고 문장도 매끄럽습니다.

그런데 이 숫자를 정말 다 믿어도 되는지 문득 망설여집니다.

 

이 글은 AI가 만든 결과물을 그대로 쓰기 전에,

사람이 먼저 봐야 할 AI 결과 확인의 다섯 가지와 순서를 나눕니다.

직접 해 보다 놓칠 뻔한 일과 그 뒤에 바꾼 요청문도 함께 적었습니다.

 

그럴듯한 결과일수록 한 번 더 봐야 하는 이유

 

AI에게 일을 맡기면 결과는 대개 그럴듯한 모양으로 돌아옵니다.

표는 줄이 맞고 문장은 막힘이 없습니다.

그 모양이 깔끔할수록 내용까지 맞았다고 여기기 쉽습니다.

 

문제는 틀린 곳이 눈에 잘 띄지 않는다는 데 있습니다.

맞춤법이 틀리면 바로 보이지만,

숫자 한 칸이 다른 값으로 들어가 있으면 겉으로는 티가 나지 않습니다.

 

지난 자료를 틀로 삼아 새 내용을 채우게 할 때 특히 그렇습니다.

틀에는 이미 지난 값이 가득 들어 있습니다.

AI가 그중 한 칸을 바꾸지 않고 두어도,

결과물은 여전히 멀쩡한 자료처럼 보입니다.

 

AI 업무 활용에서 정말 손이 가는 곳은 맡기는 쪽보다 확인하는 쪽일 때가 많습니다.

확인을 덜어 낼 수는 없지만,

무엇을 어떤 순서로 볼지 미리 정해 두면 한결 가벼워질 수 있습니다.

 

직접 해 본 과정 — 지난 자료 틀에 새 숫자 넣기

 

보고 자료의 숫자를 AI에게 바꿔 넣게 해 본 적이 있습니다.

지난번 자료를 틀로 주고,

그 자리에 새 숫자만 넣어 달라는 일이었습니다.

 

처음 넣은 요청문은 이런 뜻이었습니다.

「아래 지난 자료 틀에 새 숫자를 넣어 표를 다시 만들어 줘」

 

결과는 그럴듯했습니다.

칸 모양은 그대로였고 숫자도 새로 바뀐 것처럼 보였습니다.

그대로 써도 되겠다 싶어 하마터면 그냥 넘길 뻔했습니다.

 

그런데 원본과 대조해 보니 한 칸이 작년 숫자 그대로였습니다.

숫자만 놓고 보면 그 칸이 바뀌지 않았다는 것을 알아채기 어렵습니다.

 

돌아보면 요청문에 빈틈이 있었습니다.

무엇을 바꿨는지 알려 달라는 말이 없었습니다.

그러면 표 전체를 처음부터 원본과 맞춰 보는 수밖에 없습니다.

 

그래서 요청문을 고쳤습니다.

결과와 함께 바꾼 칸의 목록을 따로 달라고 적었습니다.

 

고친 요청문을 뜻이 같게 옮기면 이렇습니다.

 

「아래 지난 자료 틀에 새 숫자를 넣어 표를 다시 만들어 줘.

그리고 바꾼 칸의 목록을 표로 따로 줘.

칸 이름과 원래 값, 새 값을 한 줄에 하나씩 적어 줘」

 

그리고 사람이 하는 확인은 그 표만 원본과 대조하는 순서로 바꿨습니다.

표 전체를 처음부터 훑는 대신,

바꾼 칸 표의 줄만 원본과 하나씩 맞춰 봅니다.

 

고친 요청문을 쓰면 결과물 옆에 바꾼 칸 표가 함께 붙습니다.

예를 들어 바꾼 칸 표가 이런 모양으로 나오면 대조하기 쉽습니다.

 

「가 품목 판매 수량 — 원래 값 120 — 새 값 135

나 품목 판매 수량 — 원래 값 80 — 새 값 92

다 품목 반품 수량 — 원래 값 14 — 새 값 11」

 

이 표에서 볼 것은 세 가지입니다.

새 값이 원본 숫자와 같은지,

그 새 값이 결과 표의 해당 칸에도 실제로 들어가 있는지,

그리고 바꿨어야 할 칸이 표에서 빠지지 않았는지입니다.

 

새 숫자가 들어가야 할 칸인데 이 표에 없다면,

그 칸부터 지난 값이 남아 있지 않은지 의심해 볼 만합니다.

바꾼 칸 표도 AI가 적은 것이니,

표에 있는 칸이 결과물에서도 그대로인지 함께 맞춰 봅니다.

 

처음 요청문과 고친 요청문의 차이는 한 줄입니다.

결과만 달라고 했는지,

무엇을 바꿨는지까지 달라고 했는지의 차이입니다.

 

AI 결과 확인할 때 볼 다섯 가지

 

바꾼 칸 표는 숫자를 확인하는 방법입니다.

그런데 AI가 만든 결과물에는 숫자 말고도 볼 곳이 있습니다.

그대로 쓰기 전에 아래 다섯 가지를 이 순서로 보시기를 권합니다.

 

첫째, 숫자입니다.

금액과 수량, 합계가 원본과 같은지 봅니다.

합계 칸은 따로 한 번 더 더해 보는 편이 안전합니다.

AI가 각 칸은 바르게 옮기고 합계만 지난 값으로 둘 수도 있습니다.

 

둘째, 날짜와 요일입니다.

지난 자료를 틀로 쓰면 날짜가 지난 것으로 남기 쉽습니다.

날짜와 요일이 서로 맞는지도 달력과 맞춰 봅니다.

 

셋째, 이름입니다.

사람 이름과 부서 이름, 거래처 이름이 바르게 들어갔는지 봅니다.

비슷한 이름끼리 서로 바뀌어 들어가도 문장은 자연스러워 보입니다.

 

넷째, 약속하는 문장입니다.

「이번 주 안에 보내 드리겠습니다」 「추가 비용은 없습니다」처럼,

상대에게 무엇을 해 주겠다고 말하는 문장을 찾습니다.

내가 정하지 않은 약속이 들어가 있다면 지우거나 고칩니다.

 

다섯째, 출처입니다.

AI가 어떤 근거를 들었다면 그 근거가 실제로 있는지 확인합니다.

내가 준 자료에 없는 내용이 들어가 있다면,

어디서 온 말인지 묻고 확인이 안 되면 빼는 편이 낫습니다.

 

예를 들어 「지난해보다 늘었습니다」 같은 문장이 들어가 있다면,

내가 준 자료에 지난해 숫자가 있었는지부터 확인합니다.

 

이 다섯 가지는 맡긴 뒤에 보는 목록이지만,

맡기기 전에 미리 적어 둘 때 더 쓸모가 있습니다.

요청문에 확인할 기준을 함께 넣으면,

AI에게 그 기준에 맞는 곳을 따로 모아 달라고 할 수 있기 때문입니다.

 

예를 들어 메일 초안을 맡길 때라면 이렇게 덧붙일 수 있습니다.

「초안 아래에 날짜와 사람 이름, 약속하는 문장을 따로 모아 적어 줘.

내가 준 내용에 없는 것은 '확인 필요'라고 표시해 줘」

 

이렇게 하면 다섯 가지를 처음부터 찾지 않아도,

따로 모인 줄만 원본과 맞춰 보면 됩니다.

 

흔한 실수와 주의할 점

 

첫째 실수는 겉모양만 보고 확인을 건너뛰는 것입니다.

표가 반듯하고 문장이 매끄러우면 다 맞은 것처럼 느껴집니다.

하지만 모양이 맞는 것과 내용이 맞는 것은 다른 일입니다.

특히 숫자와 날짜는 모양만으로는 맞고 틀림을 알 수 없습니다.

 

둘째 실수는 AI에게 다시 확인을 맡기고 끝내는 것입니다.

「틀린 곳 없는지 다시 봐 줘」라고 하면 괜찮다는 답이 돌아오기도 합니다.

그 답은 원본과 대조한 결과가 아닐 수 있습니다.

마지막 대조는 원본을 가진 사람이 직접 해야 합니다.

 

셋째 실수는 원본 자료를 그대로 넣는 것입니다.

보고 자료에는 거래처 이름이나 금액,

고객 연락처처럼 밖에 나가면 안 되는 내용이 섞여 있기 쉽습니다.

회사에 AI 사용 기준이 있다면 그 기준을 먼저 따르십시오.

 

기준이 따로 없더라도 이름은 「가 거래처」 「나 거래처」처럼 바꿔 넣고,

결과가 나온 뒤 원래 이름으로 되돌리면 됩니다.

밖에 내보내면 안 되는 자료라면 처음부터 넣지 않는 편이 안전합니다.

 

확인할 곳이 많아 보여도 모든 칸을 같은 무게로 볼 필요는 없습니다.

바꾼 칸과 약속하는 문장처럼,

틀리면 곤란한 곳부터 먼저 보면 됩니다.

 

내일부터 따라 하기 — 맡기기 전에 기준부터 적는 순서

 

첫째, 맡길 일을 정하고 원본 자료를 옆에 펴 둡니다.

나중에 결과와 대조할 기준이 되는 자료입니다.

 

둘째, 원본에서 밖에 나가면 안 되는 내용을 지우거나 바꿉니다.

이름과 연락처, 금액처럼 회사 밖에 알려지면 곤란한 것들입니다.

 

셋째, 요청문에 결과와 함께 받을 확인용 목록을 적습니다.

숫자를 바꾸는 일이라면 바꾼 칸의 원래 값과 새 값을 표로 달라고 합니다.

글을 맡기는 일이라면 날짜·이름·약속하는 문장을 따로 모아 달라고 합니다.

 

넷째, 결과가 나오면 본문보다 확인용 목록을 먼저 봅니다.

목록의 줄을 하나씩 원본과 맞춰 보고,

결과물의 같은 칸에도 그 값이 들어갔는지 확인합니다.

목록에 있어야 할 칸이 빠져 있다면 그곳부터 의심합니다.

 

다섯째, 목록 밖의 내용도 다섯 가지 순서로 한 번 훑습니다.

숫자, 날짜, 이름, 약속하는 문장, 출처 차례입니다.

화면이나 기능 이름은 쓰는 AI마다 다르고 바뀔 수 있지만,

이 순서는 어느 도구에서나 똑같이 쓸 수 있습니다.

 

여섯째, 고친 곳이 있었다면 다음 요청문에 한 줄을 더합니다.

같은 일을 다시 맡길 때 그 요청문을 그대로 꺼내 쓰면 됩니다.

 

처음부터 모든 일에 이 순서를 지키지 않으셔도 됩니다.

다음에 숫자를 바꿔 넣는 일 하나에서,

「바꾼 칸을 표로 따로 줘」 한 줄만 더해 보십시오.

 

표는 다 채워졌습니다.

그 표를 믿어도 되는지는 아직 사람의 몫으로 남아 있습니다.