신문 칼럼 사례로 본 AI 시대의 글쓰기

최근 한 신문 칼럼을 읽었다. 문장은 매끄러웠고, 선택된 단어도 유려했다. 문장 하나하나를 놓고 보면 흠잡을 데가 없었다.
그러나, 읽어 나갈수록 뭔가 이상한 느낌이 들었다. 문단과 문단 사이의 연결이 어색하고, 중반 이후엔 앞서 있었던 내용이 다시 반복되었다. 논지를 확장하지 못한 채 겉돌고 있는 느낌이었다. 그럴듯한 문장으로 쓰여 있을 뿐 문단과 문단을 연결하여 독자의 공감을 끌어내는 사유의 깊이는 부족했다. 이건 GPT가 쓰고, 필자가 자신의 경험을 추가하여 다듬은 것처럼 보였다. 

갑자기 궁금했다.
GPT는 이 글을 어떻게 분석할까?
내가 쓴 글을 GPT에게 분석해 보라 했을 때 과연 어떤 답을 내어 놓을까?
이런 자료로 GPT의 분석 정확성을 체크해 볼 수 있지 않을까?
분석 능력의 정확도는 어디까지 와 있을까?
갖가지 생각들이 머리를 스쳐 지나갔다. 신문 읽기를 멈추고 이런저런 테스트를 해보고 싶었다.
GPT 시대의 글쓰기란 도대체 무엇이어야 할까? 

GPT는 신문 칼럼을 이렇게 평가했다.
“전반적으로 자연스럽고 논리적 흐름이 있다”
“인간이 작성한 것으로 보인다”

내가 위에서 서술한 문제점을 지적하자 GPT 답변은 180도 달라졌다.
결국에는 “문단 연결이 불완전하고, 깊이 면에서는 지적한 대로 미흡하다”는 식으로 입장을 바꾸었다. 이 토론에서 이끌어 낼 수 있는 사실을 두 가지로 요약해 보았다. 

첫째, GPT가 학습한 글은 대부분 ‘문법적 정합성’과 ‘구조적 안정성’을 갖춘 글이다. 그래서 GPT는 사유의 깊이보다는 정제된 문장과 일정한 형식만 갖춰도 높은 점수를 준다.
그리고, 형식적 완성도가 높으면 인간이 쓴 것이 아니라, 오히려 언어 패턴에 익숙한 AI가 쓴 것으로 판단할 때도 있다. 즉, GPT는 사유의 깊이보다는 문장이 갖춘 표면적 형식으로 판단하기 때문에 사람이 쓴 글을 GPT가 쓴 것으로, 혹은 그 반대로 판별하기도 한다. 그렇기 때문에, AI 시대의 글쓰기는 AI가 썼는가 인간이 썼는가 등과 같은 소모적 논쟁보다는, 그 글에 ‘사유의 흔적(주석 1)’이 있는가? ‘독자의 사고’를 얼마나 확장시켜 줄 수 있는가? 등에 방점이 찍혀야 할 것 같다.  

둘째, 실험 결과 GPT의 판단은 사용자의 피드백에 크게 영향을 받는다. GPT는 혼자서 글의 진정성을 완벽히 판별해 내지는 못한다.
사용자가 알려줘야 반성적 분석을 수행한다는 건, GPT의 ‘글 판단 능력’은 피상적 기준으로 작동한다는 것을 의미한다. 결국 본질을 판단하는 것은 사람의 몫이다.
AI 시대에 독자가 해야 할 일은 단순히 문장을 따라가는 게 아니라, 그 문장 뒤에 실제로 생각이 존재하는지를 끊임없이 되물어야 한다. 이런 자세는 AI 사용자에게도 필요하다. 

AI 시대의 글쓰기에도 판단 주체는 반드시 인간이어야 한다.

(주석1) 사유의 흔적은 글에서 여러 가지 형태로 나타난다. 그중에서도 문장 사이의 유기적 전개, 반복과 생략의 적절한 균형, 문단 간의 흐름 속에 드러나는 저자의 리듬 같은 것은 읽는 이에게 직접적으로 전달된다.