챗봇에 질문을 입력하면, 짠! 뭐든 다 아는 것처럼 대답해요. 그런데 챗봇은 그 많은 패턴, 말들이 서로 맞물리는 그 많은 방식을 어떻게 배울까요? 비밀은 마법이 아니에요. 그건 좀 더… 인터넷 전체를 읽은 아주 끈질긴 앵무새를 훈련시키는 것과 비슷해요.

먼저, 챗봇은 읽어요. 수백만, 수천만 개의 문장들을요. 책, 웹사이트, 대화, 요리법, 시, 사람들이 글로 남긴 모든 것들을 읽죠. 아직 단어를 이해하는 건 아니에요. 그저 패턴을 볼 뿐이에요. 예를 들어 "고양이가 앉은 곳은" 뒤에는 거의 언제나 앉을 수 있는 물건이 온다는 걸 알아차리는 것처럼요.

읽는 동안, 챗봇은 자기 자신과 맞히기 놀이를 해요. 문장의 마지막 단어를 가리고 무엇일지 예측해 보죠. "하늘은 ." 파랗다? 맑다? 무너진다? 챗봇은 추측하고, 정답을 확인한 다음, 다음번에 더 잘 맞히려고 머릿속의 작은 다이얼들, 수백만 개나 되는 다이얼들을 조절해요.

그 다이얼들은 가중치라고 불리고, 챗봇이 패턴을 기억하는 방법이에요. 틀리게 추측하면 가중치를 아주 조금 바꿔요. 맞게 추측하면 무엇이 잘 맞았는지 기억하도록 살짝 밀어 주죠. 수십억 번을 추측한 뒤, 가중치들은 언어가 실제로 어떻게 흘러가는지 보여 주는 지도처럼 자리를 잡아요.

이상한 점은 바로 이것이에요. 챗봇은 고양이가 무엇인지 절대 "알지" 못해요. 다만 "cat"이 "meow"나 "purr", "litter box" 가까이에 자주 나타나고, "rocket ship" 근처에는 덜 나타난다는 걸 알 뿐이죠. 단어들이 함께 어울리는 모습을 보고, _고양이다움의 모양_을 배운 거예요.

진짜 마술 같은 기술은 어텐션이라고 해요. 여러분이 "고양이는 왜 가르랑거릴까?"라고 물으면, 챗봇은 모든 단어를 똑같이 다루지 않아요. "고양이"와 "가르랑"에 집중하고, 전에 본 관련 패턴들과 연결한 다음, "는" 같은 덜 중요한 말들은 지나쳐요.

이 모든 일은 여러 층에서 일어나요. 마치 릴레이 경주처럼요. 첫 번째 층은 흔한 단어 짝 같은 간단한 패턴을 알아차려요. 다음 층은 조금 더 큰 생각, 예를 들면 질문과 평서문의 차이를 알아차리죠. 가장 깊은 층들은 "이건 과학적인 설명을 부탁하는 말 같아" 같은 아주 큰 패턴을 알아봐요.

그래서 여러분이 질문을 입력하면, 챗봇은 책에서 답을 찾아보는 게 아니에요. 챗봇은 배워 둔 패턴을 타고 움직여요. 수십억 번의 작은 가중치 조정들이 한꺼번에 작동하면서, 다음에 어떤 도움이 되는 말이 와야 할지 예측하죠. 챗봇은 한 단어씩, 놀라울 만큼 잘 추측하는 거예요.

그리고 재미있는 점이 있어요. 챗봇은 가끔 틀려요. 왜냐하면 챗봇은 진실이 아니라 패턴만 배웠기 때문이에요. 인터넷에 "유니콘은 화요일을 좋아한다"는 말이 충분히 많이 나오면, 챗봇은 그 말을 믿을지도 몰라요. 언어는 놀랄 만큼 잘 다루지만, 진짜와 말도 안 되는 것을 구별하는 데는 우스울 만큼 서툴죠.

처음에 말했던 그 앵무새요? 알고 보니 그 앵무새는 모든 것을 읽고, 아주 작은 패턴까지 알아차리며, 그 모든 것을 섞어 새로운 것으로 만들 수 있는 앵무새였어요. 수학과 추측 놀이 한 묶음치고는 꽤 대단하죠. 다만… "strawberry"에 R이 몇 개 있는지는 묻지 않는 게 좋을지도 몰라요.