검색창에 "고양이는 왜 그르렁거릴까"라고 입력하고, 쾅! 0.43초 만에 5억 개의 결과가 나와요. 컴퓨터는 어떻게 눈 깜짝할 사이보다 더 빨리 인터넷 전체를 뒤질 수 있을까요?

비밀은 바로 이것이에요. 사실 검색 엔진은 여러분이 엔터 키를 누르는 순간에 검색을 시작하는 게 아니에요. 몇 주 전에 이미 모든 일을 해 두었죠. Google과 Bing은 크롤러라고 불리는 수백만 개의 작은 프로그램을 내보내요. 지치지 않는 로봇 사서라고 생각하면 돼요. 이들은 지구의 모든 공개 웹페이지를 찾아가서, 모든 내용을 읽고, 메모를 해요.

크롤러들은 그 많은 메모를 거대한 데이터 센터로 가져와요. 축구장만 한 창고에 컴퓨터가 바닥부터 천장까지 빽빽하게 들어찬 곳이죠. 그곳에서 검색 엔진은 색인을 만들어요. 모든 페이지의 모든 단어를 엄청나게 크고 꼼꼼하게 정리한 목록이에요. 교과서 뒤에 있는 찾아보기와 비슷하지만, 수조 개의 페이지를 위한 것이죠.

색인은 페이지를 우리가 읽는 순서대로 저장하지 않아요. 단어별로 거꾸로 저장해요. "그르렁" 아래에는 그르렁이라는 말이 나오는 모든 웹페이지가 적혀 있고, 그 단어가 각 페이지의 어디에 나오는지, 그곳에서 얼마나 중요해 보이는지도 함께 적혀 있어요. "고양이" 아래도 마찬가지예요. 이렇게 거꾸로 정리한 것을 역색인이라고 부르는데, 이것이 바로 빠른 속도의 비법이에요.

여러분이 "고양이는 왜 그르렁거릴까"라고 검색하면, 검색 엔진은 색인에서 각 단어를 순식간에 찾아요. 수십억 개의 페이지를 하나하나 뒤지는 게 아니죠. "왜", "고양이", "그르렁" 목록을 찾은 다음, 세 단어가 모두 들어 있는 페이지를 찾기 위해 서로 맞춰 보아요. 색인은 이미 정렬되어 있고 컴퓨터의 초고속 메모리에 들어 있기 때문에, 이 맞추기는 몇 밀리초 만에 끝나요.

하지만 어떤 결과가 맨 먼저 나와야 할까요? 검색 엔진은 일치하는 모든 페이지를 순위 알고리즘에 넣어요. 수백 가지 재료가 들어간 복잡한 수학 요리법 같은 것이죠. 다른 믿을 만한 페이지들이 이 페이지를 얼마나 많이 연결하고 있을까? 이 페이지가 여러분의 단어를 제목이나 맨 위쪽에 쓰고 있을까? 사이트는 믿을 만하고 빠를까? 사람들이 이 단어들을 검색할 때 보통 원하는 것과 내용이 얼마나 잘 맞을까? 이런 것들을 확인해요.

알고리즘은 눈 깜짝할 사이보다 짧은 시간에 모든 페이지에 점수를 매기고, 가장 좋은 것부터 덜 좋은 것까지 정렬한 뒤, 맨 위의 결과들을 여러분에게 건네줘요. 단어를 찾고, 페이지를 맞추고, 점수를 매기고, 순위를 정하는 이 모든 일이 여러분의 손가락이 엔터 키에서 떨어지기도 전에 일어나요. 검색 엔진은 이미 인터넷을 읽어 두었어요. 그저 여러분이 물어보기를 기다리고 있었을 뿐이죠.

그 크롤러들은요? 절대 멈추지 않아요. 바로 지금도 밖에서 새 페이지를 찾아가고, 바뀐 내용이 있는지 확인하고, 색인에 더하고 있어요. 그러니 다음에 검색할 때, 고양이의 그르렁거림이든 공룡 이야기든 가까운 최고의 피자 가게든, 답은 이미 기다리고 있어요. 잘 정리되어 있다가 빛의 속도로 여러분에게 날아올 준비를 하고 있죠.