검색 엔진은 어떻게 그렇게 빨리 답을 찾아낼까요?
로봇 사서들
검색 엔진은 어떻게 그렇게 빨리 답을 찾아낼까요?
질문을 입력하고 Enter 키를 누르면, 짠! 1초도 안 되어 답이 나타납니다. 마치 마법 같아요. 인터넷이 그저 여러분을 기다리고 있었던 것처럼 느껴지죠. 하지만 반전이 있어요. 검색 엔진은 여러분이 물어본 순간에 온 웹을 뒤지기 시작한 게 아니에요. 여러분이 오기 몇 주 전부터 이미 숙제를 다 해 두었답니다.
여러분이 질문하기 훨씬 전, 검색 엔진은 "크롤러"라고 불리는 작은 로봇 프로그램들을 내보냈어요. 이들을 지치지 않는 사서라고 생각해 보세요. 이 사서들은 온 인터넷을 돌아다니며 링크를 계속, 또 계속, 또 계속 눌러요. 페이지 하나를 방문해 읽고, 모든 링크를 따라 새 페이지로 가고, 그렇게 계속해요. 영원히, 밤낮없이요.
