Q. 기존의 크롤링과 Syndication API는 어떤 차이가 있나요?

A. 인터넷에는 수 많은 웹사이트와 웹페이지들이 있습니다. 그만큼 많은 정보들이 인터넷에 있고 많은 검색서비스들은 이 정보를 수집해서 검색 결과로 보여주려 하고 있습니다. 그런데 이 많은 웹페이지들이 어디에 위치해 있고, 어떤 글이 올라오거나 삭제되는 지를 알 수 없기 때문에 크롤링이라고 불리는 무작위 접근 및 수집 방법을 사용했었습니다. 이렇게 무작위로 접근을 하기 때문에 찾아지지 않는 웹페이지들이 있기도 하고, 새롭게 등록되거나 수정 혹은 삭제되는 글들을 수집하기 위해서 빈번하게 접속을 할 수 밖에 없습니다. 예를 들어 자주 글이 올라오는 곳은 접속 주기를 짧게 해서 계속 새로운 글이 올라왔는지를 검색해야 하겠죠. 이렇게 빈번하게 새로운 글을 수집하기 위해 웹페이지에 접속하게 되다보니 간혹 웹사이트 운영에 방해가 될 정도로 높은 부하를 일으키게 되는 경우도 생기게 됩니다. 또한 이렇게 수집된 웹페이지는 HTML 형식이라 제목과 내용을 추출하기 어려운 경우가 있어 검색 순위에서 뒤로 밀리는 경우도 있었습니다.
Syndication API 서비스는 이런 일방적인 수집을 할 수 밖에 없던 기존 크롤링 방식을 탈피하여 웹사이트에서 직접 글의 등록과 수정, 삭제 정보를 PING으로 보내고 검색 서비스 업체는 XML 문서로 글의 정보를 받아 보게 됩니다. 그 결과 실시간으로 매우 빠르고 정확하게 검색에 반영될 수 있습니다.