방금전 우연히 알게된 daum 검색 크롤링 규칙

관리자

2024.08.25

추천 0

클리앙에서 제목이나 본문의 초반은 daum 검색에 걸리지만, 본문의 후반부는 검색에 안걸립니다.

방금전 저의 글 https://www.clien.net/service/board/park/18789671CLIEN 에 '스테이씨' 단어가 제목으로 들어갔거나 본문 상단에 있었으면 daum 검색에 걸리는데 지금 묻혔습니다. 본문이 길지도 않았어요.

조금 다른 얘기지만, 취미로 스테이씨 잡담을 여기와 다른 한개 사이트에 번갈아가며 올렸었는데, 그 사이트는 몇개월전부터 아예 daum 크롤링에서 제외됐습니다. https 를 안쓰는 좀 낙후된 사이트여서 그랬는지 아무튼 그러더라구요.

하필 daum 검색을 쓰냐 라고 의문가지실수 있는데, 제가 아는 한 통합웹 '최신순' 검색은 구글이 지원 안하고 daum만 지원하더라구요. 네이버는 애초에 제 고려대상이 아니구요.

어디선가 봤는데 검색의 본산인 구글도 이제는 아무 사이트나 크롤링하지 않고 골라가며 크롤링한다고 하더라구요. IT기업들이 정리해고하고 사업접고 하면서 크롤링 대상도 가치와 가성비를 따지는 것 같습니다. 얼마전에 제가 본 아래 기사에서도 그러더라구요.

가뜩이나 요새 데이터들이 흘러가는 성향이 많아서 페이징보다는 SPA로 한번 보여주고 흘려보내는 경우가 많은데, SEO 해야 하는 신규사이트도, 그것을 크롤링해야 하는 검색엔진도 깔끔한 방법이랄게 잘 안떠오를거 같습니다.

아무튼 오늘 밤에 본 스테이씨 영상이나 몇개 더 첨부합니다.

유머게시판