패밀리카를 검색어로 하여 6개 수집 도구를 돌려봤다 — Google이 막은 자리와 다음 학습 방향
패밀리카를 검색어로 하여 6개 수집 도구를 돌려봤다 — Google이 막은 자리와 다음 학습 방향 trend-scout 를 1년 운영했다. 다음 단계를 결정해야 할 시점이 왔다. 내 수집 도구를 한 단계 더 깊이 키울지, 아니면 더 넓게 가져갈지. 결정하기 전에 지금 가진 도구가 어디까지 풀어내고 어디서 막히는지 한번 측정해 볼 필요가 있었다. 검색어를 “3인가족 패밀리카 추천”으로 잡았다. 여기에 사이트 6곳을 도구 6개로 돌려보는 매트릭스를 만들었다. 결과는 명확했다. Google을 통한 자료 수집은 6개 도구가 모두 실패했다. 반대로 Naver는 우회 도구 없이도 본문에 제품명이 9건 그대로 노출됐다. 이 결과가 다음 학습 방향을 정해줬다 — 깊이가 아니라 넓이. 이 글은 그 측정 과정과 거기서 본 것들을 정리한 글이다. 1. 지금의 trend-scout 구성과 측정 준비 trend-scout는 X·Threads·Google Trends 세 곳을 데이터 출처로 삼는다. 한 달에 비용은 0원, 유지 시간은 2~4시간 정도로 굴리는 사이드 수집기다. 이전 글 엔드포인트는 죽는다 에서 정리한 운영 규율 세 가지가 있었다. 엔드포인트가 평균 2~3개월이면 죽는다는 점. 출처를 분산해야 한다는 점. 죽음 신호를 자동으로 감지해야 한다는 점. 1년 동안 굴리면서 얻은 학습이었다. 다음에 어디로 학습을 끌고 갈지 후보가 둘 있었다. (깊이) 한 사이트에 우회 계층을 더 쌓는다 — TLS 위장, 브라우저 자동화, CAPTCHA 풀이 도구. (넓이) 출처를 더 넓힌다 — 한국 검색, 커뮤니티, 자동차 전문 사이트. 깊이 쪽으로 가려면 지금 도구가 어디서 막히는지부터 알아야 했다. 그래서 한국어 검색어를 정해 두고, 표준 사이트 6곳에 던져 도구 6개로 풀어 보는 시도를 했다. 측정 준비 검색어 : “3인가족 패밀리카 추천” 사이트 6곳 : Google 웹 검색, Google 이미지 ...
