더쿠 스크래퍼 – theqoo 게시글·댓글 수집 (API·로그인 불필요)

더쿠(theqoo.net)의 게시판 글 목록과, 원하는 게시글의 본문 및 전체 댓글을 수집합니다. HOT, 스퀘어, 케이돌토크, 뷰티, 드영배는 물론 아티스트별 게시판(bts, newjeans, seventeen 등)도 그대로 지정할 수 있습니다. 브라우저 없이 공개 페이지만 읽고, 결과는 JSON/CSV/Excel로 내보낼 수 있습니다.

더쿠는 Cloudflare 보안 검사로 해외·데이터센터 IP를 막아 두었습니다(403 "보안 검사중"). 이 액터는 기본값으로 한국 주거용 프록시를 사용해 이 검사를 자동으로 통과하고, 댓글은 사이트와 똑같은 방식(같은 세션 + CSRF 토큰)으로 불러옵니다. 직접 우회 방법을 만들 필요가 없습니다.

출력 필드

게시판 글 목록 (게시판 모드, content는 null)

필드	타입	설명
post_id	string	게시글 번호
site	string	항상 theqoo
board	string | null	게시판 ID (예: hot, square)
category	string | null	말머리 (예: 이슈, 잡담, 유머)
title	string | null	제목
author	string | null	작성자. 더쿠는 모두 "무명의 더쿠"(익명)이므로 보통 null
reply_count	number | null	댓글 수
view_count	number | null	조회수
created_at	string | null	작성 시각 (ISO 8601, 한국 시간 +09:00)
created_at_precision	string | null	시각 정밀도: minute(오늘 글, 분 단위) / day(이전 글, 날짜만)
post_url	string	게시글 주소
content / links / image_count	null	목록 모드에서는 항상 null
source_mode	string	사용한 모드
source_query	string	조회 대상 (게시판 ID)
scraped_at	string	수집 시각 (ISO 8601)

게시글 본문 (게시글 전체 모드, 위 필드 + 아래 값이 채워짐)

필드	타입	설명
content	string | null	본문 텍스트 (HTML 제거, 줄바꿈 유지). 이미지만 있는 글은 null
links	string[]	본문 속 외부 링크 (x.com, 유튜브, 기사 등). 링크 태그와 글자로 붙여 넣은 주소 모두 포함
image_count	number	본문 이미지 수
created_at	string | null	작성 시각, 분 단위 (created_at_precision: "minute")
board	string | null	게시글이 열린 게시판. 번호만 넣으면 더쿠가 원래 게시판으로 이동시킵니다

댓글 (게시글 전체 모드)

필드	타입	설명
reply_id	string	댓글 ID
post_id	string	게시글 번호
site	string	항상 theqoo
floor	number	댓글 번호. 사이트에 보이는 "12. 무명의 더쿠"의 12이며, 다른 댓글의 "@12"가 가리키는 번호
commenter_floor	number	같은 작성자 표시. 이 익명 작성자가 이 글에서 처음 댓글을 단 번호(사이트의 "= 12덬"). 값이 같으면 같은 사람입니다 (해당 게시글 안에서만 유효)
is_op	boolean	글쓴이 본인의 댓글이면 true (사이트의 "= 원덬")
reply_to_floor	number | null	댓글 맨 앞의 "@N"에서 읽은 답글 대상 번호. 없으면 null
is_hidden	boolean	삭제된 댓글, 또는 비회원에게 가려진 댓글이면 true. 이런 행은 과금되지 않습니다
hidden_reason	string | null	deleted(삭제됨) / members_only_recent(작성 1시간 이내라 비회원에게 비공개)
author	string | null	닉네임이 보이는 게시판에서만 값이 있고, 익명이면 null
content	string | null	댓글 내용 (HTML 제거). 숨김 댓글은 null
created_at	string | null	작성 시각, 초 단위 (ISO 8601, +09:00)
scraped_at	string	수집 시각 (ISO 8601)

필드 이름은 같은 개발자의 hardwarezone-scraper(싱가포르), lihkg-scraper(홍콩), ptt-scraper(대만), voz-scraper(베트남)와 맞춰 두었기 때문에, 여러 나라 커뮤니티 데이터를 한 표로 합칠 수 있습니다.

모드

모드	입력	출력	과금
board	boards (게시판 ID), keywords (제목 필터, 선택), dateFrom (선택)	게시판 글 목록	글 1건당 $0.002
thread	threadIds / threadUrls	게시글 본문 (건당 $0.008) + 전체 댓글 (건당 $0.0005)	수집량 기준

삭제된 댓글과 비회원에게 가려진 댓글은 댓글 번호가 이어지도록 결과에 포함하지만 과금하지 않습니다.

입력

필드	타입	기본값	설명
mode	enum	board	모드: board / thread (필수)
boards	array	["hot"]	게시판 ID 또는 게시판 주소. 예: hot, square, ktalk(케이돌토크), beauty, dyb(드영배), talk(일상토크), bts, newjeans
threadIds	array	—	게시글 번호 (예: 4371268800)
threadUrls	array	—	게시글 주소. 번호는 자동으로 추출됩니다
bulkInput	textarea	—	한 줄에 하나씩 붙여넣기. 모드에 맞는 칸에 자동으로 합쳐집니다
keywords	array	—	게시판 모드: 제목 키워드 필터 (비워 두면 거르지 않음)
maxItems	integer	50	게시판 모드: 게시판마다 최대 글 수 / 게시글 전체 모드: 최대 게시글 수. 최대 500
maxReplies	integer	—	게시글 전체 모드: 게시글당 최대 댓글 수 (1번부터 N번까지). 0 = 본문만, 비워 두면 전부
dateFrom	string	—	게시판 모드: 이 시점 이후 글만 (30m, 12h, 3d, 2w 또는 2026-10-01). 설정하면 오래된 페이지에서 바로 멈춥니다
proxyConfiguration	proxy	Apify RESIDENTIAL + KR	한국 주거용 프록시. 데이터센터 IP는 Cloudflare에 막히므로 바꾸지 않는 것을 권장합니다

입력 예시

1. HOT 게시판 최신 글

{
  "mode": "board",
  "boards": ["hot"],
  "maxItems": 50
}

2. 아티스트 게시판 매일 모니터링 (예약 실행)

{
  "mode": "board",
  "boards": ["newjeans", "seventeen", "ktalk"],
  "dateFrom": "1d",
  "maxItems": 200
}

3. 제목 키워드로 걸러내기

{
  "mode": "board",
  "boards": ["square", "hot"],
  "keywords": ["컴백", "콘서트"],
  "maxItems": 100
}

4. 게시글 하나 전체 (본문 + 모든 댓글)

{
  "mode": "thread",
  "threadUrls": ["https://theqoo.net/hot/4371268800"]
}

5. 긴 글의 비용 제한 (댓글 1~200번만)

{
  "mode": "thread",
  "threadIds": ["4370661006"],
  "maxReplies": 200
}

출력 예시

게시판 글 목록:

{
  "post_id": "4371268800",
  "site": "theqoo",
  "board": "hot",
  "category": "이슈",
  "title": "뎡배에서 반응 좋은 오늘 첫방송 한 드라마.jpg",
  "author": null,
  "reply_count": 363,
  "view_count": 71014,
  "created_at": "2026-10-10T22:25:00+09:00",
  "created_at_precision": "minute",
  "post_url": "https://theqoo.net/hot/4371268800",
  "content": null,
  "links": null,
  "image_count": null,
  "source_mode": "board",
  "source_query": "hot",
  "scraped_at": "2026-10-10T16:22:00.000Z"
}

댓글:

{
  "reply_id": "4371277604",
  "post_id": "4371268800",
  "site": "theqoo",
  "floor": 54,
  "commenter_floor": 33,
  "is_op": false,
  "reply_to_floor": 49,
  "is_hidden": false,
  "hidden_reason": null,
  "author": null,
  "content": "@49 그시대는 맞음ㅋㅋㅋ",
  "created_at": "2026-10-10T22:31:43+09:00",
  "scraped_at": "2026-10-10T16:22:05.000Z"
}

위 댓글은 54번 댓글이고, 33번 댓글을 쓴 사람과 같은 사람이 49번 댓글에 답한 것입니다.

주의 사항

• 공개된 내용만 수집하며 계정이나 토큰이 필요 없습니다. 회원 전용 게시판과 로그인해야 보이는 내용은 수집하지 않습니다.
• 더쿠는 비회원 검색을 막아 두었습니다(통합 검색 불가). 그래서 이 액터에는 사이트 전체 키워드 검색이 없고, keywords는 지정한 게시판 목록의 제목만 걸러냅니다. 키워드를 쓰면 게시판마다 최대 20페이지(글 약 400개)까지만 훑습니다. 키워드 모니터링은 관련 게시판을 dateFrom: "1d"로 매일 예약 실행하는 방식을 권장합니다.
• 작성자는 모두 익명("무명의 더쿠")이라 author는 보통 null입니다. 대신 commenter_floor로 한 게시글 안에서 같은 사람이 쓴 댓글을 묶을 수 있고, is_op로 글쓴이의 댓글을 구분할 수 있습니다. 게시글이 다르면 같은 사람인지 알 수 없습니다.
• 더쿠는 작성 1시간 이내의 댓글을 비회원에게 보여 주지 않습니다. 이런 댓글은 is_hidden: true, hidden_reason: "members_only_recent"로 내용 없이 나오며 과금되지 않습니다. 최신 댓글까지 모두 필요하면 글이 올라오고 1시간 이상 지난 뒤 수집하세요.
• 목록의 작성 시각은 오늘 글이면 분 단위, 이전 글이면 날짜만 표시됩니다(created_at_precision). 정확한 시각이 필요하면 게시글 전체 모드를 사용하세요. dateFrom 판단에서 날짜만 있는 글은 그날 하루 전체로 봅니다.
• 시각은 모두 한국 시간(+09:00) 기준의 ISO 8601입니다.
• 게시판 상단 공지와 이벤트 글은 결과에서 제외됩니다.
• 새 글이 없는 페이지가 5번 연속되면 자동으로 멈추고, dateFrom을 설정하면 페이지 전체가 기준보다 오래된 순간 멈춥니다.
• 가져온 것이 하나도 없는데 요청이 실패했거나(차단, 프록시 오류) 모든 게시판·게시글이 404였다면, 실행을 실패(FAILED) 로 끝내고 이유를 알려 줍니다. "새 글 없음"과 "차단됨"을 헷갈리지 않게 하기 위해서입니다.
• 한국 주거용 프록시는 요청 1건에 3~7초가 걸려 데이터센터 사이트보다 느립니다. 동시 요청 3개, 분당 30건 이하로 천천히 수집합니다.
• 더쿠 규칙상 기사·뉴스 전문 퍼오기는 제재 대상이며, 본문에 다른 매체의 글이 포함될 수 있습니다. 수집한 원문을 그대로 재배포하지 마세요.

FAQ

Q: 로그인이 필요한가요?

A: 아니요. 공개된 게시판 목록과 게시글만 읽으며 계정이 필요한 기능은 쓰지 않습니다.

Q: 게시판 ID는 어디서 찾나요?

A: 게시판 주소에 있습니다. theqoo.net/ktalk이면 ktalk, theqoo.net/newjeans이면 newjeans입니다. 주소를 그대로 붙여 넣어도 됩니다.

Q: 게시글 번호만 알면 되나요?

A: 네. 4370661006처럼 번호만 넣으면 더쿠가 원래 게시판(예: square)으로 이동시키고, 결과의 board에도 그 게시판이 들어갑니다.

Q: 댓글이 많은 글은 비용이 많이 드나요?

A: 댓글은 1건당 $0.0005라 1,000개짜리 글도 댓글 비용은 $0.50 정도입니다. 그래도 제한하고 싶다면 maxReplies를 설정하세요. maxReplies: 0이면 본문만 가져오고 댓글 요청을 아예 하지 않습니다.

Q: 왜 데이터센터 프록시로 바꾸면 안 되나요?

A: 더쿠의 Cloudflare가 데이터센터 IP와 대부분의 해외 IP에 403 "보안 검사중"을 돌려줍니다. 한국 주거용 IP에서만 안정적으로 통과하는 것을 확인했습니다.

Q: 실행 로그에 [incomplete-data]가 보여요.

A: 재시도 끝에 일부 페이지나 댓글을 가져오지 못했다는 뜻입니다. 게시글 본문은 결과에 들어 있고 빠진 부분만 로그에 적힙니다. 잠시 후 다시 실행하거나 maxItems를 줄여 보세요.

📚 관련 가이드와 도구

이 actor로 만든 실전 가이드와 무료 도구(영어)를 모아 둔 곳: AI Social API

• 📖 주제 가이드: theqoo 데이터: API 없이 K-pop 커뮤니티 게시글과 댓글 수집하기
• 📖 튜토리얼: Apify + n8n + GPT로 코딩 없이 커뮤니티 여론 분석 파이프라인 만들기
• 📊 데이터: 아시아 커뮤니티 수집 난이도 × 비용 비교표 — 실제로 돌려 본 결과: 어느 커뮤니티가 일반 요청만으로 되는지, 어디에 residential IP가 필요한지, 한 건에 얼마가 드는지
• 🛠 무료 도구: 커뮤니티 여론 빠른 확인 · Apify 비용 계산기
• 🤝 직접 돌리기 번거로우신가요? 매일 대신 돌려 드립니다 — 매일 예약 실행해 Google Sheet나 Slack으로 보내 드리며, 월 US$299부터입니다.

실제로 Apify actor 30개 이상을 운영하는 개발자가 관리합니다.

면책 조항

이 도구는 학술 연구와 합법적인 시장 분석을 위한 것입니다. 사용자는 더쿠 이용약관과 관련 법령(저작권법, 개인정보 보호법 등)을 지켜야 하며, 수집한 원문을 무단으로 재배포하거나 개인을 식별·추적하는 데 사용해서는 안 됩니다. 오용으로 생긴 결과에 대해 개발자는 책임지지 않습니다. 사이트 운영자의 게시 중단 요청이 있으면 사용을 중단합니다.

---

더쿠 스크래퍼, 더쿠 크롤링, 더쿠 크롤러, theqoo scraper, theqoo API, 더쿠 HOT 게시판, 케이돌토크, 케이팝 여론 분석, 연예 커뮤니티 데이터, 소셜 리스닝, 팬덤 모니터링, 브랜드 모니터링, JSON CSV Excel 내보내기