Oliveyoung Product Scraper

올리브영 온라인몰에서 상품 정보를 스크래핑하는 Apify Actor입니다.

주요 기능

• 🛍️ 상품명, 브랜드명, 가격 정보 수집
• 🏷️ 태그 정보 수집 (세일, 오늘드림, 쿠폰 등)
• 🌐 동적 웹사이트 지원 (Playwright 사용)
• 📄 페이지네이션 자동 처리
• 🔄 정렬 옵션 지원 (인기순, 신상품순, 판매순, 낮은가격순, 할인율순)
• 🔒 외부 프록시 지원 (선택사항)
• 📊 Apify Dataset으로 데이터 저장

입력 파라미터

파라미터	타입	필수	기본값	설명
dispCatNo	string	✅	1000001001200070003	카테고리 번호
prdSort	string	❌	01	정렬 순서
maxProducts	number	❌	100	최대 수집 상품 수
proxyUrl	string	❌	-	외부 프록시 URL (선택사항)

정렬 옵션 (prdSort)

• 01: 인기순
• 02: 신상품순
• 03: 판매순
• 04: 낮은가격순
• 05: 할인율순

입력 예시

기본 사용법

{
  "maxProducts": 50,
  "dispCatNo": "1000001001200070003",
  "prdSort": "01"
}

프록시 사용

{
  "maxProducts": 50,
  "dispCatNo": "1000001001200070003",
  "proxyUrl": "http://username:password@proxy.example.com:8080"
}

출력 데이터

{
  "store_name": "브랜드명",
  "product_name": "상품명",
  "original_price": "원가격",
  "discount_price": "할인가격",
  "tags": ["세일", "오늘드림", "쿠폰"],
  "thumbnail_url": "상품 썸네일 이미지 URL",
  "product_url": "상품 상세페이지 URL",
  "goods_no": "상품 고유번호",
  "source_url": "수집된 페이지 URL"
}

로컬 개발

# 의존성 설치
npm install

# 개발 모드 실행
npm run start:dev

# 빌드
npm run build

Apify 배포

# Apify CLI 설치 (최초 1회)
npm install -g apify-cli

# 로그인
apify login

# 배포
apify push

기술 스택

• Runtime: Node.js + TypeScript
• Browser: Playwright (Chromium)
• Platform: Apify
• Proxy: 외부 프록시 지원 (선택사항)

지원 페이지

• ✅ 카테고리별 상품 페이지
• 🔜 랭킹 페이지 (향후 지원 예정)
• 🔜 검색결과 페이지 (향후 지원 예정)

주의사항

• 올리브영 웹사이트의 구조 변경 시 스크래핑이 중단될 수 있습니다
• 과도한 요청은 IP 차단을 유발할 수 있으므로 적절한 간격으로 사용하세요
• 상업적 사용 시 올리브영의 이용약관을 확인하시기 바랍니다