Yahoo! Chiebukuro Q&A Scraper

English | 日本語

Collect public Yahoo!知恵袋 questions, answers, best-answer decisions, replies, author labels, timestamps, engagement signals, categories, and source URLs for Voice of Customer (VOC), market research, and Japanese-language community analysis.

Use this Actor when the research unit is a complete question context: the question, its selected best answer, and the other public answers.

How it relates to Quora scrapers

The input and output design follows the useful parts of established Quora Actors: keyword search and direct URLs can be mixed, public Q&A content is structured for downstream analysis, and question/answer records retain source metadata.

Yahoo!知恵袋 is not a threaded forum like Reddit or 贴吧. It is a question-first service closer to Quora or 百度知道. This Actor therefore preserves the relationship between each question and all of its answers instead of treating answer text as context-free comments.

Capability	Typical Quora scraper	This Actor
Keyword search	Yes	Yes, using public Yahoo!知恵袋 search pages
Direct question URLs	Yes	Yes
Questions and answers	Yes	Yes
Best/accepted answer	Accepted answer when exposed	Yahoo!知恵袋 ベストアンサー flag and questioner thanks
Reply context	Varies	Public replies nested under their answer when exposed
Flat CSV-friendly rows	Often	Yes; each answer repeats its question context
Coverage audit	Varies	Search-page, question-level, and run-level audit records
Profiles, topics, spaces, posts	Common on Quora	Not applicable; this Actor is deliberately limited to Yahoo!知恵袋 Q&A

When to use it

Choose this Actor when:

• You need Japanese consumer questions, purchase barriers, usage problems, recommendations, or peer-proposed solutions.
• You want to search several Japanese keywords and deduplicate overlapping questions.
• You already have Yahoo!知恵袋 question URLs and need the complete public Q&A context.
• You need best-answer status, answer reactions, public author labels, categories, and reply context.
• You need audit rows that show search coverage, answer coverage, failures, and stopping conditions.

Choose another workflow when:

• You need Reddit-style comment trees or community/subreddit discovery.
• You need private, deleted, authenticated, account-specific, or historical content that is no longer publicly rendered.
• You need Yahoo! JAPAN Search results outside Yahoo!知恵袋.
• You need semantic analysis or AI summaries instead of source records.

Input

Use searchQueries, startUrls, or both. Questions found by several searches are collected once and retain every matching query/rank in search_hits.

{
  "searchQueries": [
    "防災グッズ おすすめ",
    "電気代 節約 方法",
    "キャンプ 初心者"
  ],
  "startUrls": [
    {
      "url": "https://detail.chiebukuro.yahoo.co.jp/qa/question_detail/q10329103845"
    }
  ],
  "questionStatus": "all",
  "maxQuestionsPerQuery": 100,
  "maxAnswersPerQuestion": 0,
  "includeReplies": true,
  "outputMode": "both",
  "concurrency": 5,
  "requestDelayMs": 250
}

Main controls

Field	Meaning
searchQueries	Japanese keyword searches.
startUrls	Direct public question detail URLs.
questionStatus	all, open, or resolved; applies to searches only.
maxQuestionsPerQuery	Per-query result cap before cross-query deduplication.
maxSearchPages	Hard safety cap; Yahoo currently renders up to 10 search results per page.
maxAnswersPerQuestion	0 means every displayed answer; a positive value creates a bounded sample.
includeReplies	Keeps replies nested under answers when Yahoo exposes them in the public page data.
outputMode	nested, flat, or both. Default both supports JSON context and CSV/Excel analysis.
concurrency	Parallel question requests, 1-10.
requestDelayMs	Delay before each Yahoo request.
maxRequestRetries	Total attempts for transient failures.

Output

The default dataset contains five record types. Always filter record_type before analysis.

record_type	One row per	Purpose
question	Unique question	Full question metadata and, in nested/both mode, all collected answers.
answer	Answer	CSV-friendly answer row with repeated question title, text, categories, URL, and search provenance.
search_audit	Query page	Query, page, results found, new unique questions, displayed total, and errors.
question_audit	Question	Displayed answer target, collected answers/pages/replies, coverage flags, and errors.
run_audit	Actor run	Input counts, unique questions, output totals, failures, and completion time.

For VOC analysis, use either:

• question rows in nested mode, where each question carries its answers; or
• answer rows in flat/both mode, where every answer repeats question_id, question_title, question_text, and source context.

Stable deduplication keys are question_id and answer_id.

Pricing

The question-completed event is charged once after a question has been parsed successfully, its requested answer target has been reached, and its question and audit rows have been written to the Dataset. Failed questions, incomplete answer coverage, answer rows, replies, and audit rows are not charged separately.

The run_audit row reports questions_chargeable, question_completed_events_charged, and any questions_not_charged because the run reached the user's maximum charge limit.

Coverage checks

Before analysis, verify:

1. run_audit.failures is empty.
2. Every question_audit.answer_coverage_complete value is true, unless a deliberate answer cap was used.
3. reply_coverage_complete is true when replies are required. A false value means Yahoo displayed more replies than were present in the server-rendered page data.
4. Search-page counts and per-query limits match the intended research scope.

Limits and responsible use

• Collects public Yahoo!知恵袋 pages only and does not log in or bypass access controls.
• Page structure, field availability, and anti-bot behavior can change; audit failures must be reviewed.
• Public usernames can be masked by Yahoo. The Actor preserves only the public display value and does not infer identity.
• Direct answer anchors are constructed from public question and answer IDs; Yahoo may change anchor behavior.
• The Actor does not classify relevance, commercial content, sentiment, or VOC topics.
• Use reasonable request rates and follow applicable law, Yahoo! JAPAN terms, and your organization's data-handling rules.

---

日本語

Yahoo!知恵袋 Q&A スクレイパー

Yahoo!知恵袋の公開ページから、質問、ベストアンサーの選定情報、その他の回答、返信、公開されたユーザー表示、投稿日時、反応指標、カテゴリ、参照 URL を収集します。VOC（顧客の声）分析、市場調査、日本語コミュニティ分析に適しています。

質問本文、選定されたベストアンサー、その他の公開回答をまとめた「質問全体の文脈」を調査単位とする場合にご利用ください。

Quora スクレイパーとの関係

入出力の設計には、既存の Quora Actor の実用的な特徴を取り入れています。キーワード検索と質問 URL の直接指定を併用でき、公開 Q&A データを後続分析に使いやすい形に構造化し、出典メタデータも保持します。

Yahoo!知恵袋は Reddit や貼吧のようなスレッド型フォーラムではなく、Quora や百度知道に近い質問中心のサービスです。そのため、回答文を文脈から切り離したコメントとして扱わず、各質問とすべての回答の関係を保持します。

機能	一般的な Quora スクレイパー	この Actor
キーワード検索	対応	Yahoo!知恵袋の公開検索ページに対応
質問 URL の直接指定	対応	対応
質問と回答	対応	対応
ベストアンサー	公開されている場合に取得	Yahoo!知恵袋の ベストアンサー フラグと質問者からのお礼
返信の文脈	Actor による	公開ページに表示される場合、対応する回答の下にネスト
CSV 向けのフラット形式	対応することが多い	各回答に質問の文脈を付与
収集範囲の監査	Actor による	検索ページ、質問、実行全体の監査レコード
プロフィール、トピック、スペース、投稿	Quora では一般的	非対応。Yahoo!知恵袋の Q&A に特化

適している利用シーン

次のような場合に、この Actor をお選びください。

• 日本の消費者の質問、購入障壁、利用上の問題、おすすめ、ユーザー間で提案される解決策を調査したい。
• 複数の日本語キーワードで検索し、重複する質問を一度だけ収集したい。
• Yahoo!知恵袋の質問 URL を保有しており、公開されている Q&A 全体の文脈を取得したい。
• ベストアンサー、回答への反応、公開ユーザー表示、カテゴリ、返信の文脈が必要。
• 検索範囲、回答収集範囲、失敗、停止条件を確認できる監査レコードが必要。

次の目的には、別の手段をご利用ください。

• Reddit 型のコメントツリーやコミュニティ発見。
• 非公開、削除済み、ログイン必須、アカウント固有、または公開ページから削除された過去のコンテンツの取得。
• Yahoo!知恵袋以外の Yahoo! JAPAN 検索結果の取得。
• 出典レコードではなく、意味分析や AI 要約を必要とする場合。

入力

searchQueries、startUrls、または両方を指定できます。複数の検索で見つかった同一質問は一度だけ収集され、一致したすべてのクエリと順位が search_hits に保持されます。

{
  "searchQueries": [
    "防災グッズ おすすめ",
    "電気代 節約 方法",
    "キャンプ 初心者"
  ],
  "startUrls": [
    {
      "url": "https://detail.chiebukuro.yahoo.co.jp/qa/question_detail/q10329103845"
    }
  ],
  "questionStatus": "all",
  "maxQuestionsPerQuery": 100,
  "maxAnswersPerQuestion": 0,
  "includeReplies": true,
  "outputMode": "both",
  "concurrency": 5,
  "requestDelayMs": 250
}

主な設定項目

フィールド	説明
searchQueries	日本語の検索キーワード。
startUrls	公開されている質問詳細ページの URL。
questionStatus	all、open、resolved のいずれか。検索にのみ適用されます。
maxQuestionsPerQuery	複数クエリ間の重複排除前に適用される、クエリごとの結果上限。
maxSearchPages	検索ページ数の安全上限。Yahoo は現在、1 ページあたり最大 10 件の結果を表示します。
maxAnswersPerQuestion	0 で表示されるすべての回答を取得します。正の数値で取得数を制限できます。
includeReplies	Yahoo の公開ページデータに返信が含まれる場合、対応する回答の下にネストして保持します。
outputMode	nested、flat、both のいずれか。既定値の both は、JSON の文脈保持と CSV/Excel 分析の両方に対応します。
concurrency	質問リクエストの並列数。1～10。
requestDelayMs	Yahoo への各リクエスト前の待機時間。
maxRequestRetries	一時的なエラーに対する最大試行回数。

出力

既定の Dataset には 5 種類のレコードが保存されます。分析前に必ず record_type で絞り込んでください。

record_type	1 行が表す単位	用途
question	重複のない質問	質問の全メタデータ。nested / both モードでは収集したすべての回答も含みます。
answer	回答	CSV 分析向けの回答行。質問タイトル、本文、カテゴリ、URL、検索元情報を各行に付与します。
search_audit	クエリごとの検索ページ	クエリ、ページ、検出件数、新規質問数、表示上の合計件数、エラー。
question_audit	質問	表示上の回答目標数、収集した回答数・ページ数・返信数、完全性フラグ、エラー。
run_audit	Actor の 1 回の実行	入力件数、重複のない質問数、出力合計、失敗、完了日時。

VOC 分析では、次のどちらかを使用できます。

• nested モードの question 行：各質問にその回答が含まれます。
• flat / both モードの answer 行：すべての回答に question_id、question_title、question_text と出典の文脈が付与されます。

安定した重複排除キーは question_id と answer_id です。

料金

question-completed イベントは、質問の解析が成功し、指定された回答収集範囲に到達し、質問行と監査行が Dataset に書き込まれた後に、質問ごとに 1 回課金されます。失敗した質問、回答の収集が不完全な質問、回答行、返信、監査行に個別の追加料金は発生しません。

run_audit 行には、questions_chargeable、question_completed_events_charged、およびユーザーが設定した最大料金に達したため課金されなかった questions_not_charged が記録されます。

完全性の確認

分析前に、次の点を確認してください。

1. run_audit.failures が空であること。
2. 回答数を意図的に制限した場合を除き、すべての question_audit.answer_coverage_complete が true であること。
3. 返信を必要とする場合、reply_coverage_complete が true であること。false の場合、Yahoo 上の表示件数よりもサーバーレンダリングデータ内の返信数が少ないことを示します。
4. 検索ページの件数とクエリごとの上限が、意図した調査範囲と一致していること。

制限と責任ある利用

• Yahoo!知恵袋の公開ページのみを対象とし、ログインやアクセス制御の回避は行いません。
• ページ構造、利用できるフィールド、ボット対策は変更される可能性があるため、監査レコードの失敗内容を確認してください。
• 公開ユーザー名は Yahoo によって一部非表示にされる場合があります。この Actor は公開された表示値のみを保存し、個人の特定は行いません。
• 回答への直接リンクは、公開された質問 ID と回答 ID から生成します。Yahoo のアンカー仕様の変更により、動作が変わる場合があります。
• 関連性、宣伝・商業的コンテンツ、感情、VOC トピックの分類は行いません。
• 適切なリクエスト頻度を使用し、関係法令、Yahoo! JAPAN の利用規約、組織内のデータ取り扱いルールに従ってください。