HardwareZone 爬蟲|新加坡最大論壇貼文、回覆、輿情監控(免 API) avatar

HardwareZone 爬蟲|新加坡最大論壇貼文、回覆、輿情監控(免 API)

Pricing

from $2.00 / 1,000 主題列表

Go to Apify Store
HardwareZone 爬蟲|新加坡最大論壇貼文、回覆、輿情監控(免 API)

HardwareZone 爬蟲|新加坡最大論壇貼文、回覆、輿情監控(免 API)

免登入抓新加坡最大論壇 HardwareZone:板塊主題列表(可關鍵字過濾)、主文與全部回覆,含作者、回覆數、瀏覽數、時間,輸出 JSON/CSV/Excel。配合排程做新加坡品牌聲量每日監控。新加坡社群輿情、品牌口碑、市場研究必備。

Pricing

from $2.00 / 1,000 主題列表

Rating

0.0

(0)

Developer

Chad

Chad

Maintained by Community

Actor stats

1

Bookmarked

2

Total users

0

Monthly active users

2 days ago

Last modified

Share

HardwareZone 爬蟲|新加坡最大論壇(免 API・免登入)

抓 HardwareZone(forums.hardwarezone.com.sg)——新加坡最大論壇:板塊最新主題列表、單一主題全文及所有回覆,走公開 HTML 端點,輸出結構化資料。

輸出欄位

板塊主題列表(ListingRow,content 為 null)

欄位名稱型別說明
post_idstring主題 ID
sitestring固定 hardwarezone
boardstring | null板塊 ID(查詢時輸入的 forumId)
is_hiddenboolean此列本身是否被年齡驗證牆遮蔽;只有完整主題模式的主文可能為 true,板塊列表一律 false。主文即使被遮蔽仍照常收一筆 product-detail(標題、瀏覽數、回覆數等中繼資料仍有價值)
titlestring | null標題
authorstring | null發起人
reply_countnumber | null回覆數(原始頁面可能是 "895" 或 "29K" 這種縮寫,已轉換成整數)
view_countnumber | null瀏覽數(同樣處理 "104K"/"4M" 縮寫)
created_atstring | null發文時間(ISO 8601,含 +0800 時區偏移)
last_reply_atstring | null最後回覆時間(ISO 8601,含 +0800 時區偏移)
post_urlstring | null主題連結
contentstring | null內文(列表模式為 null)
source_modestring抓取模式
source_querystring查詢條件(板塊 ID)
scraped_atstring抓取時間(ISO 8601)

主文(ThreadRow,同上欄位,多 content 有值)

欄位名稱型別說明
contentstring | null主文全文(已去除 HTML 標籤、空白已壓縮)
own_textstring | null該貼文作者自己寫的字(content 扣掉所有最外層引用區塊;整篇只有引用時為 "";content 為 null 時為 null)。做情緒分析請用這欄,才不會把被引用者的語氣算到回覆者身上
quoted_authorstring | null第一個引用區塊的作者(沒引用任何人時為 null)
quoted_textstring | null所有最外層引用區塊的內文(多段以空行連接,不含「X said:」標題與「Click to expand...」按鈕字樣;沒引用時為 null)

主文的 board 一律 null(主題模式沒有輸入板塊 ID,板塊資訊不在主題頁上);reply_count/view_count/last_reply_at 一律 null(這些是板塊列表頁才有的欄位)。

content 是整篇貼文全文(含被引用的段落,已去除 script 與引用區塊的按鈕雜訊);own_text 則是把引用拿掉後的作者原文,做情緒分析請用 own_text。板塊列表模式這三個新欄位一律為 null。

回覆(ReplyRow,僅完整主題模式)

欄位名稱型別說明
reply_idstring回覆 ID(樓層貼文的元素 ID;缺少時退回 {主題ID}-{樓層})
post_idstring所屬主題 ID
sitestring固定 hardwarezone
floornumber | null樓層(1-based,跨頁連續編號;年齡驗證牆遮蔽的貼文讀不到樓層時為 null,見下方注意事項)
is_hiddenboolean是否為被隱藏(年齡驗證牆遮蔽)的貼文。true 的列只當佔位保留(content/created_at/floor 為 null),不計費;一般貼文為 false
authorstring | null作者
contentstring | null回覆內容(已去除 HTML 標籤、空白已壓縮;被年齡驗證牆遮蔽時為 null)
own_textstring | null該貼文作者自己寫的字(content 扣掉所有最外層引用區塊;整篇只有引用時為 "";content 為 null 時為 null)。做情緒分析請用這欄,才不會把被引用者的語氣算到回覆者身上
quoted_authorstring | null第一個引用區塊的作者(沒引用任何人時為 null)
quoted_textstring | null所有最外層引用區塊的內文(多段以空行連接,不含「X said:」標題與「Click to expand...」按鈕字樣;沒引用時為 null)
created_atstring | null回覆時間(ISO 8601,含 +0800 時區偏移;被遮蔽時為 null)
scraped_atstring抓取時間(ISO 8601)

模式說明

模式輸入輸出計費
forumforumIds(板塊 ID)主題列表$0.002/筆
threadthreadIds / threadUrls主文($0.008/篇)+所有回覆($0.003/則)依數量

輸入欄位

欄位型別預設說明
modeenumforum模式:forum / thread(必填)
forumIdsarray["16"]板塊 ID,例如 16(Eat-Drink-Man-Woman 美食)、234(Chill-out/Happenings 吹水)、9(Mobile Communication Technology 手機)。更多板塊到 forums.hardwarezone.com.sg 找
threadIdsarray—主題 ID
threadUrlsarray—主題網址,自動抽出主題 ID
bulkInputtextarea—批量貼上,一行一個,依目前模式自動併入對應欄位
keywordsarray—板塊主題模式:標題關鍵字過濾(留空不過濾)
maxItemsinteger50板塊主題模式:每個板塊最多抓幾筆;完整主題模式:最多抓幾篇(回覆預設全部抓取,設定 maxReplies 可限制每串回覆數,依樓層)。上限 2000
maxRepliesinteger—完整主題模式:每一串最多抓幾則回覆(每則回覆照筆計費)。取每串前 N 個回覆樓層(被刪除的樓層可能使實際筆數略少於 N)。留空=不限制(預設,抓完整串)。與 maxItems 無關,後者限制的是串數
dateFromstring—板塊主題模式適用,依主題發文時間或最後回覆時間(取較新者)判斷。格式 3d、12h、2w(相對時間)或 MM/DD/YY(絕對日期)。有設定時會提早停止翻頁(置頂主題不受此篩選及早停判斷影響),排程監控更省成本
proxyConfigurationproxyApify datacenter proxy預設開啟;不用 proxy 會與其他 run 共用出口 IP 而被論壇限流。自備 proxy 或本機測試才關

輸入範例

板塊主題列表

{
"mode": "forum",
"forumIds": ["16", "234"],
"maxItems": 50
}

完整主題及回覆

{
"mode": "thread",
"threadUrls": [
"https://forums.hardwarezone.com.sg/threads/official-blood-donation-thread-give-blood-save-lives.7166857/"
]
}

新加坡輿情監控

HardwareZone(尤其是它的吹水板 EDMW)是新加坡最大論壇,也是本地社群輿情監測最常打包的來源。想要更完整的亞洲論壇輿情拼圖?搭配作者的其他繁中輿情 actor:LIHKG(lihkg-scraper,香港)、PTT(ptt-scraper,台灣)。三隻 actor 輸出欄位同一套慣例(snake_case、缺值 null、附 ISO 時間戳),方便合併分析。

注意事項

  • 只抓公開內容,不需要帳號或 token
  • 走公開 HTML 端點(XenForo 論壇引擎),不用瀏覽器,速度快、成本低
  • 內文已自動去除 HTML 標籤,空白已壓縮成單一空格
  • 板塊 ID/主題 ID 用純數字即可(例如 forumIds: ["16"]),Actor 會自動組出網址;HardwareZone 會把純數字網址導向含板名的完整網址,效果一樣
  • 部分貼文有年齡驗證牆:HardwareZone 對部分內容(不限成人版)要求登入並完成年齡驗證才能看到全文,未登入抓取時這類貼文只會拿到 author(仍然有值),content/created_at/floor 則誠實回傳 null——不會用猜測值頂替。主題本身的第一篇(主文)目前觀察不受此限制
  • reply_count/view_count 在原始頁面常以 "104K"/"4M" 這種縮寫呈現(不只是大數字才會,中量級數字也可能縮寫),已統一轉換成整數
  • 連續 5 頁無新資料時自動停止,不空轉燒費用;設了 dateFrom 的話,整頁非置頂主題都比 dateFrom 舊就會直接停止翻頁(更省成本,僅 forum 模式適用;置頂主題永遠保留、不受此篩選影響)
  • HardwareZone(XenForo)未來若改版或加上反爬機制,判斷方式:以 Apify cloud smoke test 結果為準(go/no-go);若被擋,備援方案是改用 Apify residential proxy,不預先過度設計

常見問題(FAQ)

Q: 需要登入才能看嗎?

A: 不需要。本 Actor 只抓公開主題列表及貼文,不涉及任何需要登入的功能。少數貼文本身有年齡驗證牆(見上方注意事項),這類貼文的內文本來就無法在未登入狀態下取得,不在支援範圍。

Q: 為什麼有些回覆的 content/created_at/floor 是 null?

A: 這些回覆被 HardwareZone 的年齡驗證牆遮蔽,未登入無法讀到內文與時間。誠實回報 null,不做假資料;author 仍然拿得到,reply_id 也一定有值。

Q: 隱藏貼文會收費嗎?

A: 不會。被年齡驗證牆遮蔽的貼文會保留在結果中並標記 is_hidden: true(內容為 null,讓你知道這個樓層存在但讀不到),但這些列不收 review-item 費用(隱藏列會被推送、但不計費);只有 is_hidden: false 的可見回覆才計費。主文(OP)若被遮蔽,欄位 is_hidden 也會是 true,但仍照常收一筆 product-detail。Run 結束的 log 會以 hidden=N 回報隱藏列數(skipped 則代表失敗的請求,兩者不同)。如果有設 maxReplies,隱藏貼文仍佔用樓層位置(但不計費)。

Q: 可以同時抓多個板塊嗎?

A: 可以。在 forumIds 填多個 ID,或用 bulkInput 一行一個貼上。

Q: threadIds 跟 threadUrls 有什麼不同?

A: 效果一樣,threadUrls 會自動抽出數字 ID。兩種都支援純數字網址(/threads/{id}/)跟完整網址(/threads/{標題slug}.{id}/)。

Q: board 欄位在完整主題模式下為什麼是 null?

A: 主題頁本身沒有板塊資訊(板塊 ID 只出現在板塊列表頁的網址上),完整主題模式的輸入也只有 threadId,不知道它屬於哪個板塊,因此誠實回傳 null。

Q:一串長帖會收很多錢嗎? A:會。完整主題模式預設抓完整串,每則回覆都按 review-item 計費($0.003/則),熱門長帖可能有數千則回覆。想控制單串花費,請設定選填的 maxReplies(例如 100):每一串最多抓到這個數量就停止翻頁、不再計費;主文另計一筆 product-detail。留空就是不限制,行為與以前完全一樣。maxItems 限制的是「串數」,不是回覆數。

免責聲明

本工具僅供學術研究及合法商業分析用途。使用者應遵守 HardwareZone 服務條款及相關法規。請勿以本工具進行任何侵害他人隱私、散布虛假資訊或其他違法行為。作者不對任何濫用行為承擔責任。


HardwareZone 爬蟲、新加坡論壇、Singapore forum scraper、HWZ、EDMW、社群輿情、品牌監控


📚 延伸教學與工具

這隻 actor 背後的實戰教學與免費工具,都在 AI Social API:

由實際經營 30 多隻上架 actor 的人維護。