Habr Scraper: Articles, Comments, Authors & Companies
Pricing
from $1.00 / 1,000 results
Habr Scraper: Articles, Comments, Authors & Companies
Search Habr articles, comments, authors and companies. Export posts from authors, company blogs or hubs; collect article discussions and profile followers. Build technology content, developer-community and employer-brand research datasets.
Pricing
from $1.00 / 1,000 results
Rating
0.0
(0)
Developer
ScrapingMonkey
Maintained by CommunityActor stats
0
Bookmarked
4
Total users
2
Monthly active users
2 months ago
Last modified
Categories
Features
Share
Habr Scraper collects Habr articles, comments, author profiles and company blogs for technology research. Search topics, follow hubs or publishers, and export article text, tags, readership and discussion data to compare technical content, understand developer interests and evaluate company publishing activity.
Find relevant technical articles, compare company and author activity, and read the discussions around selected topics. Build evidence for editorial planning, developer marketing and competitive content research.
| At a glance | Details |
|---|---|
| 📥 Input | Search fields or links to the selected items; see the examples below |
| 📤 Output | One row per article, comment, author profile or company, depending on the mode |
| 📄 Pagination | Automatic up to maxResults for each input, when more results are available |
| 🔐 Login required | No |
| ⚡ Processing | Multiple inputs per run with automatic retries for temporary errors |
| 💾 Delivery | One complete Apify dataset table; CSV, JSON and Excel export |
What the Habr scraper collects 📱
Search Habr articles, comments, authors and companies. Export posts from authors, company blogs or hubs; collect article discussions and profile followers. Build technology content, developer-community and employer-brand research datasets.
| Collection | What you receive |
|---|---|
| Habr article search scraper | Find Habr articles by keyword and export source-linked search results. |
| Habr comment search scraper | Find Habr comments matching a phrase, with comment text, author attribution and article links. |
| Habr company blog posts scraper | Collect articles published in a Habr company blog for employer-brand and technology-content research. |
| Habr company profiles scraper | Extract Habr company profile information and available public company statistics. |
| Habr company search scraper | Find Habr company pages matching a name or keyword and export their public identities. |
| Habr hub articles scraper | Collect Habr articles from a subject hub, preserving titles, authors and article links. |
| Habr article comments scraper | Export comments under Habr articles with text, authors and discussion context. |
| Habr article text scraper | Extract Habr article content and metadata from supplied article URLs. |
| Habr profile followers scraper | Collect the public follower profiles of a Habr author, one follower per row. |
| Habr author articles scraper | Export the public article catalog of a Habr author. |
| Habr author profiles scraper | Extract public Habr author profiles and available account statistics. |
| Habr author search scraper | Find Habr authors by name or keyword for developer-community research. |
Data can include:
- Articles: Titles, available text, publication type, language and source links.
- Topics: Hubs, tags and reading-time information.
- Article engagement: Reading counts, scores, favorites and comment counts.
- Comments: Text, authors, dates, votes and parent references.
- People: Author aliases, specialties, biographies, karma and available audience figures.
- Companies: Company descriptions, websites, locations, subscribers and publishing totals.
How to scrape Habr 🚀
- Choose Comment Search in What to collect, or select another collection mode.
- Fill in the search fields, or paste links to the items you want to collect.
- Set the maximum results and any optional filters.
- Start the Actor and review the collected rows.
- Export the dataset or connect it to your application.
Habr article search scraper — input example
{"mode": "post-search","searchQueries": ["python"],"maxResults": 10}
maxResults: 10 means up to 10 results for each input. It does not guarantee that the website has that many matches. You can set the limit as low as 1.
Habr comment search scraper — input example
{"mode": "comment-search","searchQueries": ["python"],"maxResults": 10}
Habr company blog posts scraper — input example
{"mode": "company-posts","companyUrls": ["https://habr.com/ru/companies/selectel/articles/"],"maxResults": 10}
Habr company profiles scraper — input example
{"mode": "company","companyUrls": ["https://habr.com/ru/companies/selectel/"],"maxResults": 10}
Habr company search scraper — input example
{"mode": "company-search","searchQueries": ["IT"],"maxResults": 10}
Habr hub articles scraper — input example
{"mode": "hub-posts","hubUrls": ["https://habr.com/ru/hubs/python/articles/"],"maxResults": 10}
Habr article comments scraper — input example
{"mode": "post-comments","postUrls": ["https://habr.com/ru/articles/546422/comments/"],"maxResults": 10}
Habr article text scraper — input example
{"mode": "post","postUrls": ["https://habr.com/ru/articles/546422/"],"maxResults": 10}
Habr profile followers scraper — input example
{"mode": "profile-followers","profileUrls": ["https://habr.com/ru/users/denis-19/followers/"],"maxResults": 10}
Habr author articles scraper — input example
{"mode": "profile-posts","profileUrls": ["https://habr.com/ru/users/denis-19/articles/"],"maxResults": 10}
Habr author profiles scraper — input example
{"mode": "profile","profileUrls": ["https://habr.com/ru/users/denis-19/"],"maxResults": 10}
Habr author search scraper — input example
{"mode": "profile-search","searchQueries": ["python"],"maxResults": 10}
Habr data fields and complete output 📦
| Field group | Included data |
|---|---|
| Articles | Titles, available text, publication type, language and source links. |
| Topics | Hubs, tags and reading-time information. |
| Article engagement | Reading counts, scores, favorites and comment counts. |
| Comments | Text, authors, dates, votes and parent references. |
| People | Author aliases, specialties, biographies, karma and available audience figures. |
| Companies | Company descriptions, websites, locations, subscribers and publishing totals. |
Each collected item is a separate row. input identifies the submitted value and result_type identifies the selected mode. All returned fields appear in one table; columns that do not apply to a mode can be empty.
A complete JSON result is shown for every collection mode below, in the same order as the input examples. Each example includes every field for its mode; text and lists are not shortened. Values are representative and can change.
Habr article search scraper — complete JSON result
{"result_type": "post-search","input": "python","status": "success","post_id": "1083894","url": "https://habr.com/ru/articles/1083894/","text": "Google Analytics Advisor 0.20.0 — бесплатный open-source плагин для Codex и Claude Code, который помогает работать с GA4 без специальных знаний в веб-аналитике. В новой версии появились полная диагностика аналитики сайта, read-only-интеграция с Google Search Console, сопоставление поисковых данных с GA4 и возобновляемые проверки с понятными рекомендациями.","text_html": "<p>Google Analytics Advisor 0.20.0 — бесплатный open-source плагин для Codex и Claude Code, который помогает работать с GA4 без специальных знаний в веб-аналитике. В новой версии появились полная диагностика аналитики сайта, read-only-интеграция с Google Search Console, сопоставление поисковых данных с GA4 и возобновляемые проверки с понятными рекомендациями.</p>","published_at": "2026-09-18T12:40:18+00:00","author.id": "2768487","author.alias": "anilau","author.name": "Эдуард Волков","author.url": "https://habr.com/ru/users/anilau/","author.avatar_url": "https://habrastorage.org/getpro/habr/avatars/05c/9e9/ced/05c9e9ced493b317449c472dd6359803.jpeg","author.speciality": "Менеджер, веб-разработчик, предприниматель","author.rating": null,"author.karma": null,"author.deleted": false,"score": 0,"title": "Вышла новая версия плагина для агентов Google Analytics Advisor — с Search Console и полной диагностикой аналитики сайта","title_html": "Вышла новая версия плагина для агентов Google Analytics Advisor — с Search Console и полной диагностикой аналитики сайта","publication_type": "news","language": "ru","is_full_text": false,"comments_count": 0,"favorites_count": 1,"reading_count": 123,"reading_time": 2,"hubs.id": ["17692","340","20698","20710"],"hubs.alias": ["google_api","python","weban","internetmarketing"],"hubs.title": ["Google API","Python","Веб-аналитика","Интернет-маркетинг"],"hubs.type": ["collective","collective","collective","collective"],"tags": [null,null,null,null,null,null,null,null,null,null]}
Habr comment search scraper — complete JSON result
{"result_type": "comment-search","input": "python","status": "success","comment_id": "30315534","parent_id": null,"post_id": "1029848","post_title": "Часть I. Конечные автоматы. Универсальная машина Тьюринга. Интерпретатор Brainfuck","url": "https://habr.com/ru/articles/1029848/comments/#comment_30315534","text": "... перехода с Python 2 на Python 3 ... AWS What is Python Python Language Explained ... discussing between Python 2 and Python 3 ... вежливость то Python действительно обладает ... с Python 2 на Python 3 ...","text_html": " ... перехода с <em class=\"searched-item\">Python</em> 2 на <em class=\"searched-item\">Python</em> 3 ... AWS What is <em class=\"searched-item\">Python Python</em> Language Explained ... discussing between <em class=\"searched-item\">Python</em> 2 and <em class=\"searched-item\">Python</em> 3 ... вежливость то <em class=\"searched-item\">Python</em> действительно обладает ... с <em class=\"searched-item\">Python</em> 2 на <em class=\"searched-item\">Python</em> 3 ... ","published_at": "2026-08-09T22:27:05+00:00","updated_at": null,"author.id": "3282165","author.alias": "MasterMentor","author.name": null,"author.url": "https://habr.com/ru/users/MasterMentor/","author.avatar_url": "https://habrastorage.org/getpro/habr/avatars/76b/261/24d/76b26124d19074a2accd6f1d23aa85f9.png","author.speciality": "https://steamclub.net","author.rating": null,"author.karma": null,"author.deleted": false,"score": null,"votes_count": null,"level": 0,"comment_status": "published","is_suspended": false}
Habr company blog posts scraper — complete JSON result
{"result_type": "company-posts","input": "selectel","status": "success","post_id": "1081884","url": "https://habr.com/ru/articles/1081884/","text": "Привет, Хабр! Несколько лет назад я уже рассказывал об анализе и восстановлении аккумуляторов для ноутбуков. Тогда я сподобился купить девайс под названием Professional Laptop Battery Analyzer NLBA1 (самое интересное — девайс румынский), который за прошедшие годы смог много чего восстановить. Какие-то АКБ удалось вернуть в строй, другие после проверки отправились на разборку без лишних сожалений. Так получилось, что на время я отложил прибор на полку, но на днях появился повод снова ввести его в строй.\nДело в том, что мне попался небольшой ASUS X200CA с типичной для «старичков» историей: пару лет пролежал без дела в разряженном состоянии. Я включил, все работает, но вот беда — девайс не заряжается. Покупать новую батарею для такой машины особого желания не было, поэтому я решил попробовать починить старую. Заодно появился хороший повод вернуться к теме NLBA1 и показать весь процесс на конкретном примере. Что ж, поехали!","text_html": "<p>Привет, Хабр! Несколько лет назад я уже <a href=\"https://habr.com/ru/companies/selectel/articles/783928/\">рассказывал</a> об анализе и восстановлении аккумуляторов для ноутбуков. Тогда я сподобился купить девайс под названием Professional Laptop Battery Analyzer NLBA1 (самое интересное — девайс румынский), который за прошедшие годы смог много чего восстановить. Какие-то АКБ удалось вернуть в строй, другие после проверки отправились на разборку без лишних сожалений. Так получилось, что на время я отложил прибор на полку, но на днях появился повод снова ввести его в строй.</p><p>Дело в том, что мне попался небольшой ASUS X200CA с типичной для «старичков» историей: пару лет пролежал без дела в разряженном состоянии. Я включил, все работает, но вот беда — девайс не заряжается. Покупать новую батарею для такой машины особого желания не было, поэтому я решил попробовать починить старую. Заодно появился хороший повод вернуться к теме NLBA1 и показать весь процесс на конкретном примере. Что ж, поехали!</p>","published_at": "2026-09-20T08:00:47+00:00","author.id": "2621483","author.alias": "DRoman0v","author.name": "Denis","author.url": "https://habr.com/ru/users/DRoman0v/","author.avatar_url": "https://habrastorage.org/getpro/habr/avatars/126/32f/feb/12632ffebec0f851ba0ec665f3ed6c55.jpg","author.speciality": "Инженер","author.rating": null,"author.karma": null,"author.deleted": false,"score": 14,"title": "Как я оживил аккумулятор ноутбука ASUS, который почти два года пролежал без зарядки","title_html": "Как я оживил аккумулятор ноутбука ASUS, который почти два года пролежал без зарядки","publication_type": "article","language": "ru","is_full_text": false,"comments_count": 0,"favorites_count": 8,"reading_count": 943,"reading_time": 6,"hubs.id": ["14740","21976","21952","21914","21898"],"hubs.alias": ["selectel","DIY","notebooks","energy","hardware"],"hubs.title": ["Блог компании Selectel","DIY или Сделай сам","Ноутбуки","Энергия и элементы питания","Компьютерное железо"],"hubs.type": ["corporative","collective","collective","collective","collective"],"tags": [null,null,null,null,null,null,null]}
Habr company profiles scraper — complete JSON result
{"result_type": "company","input": "selectel","status": "success","url": "https://habr.com/ru/companies/selectel/","alias": "selectel","name": "Selectel","avatar_url": "https://habrastorage.org/getpro/habr/company/4b4/652/7f5/4b46527f577e69b1f32a84700b2fed33.png","description": "IT-инфраструктура для бизнеса","subscribers_count": 81435,"rating": 2619.97,"site_url": "https://slc.tl/6xrhv","staff_number": "1 001–5 000 человек","registered_at": "2010-03-15T19:29:17+00:00","about": "Selectel — независимый провайдер ИТ-инфраструктуры для цифровых проектов любой сложности.\n\r\n\n\r\nМы предлагаем комплексные решения для разных типов организаций — от индивидуальных предпринимателей до крупных корпораций. Продукты Selectel позволяют отказаться от капитальных затрат на собственную IT-инфраструктуру, обеспечить ее быструю масштабируемость и высокую производительность.\n\r\n\n\r\nМы управляем сетью из шести собственных высокотехнологичных дата-центров в Москве, Санкт-Петербурге и Ленинградской области, а также предоставляем сервисы на базе партнерского дата-центра в Новосибирске.\n\r\n\n\r\nКаталог продуктов Selectel — один из самых диверсифицированных на рынке. Мы предоставляем 50+ продуктов, которые покрывают ключевые потребности клиентов в области IT-инфраструктуры.\n\r\n\n\r\nОблачные серверы\n\r\nНадежные виртуальные машины на базе современных процессоров Intel и AMD с моментальным масштабированием и готовностью к запуску меньше минуты. Облачные серверы подходят для цифровых проектов любой сложности — от разработки до размещения высоконагруженных сервисов. Выбирайте готовые конфигурации или соберите кастомные: задайте нужное количество vCPU, объем RAM и тип диска.\n\r\n\n\r\nДля развертывания виртуальных машин доступны три региона, шесть зон доступности и 16 пулов. Мы предоставляем сеть с пропускной способностью до 10 Гбит/с, 3 ТБ бесплатного трафика в месяц и бесплатную защиту от DDoS-атак. Вся IT-инфраструктура соответствует требованиям 152-ФЗ.\n\r\n\n\r\nПочасовая оплата, поддержка прерываемых виртуальных машин и функция «Заморозка» помогут снизить расходы на инфраструктуру до 75%.\n\r\n\n\r\n\n\r\n\n\r\nВыделенные серверы\n\r\nАрендуйте физический сервер под любые задачи. Вы можете выбрать производительную конфигурацию с топовым железом для требовательных проектов или бюджетный вариант для небольшой инфраструктуры. Все ресурсы выделенного сервера — только ваши.\n\r\n\n\r\nВ наших дата-центрах уровня Tier III уже собраны более 100 конфигураций серверов с запуском от двух минут и бесплатным безлимитным интернетом на скорости 1 Гбит/с. Если вы не нашли подходящий готовый сервер, мы соберем его под заказ. При этом полосу передачи данных можно расширить до 400 Гбит/с.\n\r\n\n\r\nSelectel признан лидером в сегменте выделенных серверов и одним из ведущих игроков на рынке колокации по данным аналитической компании iKS-Consulting.\n\r\n\n\r\nМашинное обучение\n\r\nИспользуйте преднастроенную инфраструктуру Selectel для обучения, развертывания и тестирования ML-моделей. Мы поможем сократить time-to-market продуктов в три раза и снизить затраты на GPU-ресурсы.\n\r\n\n\r\nАрендуйте Data Analytics Virtual Machine — облачный сервер с готовым образом для анализа данных и машинного обучения. На виртуальной машине уже предустановлены инструменты и библиотеки, а для создания кастомных конфигураций доступны 11 моделей GPU от NVIDIA.\n\r\n\n\r\nИнформационная безопасность\n\r\nПредоставляем IT-инфраструктуру для проектов с повышенными требованиями безопасности, а также сервисы для защиты сетей, ОС и приложений. Подберите сервисы для базовой безопасности, разверните инфраструктуру с соблюдением требований законодательства, защитите данные от сетевых вторжений и кибератак, подготовьтесь к аттестации информационной системы, интегрируйте наши сервисы в свои процессы разработки, чтобы сделать ее безопаснее.\n\r\n\n\r\nМы регулярно выпускаем свою аналитику и полезные материалы по теме информационной безопасности в разделе Security Center в Академии Selectel.\n\r\n\n\r\nСобственный сервер Selectel\n\r\nВ основе — самые современные процессоры Intel® Xeon® 6, до 8 ТБ оперативной памяти DDR5 и специально разработанная материнская плата со сверхвысокой пропускной способностью. Сервер доступен для аренды и покупки, а разместить его можно как в дата-центрах Selectel, так и на вашей площадке.\n\r\n\n\r\nSelectOS\n\r\nУстановите серверную ОС на базе Debian с актуальным софтом, высокой производительностью и полноценной поддержкой от команды Selectel. Операционная система включает только необходимые компоненты для серверной работы и минимального потребления ресурсов, ПО размещено на серверах Selectel, каждое пакетное обновление проходит проверку на безопасность и стабильность.\n\r\n\n\r\nСервис для тестирования мобильных приложений\n\r\nПроводите тесты на 200+ моделях смартфонов на Android и iOS. Запускайте их параллельно на нескольких устройствах или передавайте смартфоны коллегам в несколько кликов. Все заботы об инфраструктуре и обновлении устройств мы берем на себя. Оплачивайте услуги сервиса по модели pay-as-you-go, без скрытых платежей и обязательств по срокам аренды.\n\r\n\n\r\nМы в соцсетях:\n\r\n\n\r\nВконтакте: vk.com/selectel\n\r\nTelegram: t.me/Selectel\n\r\n\n\r\nПодписаться на рассылку Selectel →\n\r\nАкадемия Selectel →","about_html": "<a href=\"https://selectel.ru/about/company/?utm_source=habr.com/?utm_source=habr.com&amp;utm_medium=referral&amp;utm_campaign=main_article_mainpage_240626_content\" rel=\"nofollow noopener noreferrer\">Selectel</a> — независимый провайдер ИТ-инфраструктуры для цифровых проектов любой сложности.<br/>\r\n<br/>\r\nМы предлагаем комплексные решения для разных типов организаций — от индивидуальных предпринимателей до крупных корпораций. Продукты Selectel позволяют отказаться от капитальных затрат на собственную IT-инфраструктуру, обеспечить ее быструю масштабируемость и высокую производительность.<br/>\r\n<br/>\r\nМы управляем сетью из шести собственных высокотехнологичных дата-центров в Москве, Санкт-Петербурге и Ленинградской области, а также предоставляем сервисы на базе партнерского дата-центра в Новосибирске.<br/>\r\n<br/>\r\nКаталог продуктов Selectel — один из самых диверсифицированных на рынке. Мы предоставляем 50+ продуктов, которые покрывают ключевые потребности клиентов в области IT-инфраструктуры.<br/>\r\n<br/>\r\n<b>Облачные серверы</b><br/>\r\nНадежные виртуальные машины на базе современных процессоров Intel и AMD с моментальным масштабированием и готовностью к запуску меньше минуты. Облачные серверы подходят для цифровых проектов любой сложности — от разработки до размещения высоконагруженных сервисов. Выбирайте готовые конфигурации или соберите кастомные: задайте нужное количество vCPU, объем RAM и тип диска.<br/>\r\n<br/>\r\nДля развертывания виртуальных машин доступны три региона, шесть зон доступности и 16 пулов. Мы предоставляем сеть с пропускной способностью до 10 Гбит/с, 3 ТБ бесплатного трафика в месяц и бесплатную защиту от DDoS-атак. Вся IT-инфраструктура соответствует требованиям 152-ФЗ.<br/>\r\n<br/>\r\nПочасовая оплата, поддержка прерываемых виртуальных машин и функция «Заморозка» помогут снизить расходы на инфраструктуру до 75%.<br/>\r\n<br/>\r\n<a href=\"https://selectel.ru/services/dedicated/auction/?utm_source=habr.com&amp;amp;amp;utm_medium=referral&amp;amp;amp;utm_campaign=dedicated_article_bigwidget2_160226_banner_i093_ord\" rel=\"nofollow noopener noreferrer\"><img src=\"https://habrastorage.org/webt/kw/pj/xd/kwpjxdyq178bdozbyfaxw-y_ctg.jpeg\"/></a><br/>\r\n<br/>\r\n<b>Выделенные серверы</b><br/>\r\nАрендуйте физический сервер под любые задачи. Вы можете выбрать производительную конфигурацию с топовым железом для требовательных проектов или бюджетный вариант для небольшой инфраструктуры. Все ресурсы выделенного сервера — только ваши.<br/>\r\n<br/>\r\nВ наших дата-центрах уровня Tier III уже собраны более 100 конфигураций серверов с запуском от двух минут и бесплатным безлимитным интернетом на скорости 1 Гбит/с. Если вы не нашли подходящий готовый сервер, мы соберем его под заказ. При этом полосу передачи данных можно расширить до 400 Гбит/с.<br/>\r\n<br/>\r\nSelectel признан лидером в сегменте выделенных серверов и одним из ведущих игроков на рынке колокации по данным аналитической компании iKS-Consulting.<br/>\r\n<br/>\r\n<b>Машинное обучение</b><br/>\r\nИспользуйте преднастроенную инфраструктуру Selectel для обучения, развертывания и тестирования ML-моделей. Мы поможем сократить time-to-market продуктов в три раза и снизить затраты на GPU-ресурсы.<br/>\r\n<br/>\r\nАрендуйте Data Analytics Virtual Machine — облачный сервер с готовым образом для анализа данных и машинного обучения. На виртуальной машине уже предустановлены инструменты и библиотеки, а для создания кастомных конфигураций доступны 11 моделей GPU от NVIDIA.<br/>\r\n<br/>\r\n<b>Информационная безопасность</b><br/>\r\nПредоставляем IT-инфраструктуру для проектов с повышенными требованиями безопасности, а также сервисы для защиты сетей, ОС и приложений. Подберите сервисы для базовой безопасности, разверните инфраструктуру с соблюдением требований законодательства, защитите данные от сетевых вторжений и кибератак, подготовьтесь к аттестации информационной системы, интегрируйте наши сервисы в свои процессы разработки, чтобы сделать ее безопаснее.<br/>\r\n<br/>\r\nМы регулярно выпускаем свою аналитику и полезные материалы по теме информационной безопасности в разделе <a href=\"https://selectel.ru/blog/security-center/\" rel=\"nofollow noopener noreferrer\">Security Center</a> в Академии Selectel.<br/>\r\n<br/>\r\n<b>Собственный сервер Selectel</b><br/>\r\nВ основе — самые современные процессоры Intel<sup>®</sup> Xeon<sup>®</sup> 6, до 8 ТБ оперативной памяти DDR5 и специально разработанная материнская плата со сверхвысокой пропускной способностью. Сервер доступен для аренды и покупки, а разместить его можно как в дата-центрах Selectel, так и на вашей площадке.<br/>\r\n<br/>\r\n<b>SelectOS</b><br/>\r\nУстановите серверную ОС на базе Debian с актуальным софтом, высокой производительностью и полноценной поддержкой от команды Selectel. Операционная система включает только необходимые компоненты для серверной работы и минимального потребления ресурсов, ПО размещено на серверах Selectel, каждое пакетное обновление проходит проверку на безопасность и стабильность.<br/>\r\n<br/>\r\n<b>Сервис для тестирования мобильных приложений</b><br/>\r\nПроводите тесты на 200+ моделях смартфонов на Android и iOS. Запускайте их параллельно на нескольких устройствах или передавайте смартфоны коллегам в несколько кликов. Все заботы об инфраструктуре и обновлении устройств мы берем на себя. Оплачивайте услуги сервиса по модели pay-as-you-go, без скрытых платежей и обязательств по срокам аренды.<br/>\r\n<br/>\r\n<b>Мы в соцсетях:</b><br/>\r\n<br/>\r\nВконтакте: <a href=\"https://vk.com/selectel\" rel=\"nofollow noopener noreferrer\">vk.com/selectel</a><br/>\r\nTelegram: <a href=\"https://t.me/SelectelNews\" rel=\"nofollow noopener noreferrer\">t.me/Selectel</a><br/>\r\n<br/>\r\n<a href=\"http://slc.tl/Sw-br\" rel=\"nofollow noopener noreferrer\">Подписаться на рассылку Selectel →</a><br/>\r\n<a href=\"http://slc.tl/Sw-br\" rel=\"nofollow noopener noreferrer\">Академия Selectel →</a><br/>\r\n<br/>\r\n","posts_count": 2970,"news_count": 479,"threads_count": 316,"reach": "512K+","contacts.title": ["ВКонтакте","Telegram","Сайт"],"contacts.url": ["https://vk.com/selectel","https://telegram.me/selectel","https://slc.tl/bgwqk"],"location.city": "Санкт-Петербург","location.region": "Санкт-Петербург и область","location.country": "Россия"}
Habr company search scraper — complete JSON result
{"result_type": "company-search","input": "IT","status": "success","url": "https://habr.com/ru/companies/its/","alias": "its","name": "Inline Telecom Solutions","avatar_url": "https://habrastorage.org/getpro/habr/company/546/dc6/d30/546dc6d30c3d190d726b39c0dbdd8619.png","description": null,"subscribers_count": 15,"rating": 20.83}
Habr hub articles scraper — complete JSON result
{"result_type": "hub-posts","input": "python","status": "success","post_id": "1084160","url": "https://habr.com/ru/articles/1084160/","text": "Я не знаю человека, который любит долго ждать. Но ожидание и его последствия бывают разные.\nКогда мы стали делать своего ИИ-помощника, который пишет/правит код и запускает его на сервере, поняли, что сборка должна быть быстрой. Очень быстрой.\nВ статье я расскажу, как нам удалось ускорить сборку Python до 20 раз.","text_html": "<p>Я не знаю человека, который любит долго ждать. Но ожидание и его последствия бывают разные.</p><p>Когда мы стали делать своего ИИ-помощника, который пишет/правит код и запускает его на сервере, поняли, что сборка должна быть быстрой. Очень быстрой.</p><p>В статье я расскажу, как нам удалось ускорить сборку Python до 20 раз.</p>","published_at": "2026-09-20T07:40:48+00:00","author.id": "1472581","author.alias": "kirillkosolapov","author.name": "Кирилл Косолапов","author.url": "https://habr.com/ru/users/kirillkosolapov/","author.avatar_url": "https://habrastorage.org/getpro/habr/avatars/44d/9b0/fda/44d9b0fda0b765472ea2b58854deb7e1.jpg","author.speciality": "CEO Amvera","author.rating": null,"author.karma": null,"author.deleted": false,"score": 1,"title": "Как мы ускоряли сборку Python в 20 раз","title_html": "Как мы ускоряли сборку Python в 20 раз","publication_type": "article","language": "ru","is_full_text": false,"comments_count": 0,"favorites_count": 2,"reading_count": 279,"reading_time": 4,"hubs.id": ["23024","340","20788","6398","4"],"hubs.alias": ["amvera","python","devops","it-infrastructure","hi"],"hubs.title": ["Блог компании Amvera","Python","DevOps","IT-инфраструктура","Высоконагруженные системы"],"hubs.type": ["corporative","collective","collective","collective","collective"],"tags": [null,null,null,null,null,null,null,null,null]}
Habr article comments scraper — complete JSON result
{"result_type": "post-comments","input": "546422","status": "success","comment_id": "22789580","parent_id": null,"post_id": "546422","post_title": null,"url": "https://habr.com/ru/articles/546422/comments/#comment_22789580","text": "Занятно.\n\r\nwww.dna.fr/faits-divers-justice/2021/03/10/strasbourg-important-incendie-dans-une-entreprise-situee-sur-un-site-seveso-au-port-du-rhin","text_html": "Занятно.<br>\r\n<a href=\"https://www.dna.fr/faits-divers-justice/2021/03/10/strasbourg-important-incendie-dans-une-entreprise-situee-sur-un-site-seveso-au-port-du-rhin\" rel=\"nofollow noopener noreferrer\">www.dna.fr/faits-divers-justice/2021/03/10/strasbourg-important-incendie-dans-une-entreprise-situee-sur-un-site-seveso-au-port-du-rhin</a>","published_at": "2021-03-10T19:39:45+00:00","updated_at": null,"author.id": "49214","author.alias": "gentux","author.name": null,"author.url": "https://habr.com/ru/users/gentux/","author.avatar_url": "https://habrastorage.org/getpro/habr/avatars/4f2/f9f/11b/4f2f9f11b977b3349aa959120e4d929a.jpg","author.speciality": null,"author.rating": null,"author.karma": null,"author.deleted": false,"score": -24,"votes_count": 26,"level": 0,"comment_status": "published","is_suspended": false}
Habr article text scraper — complete JSON result
{"result_type": "post","input": "546422","status": "success","post_id": "546422","url": "https://habr.com/ru/articles/546422/","text": "Красным указано оборудование ТСПУ (технические средства противодействия угрозам) — «чёрные ящики» от РКН, которые операторы связи размещают с подведением электропитания в отдельных стойках на своих площадка по всей стране, но доступа к устройствам не имеют.\n\n\n\n10 марта 2021 года с 10 часов утра по московскому времени Рунет вступил в новые правила игры. Роскомнадзор начал «замедлять» на 100% мобильный и 50% трафик широкополосного доступа сервиса микроблогов Twitter.\n\n\n\nЗа этим последовало несколько знаменательных событий. Глобальная авария на оборудовании Ростелекома на полдня нарушила доступ к госсайтам и сети оператора. Более 113 тыс. доменов оказались в контуре «замедления» РКН, так как они имеют в своём название «t.co», короткий домен Twitter, на который реагирует оборудование ТСПУ.\n\n\n\nХабр совместно с коллегами из «РосКомСвободы» постарался рассказать, почему такая ситуация стала возможной, что теперь делать пользователям и как будут развиваться события с Twitter и другими соцсетями.\n\n\n\n\n\nКак так получилось, что у Роскомнадзора есть техническая возможность замедлять сайты?\n\nОфициальной публичной информации о том, как именно РКН это делает не существует. Ведомство начало готовиться к этому с лета 2019 года. Именно тогда территориальные управления Роскомнадзора начали рассылать операторам связи по всей России требования предоставить сведения о точках обмена трафиком, а также схемы подключения оборудования провайдеров. Именно с помощью интеграции внутрь этих схем специального оборудования ТСПУ сотрудники РКН получили возможность «управлять» Рунетом.\n\n\n\nС 1 ноября 2019 года вступил в силу закон об изоляции рунета. Роскомнадзор и операторы связи начали проводить полноценное тестирование оборудования, которое позволит изменить маршрутизацию трафика и отфильтровать нежелательный контент. Система DPI (Deep Packet Inspection) работает на различных уровнях модели OSI (от второго до седьмого) по протоколам, приложениям, сервисам, включая multicast и служебные протоколы. Для первых испытаний универсальной системы фильтрации трафика (DPI) выбран Уральский федеральный округ. Вероятно, что в Мурманской области некоторые провайдеры также проводили аналогичное тестирование системы DPI.\n\n\n\nИз-за секретности Роскомнадзора пока точно не известно, какое конкретно оборудование поставляется для «суверенного рунета», но можно сделать предположения, исходя из ассортимента продукции RDP.RU, что это в основном системы на базе EcoDPI.\n\n\n\nЕщё не так давно операторы связи заявляли о том, что нет ни одного готового комплекса, полностью удовлетворяющего требованиям законодательства РФ, для «заглядывания» внутрь SNI, определения домена, а также использования более глубокого и расширенного во времени анализа трафика.\n\n\n\nКомплекты ТСПУ от РКН анализируют весь интернет-трафик (пакеты) пользователей по ряду параметров и решают, пропустить его (по-умолчанию), ограничить скорость (правила для Twitter) или заблокировать (для запрещённых сайтов). Настраивают и управляют элементами ТСПУ специалисты РКН.\n\n\n\nРКН включил сегодня утром в России специально настроенное оборудование ТСПУ, чтобы шейпить, а тем самым ограничивать скорость доступа к ресурсам Twitter. Фактически, ограничение скорости соцсети осуществляется по именам доменов, через DPI. Причём не только доменов Twitter непосредственно, но и CNAME-имён Akamai. В частности, замедление видеоконтента наблюдается на video.twimg.com, eip-ntt.video.twimg.com.akahost.net, video.twimg.com.eip.akadns.net, но не на более технических доменах, таких как cs531.wpc.edgecastcdn.net. При обращении к IP-адресу сервиса напрямую, без SNI, скорость остаётся высокая. Пассивный обход DPI помогает обходить замедление, например, при использовании nfqws.\n\n\n\nАктивация ТСПУ привела к тому, что РКН стал шейпить и множество других доменов. Сейчас в Рунете замедляется любой домен, содержащий в каком-либо месте в названии домена строку t.co (короткий домен твиттера). Например, под раздачу попали rt.com, reddit.com, microsoft.com, githubusercontent.com. В логику ТСПУ вставили проверку для замедления на все .*t.co.*, вместо, например, ^t.co$.\n\n\n\nВ итоге, по первоначальным подсчетам, более 113 тыс. хостов попадали под ограничение скорости из-за Роскомнадзора, включая icloud-content.com, pinterest.com, microsoft.com, blogspot.com, snapchat.com, googleusercontent.com (специальный домен для раздачи различных файлов от Google, вкл. медиа), deviantart.com, beget.com (российский хостер), appspot.com (домены сервиса Google App Engine), *.steamcontent.com, dropboxusercontent.com, digicert.com, championat.com, eset.com, avast.com.\n\n\n\n\n\n Более подробный список\n \nАвтор списка — ValdikSS \n\n\n\n\n\npinterest.com\n\nmicrosoft.com\n\nenable-javascript.com\n\nblogspot.com\n\nbluehost.com\n\nmydomaincontact.com\n\nreddit.com\n\nnamebright.com\n\ndreamhost.com\n\nt.co\n\nakismet.com\n\ntrustpilot.com\n\ndynadot.com\n\nconstantcontact.com\n\nhubspot.com\n\ncointernet.com.co\n\ngetpocket.com\n\nwashingtonpost.com\n\nopencart.com\n\nsciencedirect.com\n\nshinystat.com\n\nhuffingtonpost.com\n\nsnapchat.com\n\nproofpoint.com\n\ngoogleusercontent.com\n\npinterest.co.uk\n\ncnet.com\n\nformat.com\n\ncookiebot.com\n\nonetrust.com\n\nindependent.co.uk\n\newebdevelopment.com\n\nmatterport.com\n\ndeviantart.com\n\nindiamart.com\n\nblogspot.co.uk\n\nquantcast.com\n\nft.com\n\nangieslist.com\n\nblogspot.com.es\n\nmapquest.com\n\nxinhuanet.com\n\nsharepoint.com\n\nswsoft.com\n\nwalmart.com\n\nmarriott.com\n\ncdnbest.com\n\njusthost.com\n\nbeget.com\n\naparat.com\n\nabout.com\n\nappspot.com\n\ncarecredit.com\n\nzdnet.com\n\ncookieconsent.com\n\nvistaprint.com\n\nredhat.com\n\neconomist.com\n\nphotobucket.com\n\nventurebeat.com\n\nchildnet.com\n\nprovidesupport.com\n\ndomainmarket.com\n\nlbpicmt.com\n\npardot.com\n\ntarget.com\n\nnetcraft.com\n\nyoast.com\n\nhotmart.com\n\nshieldbreakfast.com\n\nwolt.com\n\nnypost.com\n\nallaboutdnt.com\n\nprojectrockit.com.au\n\ngeotrust.com\n\nhuffpost.com\n\nengadget.com\n\ntheknot.com\n\ncvent.com\n\npinterest.com.au\n\nzibbet.com\n\nthemezhut.com\n\nb-eat.co.uk\n\njust-eat.com\n\natt.com\n\ntalabat.com\n\nfacebookblueprint.com\n\nmimecast.com\n\ntoreta-takeout.com\n\ntencent.com\n\ntechtarget.com\n\nadjust.com\n\nintuit.com\n\nproducthunt.com\n\nthelancet.com\n\nsemalt.com\n\ndropboxusercontent.com\n\ngithubusercontent.com\n\nprovenexpert.com\n\npixieset.com\n\n \n\nВероятно, что это косвенно или напрямую связано с неработающими сервисами РТК, так как ТСПУ обрабатывало и тормозит все ресурсы, которые содержат последовательность t.co. Пострадали, например, www.rtcomm.ru и субдомены типа ns01.rtcomm.ru и так далее. Такая проблема могла возникнуть из-за неаккуратного составления правил блокировки: в общеупотребимом синтаксисе регулярных выражений неэкранированный символ точки означает любой символ.\n\n\n\nСейчас rt.com уже в некоторых регионах не шейпится. Скорее всего, этот ресурс срочно внесли в исключения в ТСПУ, но не везде.\n\n\n\n\n\nПочему у Роскомнадзора есть юридическая возможность замедлять сайты?\n\nС начала этого года, согласно Федеральному закону от 30.12.2020 № 482-ФЗ «О внесении изменений в Федеральный закон «О мерах воздействия на лиц, причастных к нарушениям основополагающих прав и свобод человека, прав и свобод граждан Российской Федерации» (страницы 5-6). А также в соответствии с законом «Об информации, информационных технологиях и о защите информации» (149-ФЗ), после того, как распространение информации интернет-сервисом Twitter было внесено РКН в перечень угроз.\n\n\n\nИменно согласно тексту ФЗ от 30.12.2020 № 482 РКН может ограничить полностью или частично доступ российских пользователей к проблемному сервису в сети Интернет. Это ведомство и начало делать, приняв меры централизованного реагирования.\n\n\n\n\n\nРоскомнадзор обещает 50 % десктопных пользователей с замедлением. Реально ли это число по текущим данным?\n\nЭто довольно странное заявление РКН, которое вносит ещё больше неразберихи в рабочие гипотезы о том, как именно это сейчас реализовано. Дело в том, что если верна текущая рабочая гипотеза об использовании для шейпинга DPI-оборудования, через которое провайдеры обязаны «гонять» свой трафик, то возникает вопрос «почему именно 50%, а не все?». Вероятно, что используются какие-то локальные договорённости с конкретными провайдерами, чтобы те игнорировали обращения пользователей о замедлении и не отключали соответствующее оборудование для фильтрации, так как выбрано какое-то уж слишком ровное число. Или же РКН в курсе, что может контролировать мобильный трафик у операторов связи почти полностью, а ТСПУ у множества небольших локальных провайдеров по стране ещё не установлено. Или у ведомства нет возможности оперативно управлять таким большим количеством железок, поэтому ШПД также контролируется ТСПУ только у операторов связи, что оценивается РКН как половина от всех стационарных пользователей.\n\n\n\n\n\nКак пользователь может проверить, попал ли он под замедление?\n\nВо-первых, большинство стационарных пользователей, кроме в сети РТК и Дом.ру, замедления не замечают. По большей части эффект торможения и медленной загрузки сервисов заметили сегодня пользователи мобильных операторов связи. Например, сайт грузится дольше, чем обычно, картинки сначала обозначаются кваратиками, видео тормозит и долго включается.\n\n\n\nЕсть более однозначно определяющий «попадание под замедление» метод, но он требует некоторой технической подготовки. Метод заключается в использовании, например, утилиты cURL и подстановки разных доменов в SNI при запросах на нужный сайт (в случае которого есть возможность многоразового замера скорости скачивания определённого файла), и сравнении результатов: если замедление существенное (точно не укладывается в статистическую погрешность) и воспроизводится постоянно, то значит замедление есть. Однако, простым пользователям вполне можно опираться на личные наблюдения и «ощущения» по результатам обычного сравнения скорости загрузки контента на смартфоне, стационарном ПК или на смартфоне через VPN.\n\n\n\n\n\nЧто делать пользователю, чтобы обойти замедление? Можно ли это сделать без проксирования трафика?\n\nСамый простой и доступный способ — проксирование или туннелирование трафика, в том числе с использованием VPN. Да, теперь это становится насущной проблемой и у нас. Есть ещё варианты, связанные с обфускацией трафика (попытками замаскировать его под то, чем он не является), но для их реализации нужны определённые умения и возможности. Не каждый пользователь сможет их использовать.\n\n\n\n\n\nПойдёт ли Twitter на уступки? Что будет делать сервис микроблогов теперь?\n\nУвы, прогнозировать пойдёт ли Twitter на уступки сейчас довольно сложно. Тут всё зависит, что называется, «от настроения» владельцев. Мы имеем и примеры «договаривающихся» соцсетей (типа того же Facebook), и примеры соцсетей, которые решили что накладные расходы на такие договоры выше, чем прибыль от частичной потери рынка — LinkedIn.\n\n\n\nА ещё, очень хотелось бы помечтать о том, что Twitter присоединится к так называемому Fediverse — сообществу частных соцсетей, которые могут общаться друг с другом и не имеют единого центра, соответственно не имеют и единой точки отказа. И тогда также будет не страшна никакая потенциальная блокировка, о которой может далее пойти речь в недрах РКН в случае, если шейпинг не возымеет эффект.\n\n\n\n\n\nЧто будет делать РКН далее? Возможны ли новые замедления других соцсетей?\n\nРКН пока что не планирует блокировать соцсети и ещё только начал обкатывать работы элементов ТСПУ. Вероятно, что в течение некоторого времени будут возникать различные проблемы и ограничения у многих пользователей, пока ведомство не решит их или самостоятельно, или с помощью операторов связи. РКН может замедлить и другие соцсети, например, Facebook. Twitter с ~100 тыс. пользователей в России фактически РКН использует в качестве испытательного стенда для ТСПУ. У ТСПУ также есть ограничения по количеству одновременно обрабатываемых сессий. Нельзя так просто взять и начать шейпить все пользовательские сервисы — в сети начнутся зависания, вплоть до временного шатдауна.\n\n\n\n\n\n→ Появился сайт для проверки замедления Twitter в России","text_html": "<div xmlns=\"http://www.w3.org/1999/xhtml\"><a href=\"https://habr.com/ru/post/546422/\"><div style=\"text-align:center;\"><img src=\"https://habrastorage.org/r/w1560/webt/wk/tk/ud/wktkudgaf5uslgn-gzuj58p-xae.png\" sizes=\"(max-width: 780px) 100vw, 50vw\" srcset=\"https://habrastorage.org/r/w780/webt/wk/tk/ud/wktkudgaf5uslgn-gzuj58p-xae.png 780w, https://habrastorage.org/r/w1560/webt/wk/tk/ud/wktkudgaf5uslgn-gzuj58p-xae.png 781w\" loading=\"lazy\" decode=\"async\"/></div></a><br/>\n<i><font color=\"#999999\">Красным указано оборудование ТСПУ (технические средства противодействия угрозам) — «чёрные ящики» от РКН, которые операторы связи размещают с подведением электропитания в отдельных стойках на своих площадка по всей стране, но доступа к устройствам не имеют.</font></i><br/>\n<br/>\n10 марта 2021 года с 10 часов утра по московскому времени Рунет вступил в новые правила игры. Роскомнадзор начал «<a href=\"https://habr.com/ru/news/t/546280/\">замедлять</a>» на 100% мобильный и 50% трафик широкополосного доступа сервиса микроблогов Twitter.<br/>\n<br/>\nЗа этим последовало несколько знаменательных событий. <a href=\"https://twitter.com/Rostelecom_News/status/1369587254621003776\" rel=\"nofollow noopener noreferrer\">Глобальная авария</a> на оборудовании Ростелекома на полдня нарушила доступ к госсайтам и сети оператора. Более 113 тыс. доменов <a href=\"https://ntc.party/t/twitter/907/45\" rel=\"nofollow noopener noreferrer\">оказались</a> в контуре «замедления» РКН, так как они имеют в своём название «t.co», короткий домен Twitter, на который реагирует оборудование ТСПУ.<br/>\n<br/>\nХабр совместно с коллегами из «<a href=\"https://habr.com/ru/company/roskomsvoboda/\">РосКомСвободы</a>» постарался рассказать, почему такая ситуация стала возможной, что теперь делать пользователям и как будут развиваться события с Twitter и другими соцсетями.<br/>\n<a name=\"habracut\"></a><br/>\n<hr/><br/>\n<h3>Как так получилось, что у Роскомнадзора есть техническая возможность замедлять сайты?</h3><br/>\nОфициальной публичной информации о том, как именно РКН это делает не существует. Ведомство <a href=\"https://habr.com/ru/post/459894/\">начало готовиться</a> к этому с лета 2019 года. Именно тогда территориальные управления Роскомнадзора начали рассылать операторам связи по всей России требования предоставить сведения о точках обмена трафиком, а также схемы подключения оборудования провайдеров. Именно с помощью интеграции внутрь этих схем специального оборудования ТСПУ сотрудники РКН получили возможность «управлять» Рунетом.<br/>\n<br/>\nС 1 ноября 2019 года вступил в силу закон об изоляции рунета. Роскомнадзор и операторы связи <a href=\"https://habr.com/ru/news/t/469121/\">начали проводить</a> полноценное тестирование оборудования, которое позволит изменить маршрутизацию трафика и отфильтровать нежелательный контент. Система DPI (Deep Packet Inspection) работает на различных уровнях модели OSI (от второго до седьмого) по протоколам, приложениям, сервисам, включая multicast и служебные протоколы. Для первых испытаний универсальной системы фильтрации трафика (DPI) <a href=\"https://habr.com/ru/news/t/469121/\">выбран Уральский федеральный округ</a>. Вероятно, что в <a href=\"https://habr.com/ru/news/t/471970/\">Мурманской области некоторые провайдеры</a> также проводили аналогичное тестирование системы DPI.<br/>\n<br/>\nИз-за секретности Роскомнадзора пока точно не известно, какое конкретно оборудование поставляется для «суверенного рунета», но можно сделать предположения, исходя из ассортимента продукции RDP.RU, что это в основном системы на базе <a href=\"https://rdp.ru/products/service-gateway-engine/ecodpi/\" rel=\"nofollow noopener noreferrer\">EcoDPI</a>.<br/>\n<br/>\nЕщё не так давно операторы связи заявляли о том, что нет ни одного готового комплекса, полностью удовлетворяющего требованиям законодательства РФ, для «заглядывания» внутрь <a href=\"https://habr.com/ru/company/webo/blog/327410/\">SNI</a>, определения домена, а также использования более глубокого и расширенного во времени анализа трафика.<br/>\n<br/>\nКомплекты ТСПУ от РКН анализируют весь интернет-трафик (пакеты) пользователей по ряду параметров и решают, пропустить его (по-умолчанию), ограничить скорость (правила для Twitter) или заблокировать (для запрещённых сайтов). Настраивают и управляют элементами ТСПУ специалисты РКН.<br/>\n<br/>\nРКН включил сегодня утром в России специально настроенное оборудование ТСПУ, чтобы шейпить, а тем самым ограничивать скорость доступа к ресурсам Twitter. Фактически, ограничение скорости соцсети осуществляется по именам доменов, через DPI. Причём не только доменов Twitter непосредственно, но и CNAME-имён Akamai. В частности, замедление видеоконтента наблюдается на video.twimg.com, eip-ntt.video.twimg.com.akahost.net, video.twimg.com.eip.akadns.net, но не на более технических доменах, таких как cs531.wpc.edgecastcdn.net. При обращении к IP-адресу сервиса напрямую, без SNI, скорость остаётся высокая. Пассивный обход DPI помогает обходить замедление, например, при использовании nfqws.<br/>\n<br/>\nАктивация ТСПУ привела к тому, что РКН стал шейпить и множество других доменов. Сейчас в Рунете замедляется любой домен, содержащий в каком-либо месте в названии домена строку t.co (короткий домен твиттера). Например, под раздачу попали rt.com, reddit.com, microsoft.com, githubusercontent.com. В логику ТСПУ вставили проверку для замедления на все .*t.co.*, вместо, например, ^t.co$.<br/>\n<br/>\nВ итоге, по <a href=\"https://ntc.party/t/twitter/907/49\" rel=\"nofollow noopener noreferrer\">первоначальным подсчетам</a>, более 113 тыс. хостов попадали под ограничение скорости из-за Роскомнадзора, включая icloud-content.com, pinterest.com, microsoft.com, blogspot.com, snapchat.com, googleusercontent.com (специальный домен для раздачи различных файлов от Google, вкл. медиа), deviantart.com, beget.com (российский хостер), appspot.com (домены сервиса Google App Engine), *.steamcontent.com, dropboxusercontent.com, digicert.com, championat.com, eset.com, avast.com.<br/>\n<br/>\n<div class=\"spoiler\" role=\"button\" tabindex=\"0\">\n <b class=\"spoiler_title\">Более подробный список</b>\n <div class=\"spoiler_text\">Автор списка — <a href=\"https://habr.com/ru/users/valdikss/\" class=\"user_link\">ValdikSS</a> <br/>\n<br/>\n<ul>\n<li>pinterest.com</li>\n<li>microsoft.com</li>\n<li>enable-javascript.com</li>\n<li>blogspot.com</li>\n<li>bluehost.com</li>\n<li>mydomaincontact.com</li>\n<li>reddit.com</li>\n<li>namebright.com</li>\n<li>dreamhost.com</li>\n<li>t.co</li>\n<li>akismet.com</li>\n<li>trustpilot.com</li>\n<li>dynadot.com</li>\n<li>constantcontact.com</li>\n<li>hubspot.com</li>\n<li>cointernet.com.co</li>\n<li>getpocket.com</li>\n<li>washingtonpost.com</li>\n<li>opencart.com</li>\n<li>sciencedirect.com</li>\n<li>shinystat.com</li>\n<li>huffingtonpost.com</li>\n<li>snapchat.com</li>\n<li>proofpoint.com</li>\n<li>googleusercontent.com</li>\n<li>pinterest.co.uk</li>\n<li>cnet.com</li>\n<li>format.com</li>\n<li>cookiebot.com</li>\n<li>onetrust.com</li>\n<li>independent.co.uk</li>\n<li>ewebdevelopment.com</li>\n<li>matterport.com</li>\n<li>deviantart.com</li>\n<li>indiamart.com</li>\n<li>blogspot.co.uk</li>\n<li>quantcast.com</li>\n<li>ft.com</li>\n<li>angieslist.com</li>\n<li>blogspot.com.es</li>\n<li>mapquest.com</li>\n<li>xinhuanet.com</li>\n<li>sharepoint.com</li>\n<li>swsoft.com</li>\n<li>walmart.com</li>\n<li>marriott.com</li>\n<li>cdnbest.com</li>\n<li>justhost.com</li>\n<li>beget.com</li>\n<li>aparat.com</li>\n<li>about.com</li>\n<li>appspot.com</li>\n<li>carecredit.com</li>\n<li>zdnet.com</li>\n<li>cookieconsent.com</li>\n<li>vistaprint.com</li>\n<li>redhat.com</li>\n<li>economist.com</li>\n<li>photobucket.com</li>\n<li>venturebeat.com</li>\n<li>childnet.com</li>\n<li>providesupport.com</li>\n<li>domainmarket.com</li>\n<li>lbpicmt.com</li>\n<li>pardot.com</li>\n<li>target.com</li>\n<li>netcraft.com</li>\n<li>yoast.com</li>\n<li>hotmart.com</li>\n<li>shieldbreakfast.com</li>\n<li>wolt.com</li>\n<li>nypost.com</li>\n<li>allaboutdnt.com</li>\n<li>projectrockit.com.au</li>\n<li>geotrust.com</li>\n<li>huffpost.com</li>\n<li>engadget.com</li>\n<li>theknot.com</li>\n<li>cvent.com</li>\n<li>pinterest.com.au</li>\n<li>zibbet.com</li>\n<li>themezhut.com</li>\n<li>b-eat.co.uk</li>\n<li>just-eat.com</li>\n<li>att.com</li>\n<li>talabat.com</li>\n<li>facebookblueprint.com</li>\n<li>mimecast.com</li>\n<li>toreta-takeout.com</li>\n<li>tencent.com</li>\n<li>techtarget.com</li>\n<li>adjust.com</li>\n<li>intuit.com</li>\n<li>producthunt.com</li>\n<li>thelancet.com</li>\n<li>semalt.com</li>\n<li>dropboxusercontent.com</li>\n<li>githubusercontent.com</li>\n<li>provenexpert.com</li>\n<li>pixieset.com</li>\n</ul></div>\n </div><br/>\nВероятно, что это косвенно или напрямую связано с неработающими сервисами РТК, так как ТСПУ обрабатывало и тормозит все ресурсы, которые содержат последовательность t.co. Пострадали, например, <a href=\"http://www.rtcomm.ru\" rel=\"nofollow noopener noreferrer\">www.rtcomm.ru</a> и субдомены типа ns01.rtcomm.ru и так далее. Такая проблема могла возникнуть из-за неаккуратного составления правил блокировки: в общеупотребимом синтаксисе регулярных выражений неэкранированный символ точки означает любой символ.<br/>\n<br/>\nСейчас rt.com уже в некоторых регионах не шейпится. Скорее всего, этот ресурс срочно внесли в исключения в ТСПУ, но не везде.<br/>\n<br/>\n<hr/><br/>\n<h3>Почему у Роскомнадзора есть юридическая возможность замедлять сайты?</h3><br/>\nС начала этого года, согласно Федеральному закону от <a href=\"http://publication.pravo.gov.ru/Document/View/0001202012300002?index=4&rangeSize=1\" rel=\"nofollow noopener noreferrer\">30.12.2020 № 482-ФЗ</a> «О внесении изменений в Федеральный закон «О мерах воздействия на лиц, причастных к нарушениям основополагающих прав и свобод человека, прав и свобод граждан Российской Федерации» (страницы 5-6). А также в соответствии с законом «Об информации, информационных технологиях и о защите информации» (<a href=\"http://www.consultant.ru/document/cons_doc_LAW_61798/\" rel=\"nofollow noopener noreferrer\">149-ФЗ</a>), после того, как распространение информации интернет-сервисом Twitter было внесено РКН в перечень угроз.<br/>\n<br/>\nИменно согласно тексту ФЗ от 30.12.2020 № 482 РКН может ограничить полностью или частично доступ российских пользователей к проблемному сервису в сети Интернет. Это ведомство и начало делать, приняв меры централизованного реагирования.<br/>\n<br/>\n<hr/><br/>\n<h3>Роскомнадзор обещает 50 % десктопных пользователей с замедлением. Реально ли это число по текущим данным?</h3><br/>\nЭто довольно странное заявление РКН, которое вносит ещё больше неразберихи в рабочие гипотезы о том, как именно это сейчас реализовано. Дело в том, что если верна текущая рабочая гипотеза об использовании для шейпинга DPI-оборудования, через которое провайдеры обязаны «гонять» свой трафик, то возникает вопрос «почему именно 50%, а не все?». Вероятно, что используются какие-то локальные договорённости с конкретными провайдерами, чтобы те игнорировали обращения пользователей о замедлении и не отключали соответствующее оборудование для фильтрации, так как выбрано какое-то уж слишком ровное число. Или же РКН в курсе, что может контролировать мобильный трафик у операторов связи почти полностью, а ТСПУ у множества небольших локальных провайдеров по стране ещё не установлено. Или у ведомства нет возможности оперативно управлять таким большим количеством железок, поэтому ШПД также контролируется ТСПУ только у операторов связи, что оценивается РКН как половина от всех стационарных пользователей.<br/>\n<br/>\n<hr/><br/>\n<h3>Как пользователь может проверить, попал ли он под замедление?</h3><br/>\nВо-первых, большинство стационарных пользователей, кроме в сети РТК и Дом.ру, замедления не замечают. По большей части эффект торможения и медленной загрузки сервисов заметили сегодня пользователи мобильных операторов связи. Например, сайт грузится дольше, чем обычно, картинки сначала обозначаются кваратиками, видео тормозит и долго включается.<br/>\n<br/>\nЕсть более однозначно определяющий «попадание под замедление» метод, но он требует некоторой технической подготовки. Метод заключается в использовании, например, утилиты cURL и подстановки разных доменов в SNI при запросах на нужный сайт (в случае которого есть возможность многоразового замера скорости скачивания определённого файла), и сравнении результатов: если замедление существенное (точно не укладывается в статистическую погрешность) и воспроизводится постоянно, то значит замедление есть. Однако, простым пользователям вполне можно опираться на личные наблюдения и «ощущения» по результатам обычного сравнения скорости загрузки контента на смартфоне, стационарном ПК или на смартфоне через VPN.<br/>\n<br/>\n<hr/><br/>\n<h3>Что делать пользователю, чтобы обойти замедление? Можно ли это сделать без проксирования трафика?</h3><br/>\nСамый простой и доступный способ — проксирование или туннелирование трафика, в том числе с использованием VPN. Да, теперь это становится насущной проблемой и у нас. Есть ещё варианты, связанные с обфускацией трафика (попытками замаскировать его под то, чем он не является), но для их реализации нужны определённые умения и возможности. Не каждый пользователь сможет их использовать.<br/>\n<br/>\n<hr/><br/>\n<h3>Пойдёт ли Twitter на уступки? Что будет делать сервис микроблогов теперь?</h3><br/>\nУвы, прогнозировать пойдёт ли Twitter на уступки сейчас довольно сложно. Тут всё зависит, что называется, «от настроения» владельцев. Мы имеем и примеры «договаривающихся» соцсетей (типа того же Facebook), и примеры соцсетей, которые решили что накладные расходы на такие договоры выше, чем прибыль от частичной потери рынка — LinkedIn.<br/>\n<br/>\nА ещё, очень хотелось бы помечтать о том, что Twitter присоединится к так называемому Fediverse — сообществу частных соцсетей, которые могут общаться друг с другом и не имеют единого центра, соответственно не имеют и единой точки отказа. И тогда также будет не страшна никакая потенциальная блокировка, о которой может далее пойти речь в недрах РКН в случае, если шейпинг не возымеет эффект.<br/>\n<br/>\n<hr/><br/>\n<h3>Что будет делать РКН далее? Возможны ли новые замедления других соцсетей?</h3><br/>\nРКН пока что не планирует блокировать соцсети и ещё только начал обкатывать работы элементов ТСПУ. Вероятно, что в течение некоторого времени будут возникать различные проблемы и ограничения у многих пользователей, пока ведомство не решит их или самостоятельно, или с помощью операторов связи. РКН может замедлить и другие соцсети, например, Facebook. Twitter с ~100 тыс. пользователей в России фактически РКН использует в качестве испытательного стенда для ТСПУ. У ТСПУ также есть ограничения по количеству одновременно обрабатываемых сессий. Нельзя так просто взять и начать шейпить все пользовательские сервисы — в сети начнутся зависания, вплоть до временного шатдауна.<br/>\n<br/>\n<hr/><br/>\n→ <a href=\"https://habr.com/ru/news/t/546446/\">Появился сайт для проверки замедления Twitter в России</a></div>","published_at": "2021-03-10T19:30:07+00:00","author.id": "780987","author.alias": "denis-19","author.name": "Денис","author.url": "https://habr.com/ru/users/denis-19/","author.avatar_url": "https://habrastorage.org/getpro/habr/avatars/6a0/f31/235/6a0f31235bb26134f3c7a741c03e4efb.jpg","author.speciality": "Информационная служба Хабра, без использования ИИ","author.rating": 518.8,"author.karma": 1066,"author.deleted": false,"score": 121,"title": "Не блокировка, а замедление","title_html": "Не блокировка, а замедление","publication_type": "article","language": "ru","is_full_text": true,"comments_count": 322,"favorites_count": 101,"reading_count": 110752,"reading_time": 7,"hubs.id": ["6398","22026","20738","17123","21924"],"hubs.alias": ["it-infrastructure","itcompanies","business-laws","network_technologies","social_networks"],"hubs.title": ["IT-инфраструктура","IT-компании","Законодательство в IT","Сетевые технологии","Социальные сети"],"hubs.type": ["collective","collective","collective","collective","collective"],"tags": [null,null,null,null,null,null,null]}
Habr profile followers scraper — complete JSON result
{"result_type": "profile-followers","input": "denis-19","status": "success","url": "https://habr.com/ru/users/0961575242/","alias": "0961575242","name": null,"avatar_url": null,"rating": 0,"id": "2127171","speciality": null,"karma": 0,"deleted": false}
Habr author articles scraper — complete JSON result
{"result_type": "profile-posts","input": "denis-19","status": "success","post_id": "1060772","url": "https://habr.com/ru/articles/1060772/","text": "В августе 2026 года информационная служба Хабра выпустила 826 публикаций (785 новостей и постов, 7 лонгридов и 34 перевода). В текущем дайджесте представлены лучшие технические новости, переводы и лонгриды (отдельные большие публикации) инфослужбы Хабра, согласно оценкам пользователей.","text_html": "<p>В августе 2026 года <a href=\"https://habr.com/ru/articles/875408/\" rel=\"noopener nofollow\">информационная служба Хабра</a> выпустила 826 публикаций (785 новостей и постов, 7 лонгридов и 34 перевода). В текущем дайджесте представлены лучшие технические новости, переводы и лонгриды (отдельные большие публикации) инфослужбы Хабра, согласно оценкам пользователей.</p>","published_at": "2026-09-01T03:30:38+00:00","author.id": "780987","author.alias": "denis-19","author.name": "Денис","author.url": "https://habr.com/ru/users/denis-19/","author.avatar_url": "https://habrastorage.org/getpro/habr/avatars/6a0/f31/235/6a0f31235bb26134f3c7a741c03e4efb.jpg","author.speciality": "Информационная служба Хабра, без использования ИИ","author.rating": null,"author.karma": null,"author.deleted": false,"score": 7,"title": "Дайджест технических новостей, переводов и лонгридов инфослужбы Хабра за август 2026 года","title_html": "Дайджест технических новостей, переводов и лонгридов инфослужбы Хабра за август 2026 года","publication_type": "article","language": "ru","is_full_text": false,"comments_count": 0,"favorites_count": 1,"reading_count": 538,"reading_time": 6,"hubs.id": ["20696","21890","161","20720","21910"],"hubs.alias": ["study","statistics","habr","contentmarketing","popular_science"],"hubs.title": ["Учебный процесс в IT","Статистика в IT","Habr","Контент и копирайтинг","Научно-популярное"],"hubs.type": ["collective","collective","collective","collective","collective"],"tags": [null,null]}
Habr author profiles scraper — complete JSON result
{"result_type": "profile","input": "denis-19","status": "success","url": "https://habr.com/ru/users/denis-19/","comments_count": 2165,"favorites_count": 16567,"alias": "denis-19","name": "Денис","avatar_url": "https://habrastorage.org/getpro/habr/avatars/6a0/f31/235/6a0f31235bb26134f3c7a741c03e4efb.jpg","rating": 518.8,"registered_at": "2014-09-12T15:27:08+00:00","about": "Интересы: Linux, NBA, электротранспорт","about_html": "Интересы: Linux, NBA, электротранспорт","news_count": 14058,"contacts.title": [],"contacts.url": [],"location.city": null,"location.region": null,"location.country": "Россия","id": null,"speciality": "Информационная служба Хабра, без использования ИИ","karma": 1066,"deleted": false,"followers_count": 1808,"following_count": 30,"publications_count": 16909,"articles_count": 153,"short_posts_count": 2698,"last_activity_at": "2026-09-20T10:58:46+00:00"}
Habr author search scraper — complete JSON result
{"result_type": "profile-search","input": "python","status": "success","url": "https://habr.com/ru/users/python/","alias": "python","name": "python","avatar_url": null,"rating": 0,"id": "21010","speciality": null,"karma": 0,"deleted": false}
Images, tags and other lists stay with their parent result instead of creating extra rows. Invalid or unavailable inputs, inputs with no results, and requests that fail after all retries produce a row with status: failed. At most one failed row is saved per input; it includes error_code and error_message explaining the outcome. A normal end of pagination after collected results does not add a failed row.
Input requirements and collection settings ⚙️
| Setting | What to enter |
|---|---|
What to collect (mode) | Choose the information to collect. |
Maximum results per search or link (maxResults) | Collect up to this many results for each search or link. Minimum: 1. |
Search keywords (searchQueries) | Enter one search phrase per line. For Comment Search, Company Search, Post Search, Author Search. |
Company page links (companyUrls) | Paste one link per line. Example: https://habr.com/ru/companies/selectel/articles/ For Company Articles, Company Profile. |
Hub links (hubUrls) | Paste one link per line. Example: https://habr.com/ru/hubs/python/articles/ For Hub Articles. |
Post links (postUrls) | Paste one link per line. Example: https://habr.com/ru/articles/546422/comments/ For Post Comments, Post Details. |
Profile links (profileUrls) | Paste one link per line. Example: https://habr.com/ru/users/denis-19/followers/ For Author Followers, Author Articles, Author Profile. |
| Collection mode | Fields to use |
|---|---|
| Comment Search | Search keywords |
| Company Articles | Company page links |
| Company Profile | Company page links |
| Company Search | Search keywords |
| Hub Articles | Hub links |
| Post Comments | Post links |
| Post Details | Post links |
| Post Search | Search keywords |
| Author Followers | Profile links |
| Author Articles | Profile links |
| Author Profile | Profile links |
| Author Search | Search keywords |
The result limit applies separately to each search or supplied link. Collection ends earlier when no more matching results are available.
Habr scraping use cases 🎯
Developer content planning
Study articles and comments around technologies your audience uses.
Company blog benchmarking
Compare publishing activity and engagement across selected company blogs.
Technology monitoring
Follow relevant hubs and search terms to review new technical discussions.
Expert discovery
Find authors by topic and examine their specialties, profiles and published work.
Product feedback research
Search discussions for specific technologies and review the surrounding comments.
Pricing and saved-result behavior 💰
See the Actor's Pricing tab for the active pricing model and current rate. Store settings may change, so this README does not claim a fixed cost.
Under dataset-item pricing:
- Each collected item saved in the dataset is one result.
- Images, tags and other values attached to that item do not create additional rows.
- Automatic retry attempts do not create extra dataset rows.
- A saved
failedrow is also one billable dataset item, including invalid inputs, unavailable items, no results, or exhausted retries. At most one failed row is saved per input, including when some results were already collected. maxResultscaps all saved rows for each input, including its failed row. Repeated copies of the same input are processed once. More inputs or a higher limit can produce more saved results.
Habr scraper API and integrations 🔌
Replace $ACTOR_ID with the ID shown in the Actor API tab and $APIFY_TOKEN with your token.
curl -X POST "https://api.apify.com/v2/acts/$ACTOR_ID/runs?token=$APIFY_TOKEN" \-H "Content-Type: application/json" \-d '{"mode":"post-search","searchQueries":["python"],"maxResults":10}'
Use schedules for recurring collection, webhooks for completion notifications, and Apify integrations for Google Sheets, Make, Zapier, cloud storage, a CRM or your own application.
Reliability, retries, and public-data limits ⚠️
Temporary connection errors, timeouts and access restrictions are retried automatically, up to five attempts. Invalid inputs save a failed row without an HTTP request; confirmed unavailable items save a failed row without unnecessary retries. Exhausted retries also save a failed row. Results already collected remain available if a later request fails, and normal pagination completion adds no error row. Collection also stops after two consecutive fully processed pages add no new results, even if the website provides another cursor. Required detail lookups are completed before checking a page; new results reset the counter, and independent reply branches are checked separately. Failures while initializing the Actor, saving data or scheduling requests stop the run instead of being reported as a failed website result.
Search and list results may contain previews; Post mode provides the article text exposed for a selected post.
Habr controls which information is publicly available. Removed, private or restricted items may be unavailable, and optional values can be null or empty. A run can still fail if the results cannot be saved.
Frequently asked questions ❓
Does it require an account on Habr?
No. You do not need to provide an account, password or login cookies. Only publicly available information is collected.
How does maxResults work?
It limits the number of saved results separately for every input. The minimum is 1. With maxResults set to 10, each input returns at most 10 available results. A detail lookup normally returns one record per input.
Can I collect a company’s blog articles?
Yes. Company Posts collects articles associated with a selected Habr company.
Can I research comments independently?
Yes. Comment Search finds matching comments, while Post Comments collects discussion under a selected article.
Why are some fields empty?
The website may not publish that value, or the field may belong to a different collection mode. Missing values remain null or empty instead of being guessed.
Can I export the results to a spreadsheet?
Yes. Download CSV, Excel or JSON from the Apify dataset. All returned fields are included in the same results table.
Support and responsible use 🛟
For a reproducible issue, share the run ID, selected mode, result limit and a safe public example through the support channel. Never disclose access tokens, passwords or proxy credentials.
Use public Habr information lawfully and responsibly. Follow applicable privacy, copyright, data-protection, contractual and platform requirements when storing, analyzing or redistributing results.