Парсер

Стек технологий

Laravel
Orchid
Figma

Описание проекта

Нашего клиента мы встретили на бизнес-тренинге, он профессионально занимается флиппингом. Если по-простому: покупает квартиры «как есть», делает ремонт и перепродает с прибылью.

Каждый день он тратит время на ручной поиск подходящих объявлений среди сотен вариантов. Нам предстояло автоматизировать этот процесс, чтобы система сама:

• Собирала актуальные объявления
• Фильтровала их по заданным критериям
• Присылала только «горячие» варианты

Фактически — создать для него персонального помощника по поиску недвижимости. Затем клиент (уже вне нашего сервиса) будет просматривать варианты, оценивать их и связываться с продавцами напрямую.

Что требовалось

Наш парсер — это кастомное закрытое решение, которое мы создавали в три этапа: парсинг сервиса недвижимости, разработка административной панели и настройка отправки сообщений через Telegram-бот.

У клиента было четкое ТЗ, готовые алгоритмы и формулы для отбора объектов. Нам предстояло воплотить это в код и при необходимости «докрутить» нюансы.

Что сделали

Аналитика и проектирование

Обычно для проектирования интерфейсов, рассчитанных на массового пользователя, мы привлекаем дизайнеров. Однако в случае с админ-панелью на Orchid продуманный UX/UI не нужен — главное четко отобразить структуру.

Поэтому наша аналитик (которая к тому моменту уже хорошо разобралась в предметной области) сама создала минималистичный и интуитивно понятный прототип. Без привлечения дополнительных ресурсов.

Технические нюансы

В процессе нам нужно было учесть специфические технические требования, вот часть из них:

• Автоматический сбор объявлений каждые 15 минут
• Сравнение новых предложений только в пределах заданного радиуса поиска
• Сопоставление нового объявления с топ-3 самых дорогих квартир, у которых совпадают сегмент и количество
• Автоматическое обновление статусов «Снято с продажи» при удалении объявления и «На продаже» для актуальных предложений
• Мгновенные информирования о выгодных вариантах

Мы сделали админ-панель по-настоящему гибкой, она легко адаптируется под разные бизнес-сценарии. Например, клиент может вручную задавать переменные для расчета потенциальной прибыли: выставлять ожидаемую маржу, закладывать бюджет на ремонт, учитывать дополнительные расходы. Как калькулятор, только заточенный под специфику флиппинга.

Так выглядят объявления, которые приходят клиенту в Telegram:

Красный, зеленый и желтые цвета — это индикаторы выгоды. Они зависят от чистой прибыли: зеленый — это наименьшая чистая прибыль, желтый — средняя, красный — наибольшая.

«ТЗ было максимально детализированным, однако парсинг — это не интеграция, здесь никогда не угадаешь, что может пойти не так. В процессе мы периодически сталкивались с неожиданностями, которые оперативно решали»

Кирилл, бэкенд-разработчик Пиробайта

Например, в ходе ресерча обнаружилась интересная деталь: сервис недвижимости говорит, что по заданным фильтрам у него есть 20 тысяч объявлений. Но на одной странице показывается только ~20, а всего страниц — 54.

Если посчитать, то получается, что парсер не соберет все объявления, если не уточнять запросы и не менять фильтры. А это долго и усложняет процесс.

Поэтому мы предусмотрели систему фильтрации и реализовали гибкую настройку фильтров прямо в админ-панели:

• Тип жилья: «Новостройка» / «Вторичка»
• Сегмент в системе: например, «хрущевка», «сталинка» и другие.
• Район
• Ближайшее метро
• Жилой комплекс (ЖК)
• Количество комнат
• Этаж
• Этажность дома
• Общая площадь
• Площадь кухни
• Стоимость квартиры
• Стоимость за кв. м
• Вид ремонта
• Статус в системе: «Еще в продаже» / «Продано»

Парсер ежедневно обрабатывает тысячи объявлений. При этом часть из них — уже ранее загруженные данные, которые наша система сама актуализирует.

«Самое интересно (и самое сложное) — добиться стабильной работы парсера. Особенно когда сервис недвижимости меняет структуру или вводит ограничения»

Никита, project-менеджер Пиробайта

Результат

Парсер — это первый кирпичик большой системы. В будущем здесь появится:

• Подбор проверенных бригад с рейтингами
• Спецпредложения на стройматериалы
• Умный поиск объектов под критерии

Клиент не раскрывает точные цифры по сделкам, но инструмент стал частью его рабочего процесса, и результатом он доволен. Прямую ссылку на проект не прикладываем — это админ-панель с ограниченным доступом (логины и пароли есть только у клиента и нашей команды).

Но если вам нужен инструмент, автоматизирующий рутинный сбор данных, напишите нам. Сделаем для вас простое/сложное/какое угодно решение, работающее как часы.

Команда проекта

Ирина Г — аналитика, проектирование
Кирилл М — бэкенд-разработка
Никита З — project-менеджмент