Microlink — API для извлечения данных из веб-страниц. Один REST-эндпоинт закрывает сразу несколько задач: получить метаданные страницы, сделать скриншот, собрать PDF, сгенерировать превью ссылки, вытащить чистый текст для языковой модели или дождаться выполнения JavaScript и забрать итоговый HTML.
Основные возможности
- Единый REST-эндпоинт для всех продуктов сервиса — не нужно подключать разные API под каждую задачу.
- Скриншоты страниц с точной передачей внешнего вида.
- Превью ссылок и встраиваемые карточки для соцсетей, мессенджеров и интерфейсов.
- Нормализованные метаданные любого сайта — заголовки, описания, изображения и прочее.
- Извлечение чистого текста, подготовленного для языковых моделей.
- Отрендеренный HTML после выполнения JavaScript — важно для сайтов, которые собираются на клиенте.
- Возможность выполнить собственный код на странице.
- PDF из живых веб-страниц.
- Получение фавиконов и логотипов сайтов.
- Прямые ссылки на видео- и аудиофайлы, скрытые за страницей-обёрткой, и структурированные данные из результатов поиска.
Как это устроено
Вы отправляете URL на эндпоинт и вместе с ним параметры того, что нужно получить — скриншот, текст, метаданные. Сервис загружает страницу на своей стороне, при необходимости выполняет JavaScript, и возвращает результат в структурированном виде. Это снимает с вашего приложения всю работу с браузером: прокси, ожидание загрузки, обход проблем с рендерингом.
Такой API удобен как «строительный блок»: превью ссылок в чате, карточки товаров, автоматическое создание PDF из отчёта, сбор текста для поиска или для языковой модели — всё это одна и та же операция с разными параметрами.
Кому подходит
Разработчикам, которым нужно встроить обработку веб-страниц в свой продукт, не поднимая инфраструктуру браузеров. Командам, собирающим данные для ИИ-приложений: чистый текст и отрендеренный HTML здесь как раз то, что нужно. Сервисам, где важны превью ссылок и карточки. И аналитикам, которым нужны скриншоты страниц по расписанию.
Что учесть
Это инфраструктурный API для разработчиков: без кода им не воспользоваться, готового интерфейса для конечного пользователя нет. Кроме того, сайты защищаются по-разному — часть страниц может отдавать заглушку вместо содержимого или блокировать автоматические запросы, поэтому для нагруженных сценариев стоит проверять результат и предусматривать обработку ошибок.
Запросы идут через сторонний сервис, а значит, адреса страниц ему известны: для внутренних или закрытых ресурсов такое решение подходит не всегда. И, как с любым API, стоит заранее оценить объём запросов — при массовом сборе данных ограничения и издержки становятся главным фактором выбора.
Похожие сервисы
- Xmldatafeed — парсинг сайтов и готовые базы компаний
- Company List — готовые базы компаний для отдела продаж
- Text.ru — проверка уникальности текстов и нейроинструменты
- Арборитм — учёт лесных ресурсов по данным лидарной съёмки