 |
Предлагаем вашему вниманию систему интернет-мониторинга WebParser для поиска, сбора и обработки информации в сети Интернет. Система является самообучающейся, базируется на самых современных разработках в сфере нейронных сетей и искусственного интеллекта, и позволит Вам намного облегчить процесс мониторинга Интернет. WebParser прост в установке и использовании, а интуитивно понятный интерфейс сделает мониторинг сайтов приятным и удобным.
Система состоит из самостоятельных компонент, каждая из которых может использоваться отдельно.
Первый модуль - WebPointer - представляет собой приложение, которое обеспечит быстрое и структурированное обновление данных из Сети. Например, Вы часто пользуетесь десятками страничек, на каждой из которых содержится некоторое количество часто обновляемой, полезной для Вас информации (например, цены, курсы, котировки и пр.), которую Вы вынуждены обновлять каждый день или по несколько раз в день. WebPointer поможет ускорить этот процесс! Просто один раз откройте нужную страничку в браузере, выберете интересующий Вас текст, и нажмите кнопку “запомнить”! Программа сохранит формат и положение выбранной вами информации. И в дальнейшем, чтобы получить свежие данные с этих страничек, Вам всего лишь нужно будет нажать кнопку “Обновить данные” в Вашем браузере.
Второй модуль системы WebCollector работает совместно с первым и обеспечивает ведение базы данных выбранных страничек, их анализ, обработку и представление в удобном для пользователя виде (генерация отчетов, диаграмм и графиков изменения этих данных), а также периодическое обновление в автоматическом режиме. В отличие от первого модуля, при добавлении в систему новой странички Вы помимо расположения нужного текста также указываете тип данных, содержащихся в тексте (число/форматированная строка/рисунок/…). Это необходимо для того, чтобы система могла хранить изменения в нужном формате, а потом представлять периодическую отчетность в виде графиков/диаграмм, и т.д. Также система может экспортировать данные в любую СУБД, например MS ACCESS.
Третий модуль системы WebFinder является расширением модуля WebPointer и предназначается для поиска данных по критериям, определяемыми пользователем в программе WebCollector по всей сети Интернет! Механизм работы системы прост: вы описываете искомый объект, характеризующийся несколькими свойствами (название, ключевые слова, атрибуты и пр.) и параметрами (каждый параметр имеет свой тип, критерия поиска, и диапазона возможных значений). Например, объект “Мобильный телефон” характеризуется параметрами “стоимость”, “модель” и “цвет”. Далее вы выбираете один или несколько сайтов, где встречается информация о таком объекте, и последовательно выделяете в тексте страницы нужные параметры. Система сама настраивается на данный объект, применяя алгоритмы самообучающихся нейронных сетей. После успешной настройки системы Вы можете указать список сайтов, на которых есть подобная информация и система проанализирует их, и автоматически извлечет нужные данные. Так же этот модуль умеет самостоятельно искать описание всех подобных объектов по всему интернету через поисковые машины или методом рекурсивного сканирования. Таким образом, если Вы получите полную, распознанную базу данных по заданному объекту, из которой вы сможете в дальнейшем:
- Находить данные, с наилучшими параметрами (например, сайты содержащие минимальную цену на предмет, или предмет, отличающиеся наилучшими характеристиками);
- Вести статистику всех изменений параметров каждого объекта (например, динамика цен во времени);
- Находить среднее по всему интернету значение параметров объекта (например, средняя цена);
- Автоматически генерировать отчеты;
а также многое другое.
|
