База данных News
В базе есть справочники (языки, источники), основная таблица собранных новостей, таблицы слов, их частотности и веса и др.
После получения очередной порции данных, бот переводит англоязычные тексты на русский, рассыпает тексты на слова, дополняет таблицу слов, выделяет новые лексемы, подсчитывает вес и пр.
Web-интерфейс к базе данных NEWS
Просмотр таблиц и некоторых запросов к ним
Здесь во фрейме будут показаны результаты запросов напрямую к базе
Александр Немченко
17 августа 2022 г.
Сбор новостей с основных лент
Яндекс-новости, Агентство Рейтер, Агентство Синьхуа, Иранское национальное агентство.
Цели проекта: Анализ новостной мировой повестки, выявление и классификация значимых событий, прогнозирование неизбежно следующих за ними событий.
Александр Немченко
11 августа 2022 г.