Платформа анализа потоков электронных документов

Программная платформа представляет собой совокупность программных компонент, предназначенных для построения прикладных интеллектуальных систем анализа потоков электронных документов на русском языке с целью их автоматической рубрикации, латентно-семантического анализа и выявления в них фактографической информации.
Функциональные возможности платформы: рубрикация потока электронных документов (построение и применение моделей машинного обучения для многотемной иерархической рубрикации документов в потоке, используя текстовую и мета информацию о документах. Модели учитывают заданную пользователем структуру рубрик и обрабатывают случаи несбалансированных выборок, низкого качества текстов, наличия ошибок, опечаток и специфической терминологии); выявление фактографической информации (применение нейросетевых дообучаемых моделей для обнаружения в тексте упоминания сущностей заданного типа и их связей с учетом контекста, возможного наличия опечаток и ошибок, а также для нечеткого поиска и идентификации найденных сущностей во внешних словарях); латентно-семантический анализ и аннотирование (построение и применение моделей латентно-семантического анализа для выявления ключевых слов и скрытых тематик в потоке документов, применение методов оценки типичности и аномальности документов относительно корпуса, а также применение больших языковых моделей для построения аннотаций и описания выявленных скрытых).

Функциональные характеристики

1. Рубрикация потока электронных документов: построение и применение моделей машинного обучения для многотемной иерархической рубрикации документов в потоке, используя текстовую и мета информацию о документах. Модели учитывают заданную пользователем структуру рубрик и обрабатывают случаи несбалансированных выборок, низкого качества текстов, наличия ошибок, опечаток и специфической терминологии.

2. Выявление фактографической информации: применение нейросетевых дообучаемых моделей для обнаружения в тексте упоминания сущностей заданного типа и их связей с учетом контекста, возможного наличия опечаток и ошибок, а также для нечеткого поиска и идентификации найденных сущностей во внешних словарях.

3. Латентно-семантический анализ и аннотирование: построение и применение моделей латентно-семантического анализа для выявления ключевых слов и скрытых тематик в потоке документов, применение методов оценки типичности и аномальности документов относительно корпуса, а также применение больших языковых моделей для построения аннотаций и описания выявленных скрытых тематик.