1. Установите Docker

2. Клонируйте репозитарий:

git clone https://github.com/kirill-rubashevskiy/mlds23-authorship-identification.git

3. Создайте виртуальное окружение
4. В корневой папке репозитария выполните команду:

# команда создает и запускает Docker-контейнеры сервиса
docker compose -f production.yaml --profile app up

FastAPI приложение будет доступно по адресу: http://0.0.0.0:8000

1. Установите Docker

2. Зарегистрируйтесь в ngrok и получите в личном кабинете:

• Authtoken (вкладка Your Authtoken) и
• static domain (вкладка Your Domains, выглядит как domain-name.ngrok-free.app)

3. Создайте бота в Telegram при помощи BotFather (при создании будет сгенерирован токен)

4. Клонируйте репозитарий:

git clone https://github.com/kirill-rubashevskiy/mlds23-authorship-identification.git

5. Создайте виртуальное окружение
6. В корневой папке репозитария создайте файл .env со следующими переменными окружения:

# пример .env
BASE_WEBHOOK_URL=base_webhook_url # заменить значение на static domain из шага 1
NGROK_TOKEN=ngrok_token # заменить значение на Authtoken из шага 1
BOT_TOKEN=bot_token # заменить значение  на токен из шага 2

7. В корневой папке репозитария выполнить команду:

# команда создает и запускает Docker-контейнеры сервиса
docker compose -f production.yaml --profile full up

FastAPI приложение будет доступно по адресу: http://0.0.0.0:8000
Бот будет доступен в Telegram по имени, выбранному для бота на шаге 2

1. Установите Poetry
2. Клонируйте репозитарий:

git clone https://github.com/kirill-rubashevskiy/mlds23-authorship-identification.git

3. Создайте виртуальное окружение
4. Установите зависимости проекта:

poetry install

5. Проводите эксперименты при помощи commands.py (для логирования экспериментов в Weights & Biases укажите свои W&B credentials в conf/config.yaml):

python3 commands.py train 'TF-IDF stats poly LR'  logisticregression__С=2 # обучение модели
python3 commands.py infer models/bow_stats_poly_lr.joblib.dvc # тестирование модели
python3 commands.py randomsearch 'TF-IDF stats poly LR' # подбор гиперпараметров при помощи Random Search

1. Установите Poetry, Redis и PostgreSQL
2. Создайте тестовую базу данных:

CREATE DATABASE ai_test_db;
CREATE USER ai_user WITH PASSWORD 'ai_password';
GRANT ALL PRIVILEGES ON DATABASE ai_test_db TO ai_user;

3. Клонируйте репозитарий:

git clone https://github.com/kirill-rubashevskiy/mlds23-authorship-identification.git

4. Создайте виртуальное окружение
5. Установите зависимости проекта:

poetry install

6. Запустите тесты:

pytest

Для проекта были отобраны 10 классических русских писателей, живших в 19 веке:

• И. А. Бунин
• В. М. Гаршин
• Н. В. Гоголь
• А. И. Куприн
• Ф. М. Достоевский
• Д. Н. Мамин-Сибиряк
• А. П. Платонов
• А. С. Пушкин
• И. С. Тургенев
• А. П. Чехов

По каждому автору было собрано не менее 10 прозаических произведений.

Данные были собраны на сайте интернет-библиотеки Алексея Комарова (ноутбук с примером работы парсера).

Собранные данные (тексты в формате .txt, а также .csv файл с общей информацией о текстах) размещены в облачном хранилище Yandex Object Storage. На сайте хранилища доступна таблица с полной информацией о собранных текстах.

(ноутбук с анализом статистик из текстов и нграмм, ноутбук с анализом статистик по пунктуации и частям речи в зависимости от длины предложений)

Для начала мы посчитали среднюю длину слова и предложения по каждому автору:

На графиках видно, длина слов и предложений у авторов различаются, поэтому было принято решение сделать углубленный анализ следующих статистик с помощью пакета ruts:

• количество предложений
• количество слов
• количество уникальных слов
• количество длинных слов
• количество сложных слов
• количество простых слов
• количество односложных слов
• количество многосложных слов
• количество символов
• количество букв
• количество пробелов
• количество слогов
• количество знаков препинания

В результате датасет splitted_df с уже расспличенными по 550 токенов произведениями был дополнен колонками, перечисленными выше, и сохранен в s3 как ruts_df.

Также был сделан анализ использования знаков пунктуации у разных авторов в предложениях различной длины:

Вывод: авторы по-разному строят предложения разной длины с точки зрения знаков препинания, возможно это может дать полезные дополнительные признаки для обучения моделей.

На следующем этапе мы попробуем использовать эти статистики в качестве признаков для классификации.

(ноутбук с анализом статистик из текстов и нграмм)

Для расширения стоплиста слов мы проанализировали самые часто встречающиеся слова:

На графике видны погрешности в предобработке (аномально длинное тире с пробелами); 50 самых часто встречающихся слов сохранены в s3 для последующего анализа как count_words.

Мы также проанализировали топ10 биграмм и триграмм:

(ноутбук с анализом частей речи и тематическим моделированием, ноутбук с анализом статистик по пунктуации и частям речи в зависимости от длины предложений)

Для анализа частей речи мы:

• просемплировали объекты таким образом, чтобы по каждому автору было одинаковое количество объектов
• провели предобработку данных:
  • привели тексты к нижнему регистру
  • удалили http ссылки, цифры и пунктуацию
  • токенизировали тексты
  • определили часть речи каждого токена при помощи библиотеки spaCy
• по каждому объекту посчитали количество вхождений каждой части речи и нормализовали данные (чтобы сумма вхождений всех частей речи в объект давала единицу)

Затем мы проанализировали распределения частей речи по всем объектам, и статистики распределений по автору.

Распределения значений частей речи соответствуют одному из четырех типов:

Мы проверили, что мультимодальное распределение отдельных частей речи наблюдается у всех авторов (гипотеза подтвердилась), и для дальнейшего анализа оставили только части речи с нормальным и скошенным нормальным распределениями.

Мы анализировали медиану, которая меньше подвержена выбросам:

Авторы различаются по медианной частоте использования частей речи:

• Куприн использует больше нарицательных и прилагательных, но меньше глаголов и местоимений
• Пушкин использует меньше наречий и сочинительных союзов
• Бунин использует больше нарицательных, прилагательных и предлогов, но меньше местоимений и глаголов и т.д.

При этом понижение размерности данных при помощи PCA (мы дополнительно ограничили значения сверху 99-м персентилем и стандартизировали данные) и TSNE не позволило кластеризовать авторов:

Вывод: статистики по частям речи могут быть дополнительными признаками для обучения моделей, но эффект от них (без нелинейного преобразования) будет ограничен при использовании линейных моделей.

Мы разместили сгенерированные признаки (нормированное количество каждой части речи в объекте) в облачном хранилище Yandex Object Storage по проекту для их использования при обучении моделей.

Мы также проанализировали распределение частей речи в зависимости от длины предлоожений:

Вывод: авторы по-разному строят предложения разной длины с точки зрения употребления частей речи, возможно это может дать полезные дополнительные признаки для обучения моделей.

(ноутбук с анализом частей речи и тематическим моделированием)

Для тематического моделирования мы использовали все объекты датасета и три части речи: существительные (нарицательные), прилагательные и глаголы.

Перед тематическим моделированием мы провели предобработку текстов:

• привели тексты к нижнему регистру,
• удалили http ссылки, цифры, пунктуацию
• удалили стоп-слова: неправильно классифицированные имена собственные (аркадий, наташаи т.п.) и слова, которые не несут смысловой нагрузки (хотеть, быть и т.п.)
• удалили слишком редкие (встречающиеся менее 3 раз) и слишком частые (встречающихся более, чем в половине объектов) слова
• токенизировали или лемматизировали тексты

Для тематического моделирования мы использовали алгоритм LDA. Мы создали несколько моделей в зависимости от количества предсказываемых ими тем (от 10 до 30 с шагом 5), и для оценки качества работы моделей использовали оценку асессора (меня) на 10 случайных объектах.

Каждая модель смогла (субъективно) корректно определить темы от 0 до 3 объектов:

• модель с 10 темами — природу (объект 1), выражение эмоций (объект 2) и лошадей (объект 5)
• модель с 20 темами — происходящее на улице (объект 5) и внешние характеристики героя (объект 10)
• модель с 25 темами — происходящее на улице (объект 5)
• модель с 30 темами — природу (объект 1), помещения (объект 3) и внешние характеристики героя (объект 10)

Определить темы отдельных объектов (например, 4 и 7) не смогли как модели, так и асессор; возможные причины:

• деление на объекты не учитывает абзацы, которые отдельные авторы используют для разграничения тем
• с учетом ограничения на максимальное количество слов в объекте, отбора частей речи и удаления стоп-слов после предобработки в объектах не остается достаточное количество несущих смысл слов для корректного определения темы

Вывод: использование предсказанных моделями тем и их вероятностей нецелесообразно использовать в качестве признаков для обучения моделей, классифицирующих авторов.