О сколько нам открытий чудных...

История

В прошлый раз дело остановилось на старте работ над редактором текста, и эта задача запустила новое увлекательное приключение.

Как по мне, одним из самых увлекательных моментов программирования как навыка является то, что сам по себе он вообще бесполезен.
Да, можно с маниакальным рвением сидеть над разными супер оптимальными алгоритмами и собирать убер-эффективного коня в вакууме на своей рабочей машине, но это никому по сути не нужно. С очень небольшой долей вероятности из такой деятельности может получиться что-то прорывное, но скорее всего нет.
Главная же ценность программирования  в том, что его нужно прикладывать к другим областям деятельности и знаний, в следствие чего уже на том поле можно совершить настоящие подвиги.

И вот даже когда у вас есть много-много лет опыта в совершенно разных областях человеческой деятельности, остаётся шанс, что вступая в новый проект, найдется нечто, что может очень сильно удивить.

Вот такая удивительная ситуация и случилась в процессе работы над этим проектом. И до начала попыток реализации функционала я даже не подозревал, насколько глубока эта кроличья нора.
Если быстро напомнить, то сейчас идёт этап автоматизации части работ над текстами. То есть задумка в том, чтобы максимально перенести весь процесс, который ранее был придуман в формат одного экрана:

• текст пишется;

• проверяется на ошибки и опечатки;

• проверяется на качество.

Вроде бы ничего сложного. Вроде бы и существует куча сервисов. Но если начать вникать, эта задача не так уж и проста.

Первым наскоком была идея настроить интеграцию с теми сервисами, куда я руками загонял текст для проверок:

• Главред (https://glvrd.ru/), который позволяется оценить текст на чистоту и читаемость,

• Текст.ру (https://text.ru/), где есть проверка уникальности, орфографии и CEO оптимизации текста.

В первом случае, после изучения документации выяснилось, что у Главред есть возможность интеграции со сторонними сервисами, но полный функционал очень дорогой, бесплатная версия имеет ограничения и упрощения, и на беду сервиса мне попался пост-обсуждение редакторов с критикой подхода этого сервиса с работе с текстами. В общем суммарно эти факторы заставили притормозить с решением.

Со вторым сервисом получилось немного по-другому. Текст.ру тоже предоставляет инструменты для интеграции, есть бесплатный режим и функционал там не ущемляется по возможностям. Но вот беда - есть ограничение на объем текста в день и при превышении лимитов нужно докупать объемы символов.

Оба варианта, как показалось, не вписываются в концепт проекта, где есть начинающий автор с дырой в кармане, которому нужно начать быстро и максимально бесплатно распространять своё творчество в сети. Поэтому начался этап глубокого анализа и декомпозиции.

Решение

С учётом того, что проект строится на python, следующей гипотезой для проработки стала обширная коллекция готовых библиотек и решений, которые можно внедрить и получить решение без ограничений, зависимостей от третьих сервисов и бесплатно.
И такие библиотеки действительно обнаружились достаточно быстро.

Следующим шагом было нужно понять, что более актуально и подходит для конкретно случая данного проекта. Консультации (куда же без него) проводились с помощью ИИ, но и старое доброе чтение форумов тоже никуда не делось.

В итоге стало понятно, что проблема автоматического анализа текстов на самом деле одна из самых сложных задач программирования в современности и то, к чему мы привыкли в текстовых редакторах на поверку оказывается результатом очень сложных технических решений. Особенно сильно машины страдают при работе со сложными языками, такими как русский (+1 к сложности моей задачи).

Тем не менее, фронт работ был определен, план был декомпозирован на более мелкие подпункты и стало понятно, как это будет выглядеть в итоге.

Получилось даже три подзадачи:

1. Анализ орфографии, пунктуации, семантики. По ка что выбранные библиотеки - nltk, spacy, grammar_ru - которые судя по всему закроют базовые потребности.

2. СЕО оптимизация текстов - ключевые слова, удобочитаемость, заспамленность  - py_readability_metrics, textacy, dostoevsky.

3. Технические доработки проекта, которые будут не видны пользователю, но которые улучшат работу с текстом и видимость сайта для поисковых систем.

Итого сформировался новый план, посмотрим, что получится собрать в работающую версию. Было:
❌ выпустить версию 0.2.0 с обновленным "умным" редактором текстов.

Ожидается:

• выпустить версию 0.2.0 с техническими доработками

• начать внедрять СЕО метрики в редактор в версии 0.2.1

Аналитика

Количество постов: 1
Затраты в часах: 12,5 часов
Затраты в стоимости: 10 909.10

Итого:
Затраты за последний месяц / за всё время (23 месяца)
-10 909.10  / -213 847.97
Доходы
0 / 0