Александр Кайданский

Цель:

Легкий и быстрый доступ к ИИ без VPN и без оплаты иностранных сервисов. Для чат-ботов, ИИ-ассистентов итп.

Результаты:

• Осуществил продакт-менеджмент от идеи до конечного продукта.
• Использовал отечественные сервисы для доступа к многочисленным LLM через API.
• Рализовал загрузку пользовательских данных, их векторизацию и хранение в векторной БД для создания локальной базы знаний и её использования для RAG.
• Разделил серверную и клиентскую части, что позволило интегрировать систему в любую веб-страницу и кардинально улучшить совместимость.
• Использовал стек LAMP, что позволило легко разворачивать систему на самых доступных виртуальных хостингах.
• Система предоставляет доступ к десяткам LLM, от бюджетных до продвинутых, со средней стоимостью 1 руб/запрос.
• Система позволяет использовать собственную базу знаний до 4ГБ бесплатно.
• Этот интерфейс успешно используется в виде автоматического консультанта для СНТ, быстро предоставляющего любую информацию (тарифы, события, контакты итд), а также для создания чат-ботов.

Стек:

PHP 8.2+, Laravel 12, MySQL/MariaDB 10, vanilla JS, CSS.

Основные особенности приложения

1. Функциональные возможности

• Интерактивный чат-бот для консультаций по вопросам СНТ
• Поддержка темной и светлой тем оформления
• Адаптивный дизайн для работы на различных устройствах
• Возможность установки как Progressive Web App (PWA)
• Поддержка многоязычности
• Защита от спама с помощью Cloudflare Turnstile
• Доступ к API методом CORS

2. Технологический стек

• HTML5, CSS3, JavaScript (ES6+)
• Bootstrap Icons
• Cloudflare Turnstile для защиты от ботов
• Service Worker для PWA функциональности
• Web Share API для функции "Поделиться"

Архитектурные решения и паттерны программирования

1. Модульная архитектура

Приложение следует модульному подходу, разделяя функциональность на отдельные компоненты:

• **chat-service.js** - сервис для работы с API чата
• **chat-widget.js** - виджет пользовательского интерфейса чата
• **chat-init.js** - инициализация чата
• **app.js** - основной скрипт приложения

2. Объектно-ориентированный подход

Используются классы для инкапсуляции функциональности:

• `ChatService` - управление взаимодействием с API
• `AISupportChatWidget` - управление пользовательским интерфейсом чата

3. Паттерн наблюдатель (Observer)

Используется для обработки событий DOM:

• `DOMContentLoaded` для инициализации компонентов
• Обработчики событий для пользовательских действий

4. Асинхронное программирование

Широко используется async/await для работы с API и асинхронными операциями:

• Отправка запросов к серверу
• Опрос результатов (polling)
• Обработка пользовательского ввода

Пользовательский интерфейс (UI) и пользовательский опыт (UX)

1. Дизайн и темизация

• Поддержка темной и светлой тем с использованием CSS переменных
• Адаптивный дизайн с медиа-запросами для различных устройств
• Использование системных предпочтений пользователя (prefers-color-scheme)
• Сохранение выбранной темы в localStorage

2. Компоненты интерфейса

• Чат-интерфейс с разделением сообщений пользователя и ассистента
• Анимированный индикатор набора текста
• Адаптивное текстовое поле с автоматическим изменением размера
• Контекстное меню в заголовке
• Кнопка отправки сообщения с состоянием disabled

3. Адаптивность

• Отдельные стили для планшетов и мобильных устройств
• Гибкие размеры элементов
• Оптимизация отступов и размеров шрифтов для разных экранов

4. Доступность

• Использование семантической разметки HTML
• ARIA-атрибуты для интерактивных элементов
• Клавиатурная навигация (Enter для отправки сообщений)

Безопасность и защита

1. Защита от ботов

• Интеграция с Cloudflare Turnstile для защиты от спама
• Токены CAPTCHA для публичного режима

2. Аутентификация

• Поддержка JWT токенов для аутентификации
• Автоматическое обновление токенов при истечении срока действия
• CORS (Cross-Origin Resource Sharing) для безопасного взаимодействия с API

PWA функциональность

1. Service Worker

• Кэширование ресурсов для работы в офлайн-режиме
• Стратегия кэширования "cache-first" для статических ресурсов
• Очистка устаревших кэшей при обновлении

2. Манифест приложения

• Поддержка установки как нативного приложения
• Иконки для различных платформ
• Настройки отображения (standalone mode)

Производительность

1. Оптимизация загрузки

• Использование rel="preload" для критических ресурсов
• Ленивая загрузка шрифтов иконок

2. Управление состоянием

• Локальное кэширование токенов аутентификации
• Оптимизированный polling для получения результатов чата

Интернационализация

1. Поддержка многоязычности

• Атрибуты data-i18n для элементов интерфейса
• Файлы конфигурации и переводов (config.js, translations.js)

Основные достоинства приложения:

• **Модульность и разделение ответственности** - код четко разделен на отдельные компоненты
• **Отличный UX/UI** - продуманный интерфейс чата с анимациями и адаптивностью
• **PWA функциональность** - полноценное приложение с возможностью установки
• **Безопасность** - защита от ботов и управление аутентификацией
• **Производительность** - оптимизация загрузки и кэширования

Цель:

Удобное и быстрое вычисление статистических коэффициентов корреляции между двумя наборами данных для PHP.

Результаты:

• Реализовал методы вычисления корреляции Пирсона и Спирмена.
• Обеспечил математическую корректность, высокую производительность за счет простоты алгоритмов, надежность за счет обработки граничных случаев и удобство использования в виде библиотеки, подключаемой через Composer.
• Это приложение было включено в Программу архивирования GitHub и помещено в хранилище кода GitHub Arctic Code Vault, расположенное в выведенной из эксплуатации угольной шахте глубоко под арктической горой на Шпицбергене, Норвегия.

Стек:

PHP 7.4+, Composer.

Архитектура

1. Основной класс корреляции

Класс Correlation служит основным интерфейсом (фасадом) библиотеки:

• Предоставляет методы для вычисления корреляции Пирсона и Спирмена
• Выполняет валидацию входных данных и их предварительную обработку
• Управляет состоянием двух входных массивов и их размером

2. Реализации коэффициентов

• Pearson.php: реализует вычисление коэффициента корреляции Пирсона по математической формуле
• Spearman.php: реализует вычисление рангового коэффициента корреляции Спирмена

3. Иерархия исключений

• CorrelationException: базовый класс исключений, расширяющий стандартный Exception PHP
• Специфические исключения для различных ошибок:
  • ArgumentIsNotArrayException
  • ArrayCountNotMatch
  • EmptyArrayException
  • ValueIsNotNumericException

Ключевые детали реализации

Обработка входных данных

• Проверка, что входные данные являются массивами
• Проверка, что массивы не пустые
• Проверка, что оба массива имеют одинаковое количество элементов
• Проверка, что все элементы являются числовыми
• Преобразование числовых строк в соответствующие типы (int / float)

Реализация корреляции Пирсона

• Использует стандартную формулу Пирсона:
  r = Σ((x − μx)(y − μy)) / √(Σ(x − μx)² Σ(y − μy)²)
• Эффективно вычисляет промежуточные значения за один проход
• Обрабатывает граничные случаи (деление на ноль)

Реализация корреляции Спирмена

• Использует метод ранговой корреляции
• Реализует ранжирование с помощью сортировки массивов и манипуляций с ключами
• Применяет формулу Спирмена:
  ρ = 1 − (6Σd²) / (n(n² − 1))

Интересные особенности и детали реализации

• Типобезопасность: автоматическое определение и преобразование числовых типов
• Комплексная валидация: многоуровневая проверка входных данных
• Неизменяемые результаты: объекты коэффициентов нельзя изменить после создания
• Расчёт в процентах: автоматическое преобразование коэффициента в проценты
• Обработка граничных случаев: защита от математических ошибок
• PSR-4 автозагрузка: соответствие современным стандартам PHP
• Поддержка PHP 7.4+: использование типизированных свойств

Шаблоны проектирования и подходы к реализации

1. Паттерн «Фасад»

Класс Correlation упрощает работу с подсистемой корреляционных вычислений, скрывая её внутреннюю сложность и предоставляя единый интерфейс.

2. Паттерн «Стратегия»

Реализация различных алгоритмов корреляции позволяет легко заменять их без изменения клиентского кода.

3. Паттерн «Фабричный метод»

Методы класса Correlation создают конкретные объекты коэффициентов, делегируя выбор конкретной реализации.

4. Иерархия обработки исключений

• Базовое исключение: CorrelationException
• Специализированные исключения для каждого типа ошибки
• Обеспечивает точную и удобную обработку ошибок

5. Паттерн неизменяемых объектов

• Все свойства задаются в конструкторе
• Отсутствуют setter-методы
• Результаты нельзя изменить после создания
• Гарантирует целостность данных

6. Валидация и очистка данных

Реализован принцип fail fast — ошибки обнаруживаются как можно раньше.

7. Принцип единственной ответственности

• Correlation: координация и валидация
• Pearson: расчёт корреляции Пирсона
• Spearman: расчёт корреляции Спирмена
• Классы исключений: обработка конкретных ошибок

8. Внедрение зависимостей через конструктор

Все зависимости передаются через конструктор, что упрощает тестирование и делает код более прозрачным.

9. Реализация математических алгоритмов

• Pearson: стандартная статистическая формула
• Spearman: ранговая корреляция

Интересные особенности реализации

1. Определение и преобразование типов

                  $a[$k] = strpos($v, '.') !== false ? (float)$v : (int)$v;
                  

2. Эффективное вычисление Пирсона

                  for ($i = 0; $i < $n; $i++) {
                      $calc['xy'][$i] = $a1[$i] * $a2[$i];
                      $calc['x2'][$i] = $a1[$i] ** 2;
                      $calc['y2'][$i] = $a2[$i] ** 2;
                  }
                  

3. Элегантный алгоритм ранжирования Спирмена

                  $a = array_combine($a1, $a2);
                  ksort($a);
                  $b = array_flip(array_keys($a));
                  asort($a);
                  $c = array_flip(array_values($a));
                  

4. Обработка деления на ноль

                  return $denominator != 0
                      ? ($n * array_sum($calc['xy']) - ($sumX * $sumY)) / $denominator
                      : 1;
                  

5. Автоматический расчёт процентов

                  $this->percentage = round($this->coefficient * 100, 2);
                  

6. Информативные сообщения об ошибках

                  parent::__construct(
                      sprintf('Аргумент %s не является массивом.', $num),
                      1
                  );
                  

7. Современные возможности PHP

• Типизированные свойства
• Современный синтаксис
• Лучшие практики разработки

8. Соответствие PSR-4

                  "autoload": {
                      "psr-4": {
                          "Correlation\\": "src/"
                      }
                  }
                  

9. Математическая точность

• Корректные статистические формулы
• Достаточная точность вычислений

10. Эффективное использование памяти

• Минимизация временных структур
• Оптимальный объём памяти

Итоги

Сильные стороны архитектуры

• Чёткое разделение ответственности
• Эффективное использование шаблонов проектирования
• Надёжная обработка ошибок
• Типобезопасность
• Соответствие современным стандартам PHP

Качество реализации

• Математическая корректность
• Высокая производительность
• Обработка граничных случаев
• Удобство использования

Ключевые особенности

• Неизменяемые объекты результатов
• Многоуровневая валидация данных
• Автоматическое определение типов
• Элегантные алгоритмы

Эта библиотека является примером реализации математических алгоритмов на PHP, обеспечивая надёжность и удобство использования.

Цель:

PHP-обёртка, легко предоставляющая единый интерфейс для взаимодействия с несколькими сервисами email-маркетинга.

Результаты:

• Библиотека позволила легко использовать сразу несколько провайдеров email рассылки: ActiveCampaign, AWeber, ConstantContact, Infusionsoft, MailChimp.
• Разработал единый, согласованный интерфейс, несмотря на существенные различия между базовыми API.
• Реализовал полностью автоматическую обработку авторизации OAuth.
• Сохранил поддержку необязательных дополнительных данных для всех провайдеров.
• Обеспечил расширяемость — простое добавление новых провайдеров. Применил модульную архитектуру, позволяющую вносить изолированные изменения.
• Реализовал надежную обработку ошибок с подробными сообщениями, обработкой отсутствующей конфигурации, обработкой HTTP-исключений и четкими индикаторами успеха и неудачи операций.
• Обеспечил поддержку пагинации для больших наборов данных, что существенно повысило эффективность использования памяти.
• Эта библиотека также была удостоена включения в Программу архивирования GitHub Arctic Code Vault.

Стек:

PHP 7.3+, Composer.

Подходы и техники реализации

1. Управление конфигурацией

• Используются PHP-константы, определённые в отдельном конфигурационном файле
• Конструктор фабрики принимает необязательный путь к конфигурационному файлу
• Классы провайдеров проверяют наличие обязательных констант и возвращают ошибки при их отсутствии

2. Обработка ошибок

• Единообразная обработка ошибок для всех провайдеров через свойство $error
• Успех или неудача операции обозначаются булевыми значениями
• Подробные сообщения об ошибках из ответов API сохраняются и доступны извне

3. Управление OAuth-токенами

• Автоматическое обновление токенов по истечении срока действия
• Хранение токенов в сессии (в примерах)
• Корректная реализация OAuth-процесса с проверкой параметра state

4. Абстракция HTTP-клиента

• Используется HTTP-клиент Guzzle для прямых вызовов API (ActiveCampaign, AWeber, ConstantContact, Infusionsoft)
• Для интеграции с MailChimp используется специализированный SDK (DrewM MailChimp)
• Единообразная обработка запросов и ответов для разных HTTP-клиентов

5. Нормализация данных

• Стандартизирован способ передачи дополнительных данных в методы API
• Преобразование специфичных для провайдеров структур данных в общий формат
• Обработка пагинации для коллекционных эндпоинтов (AWeber)

Интересные и полезные возможности

1. Единый интерфейс

Несмотря на существенные различия между базовыми API, библиотека предоставляет согласованный интерфейс:

• Похожие имена методов для всех провайдеров
• Единый порядок параметров
• Стандартизированная обработка ответов с использованием свойств result и error

2. Автоматическая обработка OAuth

• Полная реализация OAuth-процесса
• Автоматическое обновление токенов
• Управление сессиями в примерах
• Проверка параметра state для повышения безопасности

3. Гибкая передача данных

• Поддержка необязательных дополнительных данных для всех провайдеров
• Обработка специфичных имён полей при сохранении единого интерфейса
• Преобразование структур данных по необходимости для каждого провайдера

4. Полноценные примеры

• Полностью рабочие примеры для каждого провайдера
• HTML-интерфейсы для тестирования
• Корректная работа с сессиями
• Отображение ошибок и сообщений об успешном выполнении

5. Расширяемость

• Простое добавление новых провайдеров при следовании существующим паттернам
• Модульный дизайн, позволяющий вносить изолированные изменения
• Единые базовые классы для OAuth- и не-OAuth-провайдеров

6. Надёжная обработка ошибок

• Подробные сообщения об ошибках, возвращаемые API
• Корректная обработка отсутствующей конфигурации
• Правильная обработка HTTP-исключений
• Чёткие индикаторы успеха и неудачи операций

7. Обработка пагинации

• Автоматическая пагинация для провайдеров, которые её поддерживают (AWeber)
• Прозрачная работа с коллекционными эндпоинтами
• Эффективная по памяти обработка больших наборов данных

Данная архитектура обеспечивает чистое, поддерживаемое и расширяемое решение для интеграции с несколькими сервисами email-маркетинга, скрывая сложности API каждого конкретного провайдера.

Цель:

Корпоративный каталог рецептов, ингредиентов и технологий для сети ресторанов.

Результаты:

• Разработал систему с поддержкой нескольких баз данных, отдельной для каждого спота, что обеспечило надежную изоляцию данных и ускорило загрузку для конечного пользователя.
• Применил ролевую модель доступа с различными UI-сценариями в зависимости от роли пользователя.
• Разработал богатый функционал: редактирование рецептов, ингредиентов и оборудования; справочник по диетическим ограничениям; расширенный поиск и фильтрация по многочисленным параметрам; конвертер массы и объема; управление изображениями; автоматическое масштабирование выхода блюд;
• Приложение повысило производительность труда и обеспечило единообразие конечного результата.

Стек:

PHP 7.4+, MySQL, JQuery, Bootstrap.

Архитектура

Приложение следует кастомной архитектуре MVC (Model-View-Controller) с рядом характерных паттернов.

Ключевые компоненты архитектуры

1. Паттерн Front Controller

• Единая точка входа через public/index.php
• Централизованная маршрутизация запросов в src/Router/Router.php
• Все HTTP-запросы обрабатываются через одну точку

2. Контейнер внедрения зависимостей (Dependency Injection)

• Кастомная реализация DI в src/DI/DiResolver.php
• Использование PHP Reflection для автоматического разрешения зависимостей
• Автоматическое внедрение зависимостей в контроллеры и модели

3. Паттерн «Фабрика»

• Активное использование фабрик (например, CategoryListFactory, yieldListFactory)
• Фабрики создают конкретные экземпляры на основе параметров
• Каждая фабрика, как правило, соответствует доменной сущности

4. Паттерн Packer (кастомный построитель шаблонов)

• Собственная реализация, схожая с View / Presenter
• Packer-классы форматируют данные для представления (например, yieldListPacker, CategoryListPacker)
• Отделение форматирования данных от бизнес-логики

5. Шаблонный слой представления

• HTML-шаблоны с переменными-заглушками (например, {RECIPE_TITLE})
• Рендеринг через простую замену строк
• Наследование шаблонов через контейнерные шаблоны

Ключевые паттерны проектирования и подходы

1. Доменно-ориентированная структура

• Организация по бизнес-доменам (Recipe, Dish, Ingredient, Categories и т.д.)
• Каждый домен содержит собственные Model, Controller и вспомогательные классы
• Чёткое разделение ответственности между доменами

2. Паттерн Factory–Packer

• Factory-классы создают и конфигурируют packer-экземпляры
• Packer-классы подготавливают данные для различных форм представления
• Поддержка нескольких форматов вывода (web, печать, сервисы)

3. Кастомный ORM-подход

• Использование библиотеки delight-im/db для работы с БД
• Модели содержат прямые SQL-запросы и специализированные методы
• Логика подключения к БД вынесена в trait DBInstance

4. Ролевая модель доступа

• Интеграция с delight-im/auth для аутентификации
• Роли: Super Admin, Chef, Cook, Service
• Различные UI-сценарии в зависимости от роли пользователя

Ключевые компоненты и их взаимосвязи

Базовая инфраструктура

• Router — сопоставляет URL с контроллерами, управляет доступом и рендерингом
• DI Resolver — автоматически создаёт экземпляры с корректными зависимостями
• Слой БД — поддержка двух типов соединений и Singleton-паттерн

Доменные компоненты

• Models — бизнес-логика, запросы к БД, валидация данных
• Controllers — обработка HTTP-запросов и координация слоёв
• Factories — получение данных и создание packer-объектов
• Packers — форматирование и подготовка данных для вывода

Слой представления

• HTML-шаблоны с поддержкой ролей
• Output Builder для загрузки и компоновки шаблонов

Вспомогательные компоненты

• Helpers — общие утилитарные функции
• Picture — загрузка изображений, генерация миниатюр, удаление

Поток данных

• Обработка запроса — вход через index.php, маршрутизация, DI, вызов action()
• Получение данных — Controller → Factory → Model → Packer
• Формирование ответа — обработка шаблонов и возврат HTML

Ключевые возможности

• Поддержка нескольких баз данных
• Расширенный поиск и фильтрация
• Полноценное управление изображениями
• Ролевой пользовательский интерфейс
• Модульная и переиспользуемая система шаблонов

Данная архитектура обеспечивает чёткое разделение ответственности, сохраняя при этом гибкость, необходимую для сложного кулинарного приложения с несколькими ролями пользователей и обширным управлением данными.

Архитектура

Общая структура

Приложение построено на основе кастомного паттерна MVC (Model-View-Controller) с доменно-ориентированной организацией.

Ключевые архитектурные компоненты

1. Паттерн Front Controller

В качестве фронт-контроллера используется файл index.php, который:

• Загружает зависимости через Composer
• Инициализирует конфигурацию
• Разрешает зависимости через DiResolver
• Маршрутизирует запросы через Router

2. Кастомный роутер

Класс Router отвечает за:

• Разбор URL и маршрутизацию к соответствующим контроллерам
• Проверку аутентификации
• Рендеринг шаблонов
• Внедрение зависимостей в контроллеры

3. Контейнер внедрения зависимостей

Класс DiResolver предоставляет:

• Автоматическое разрешение зависимостей с использованием PHP Reflection
• Внедрение зависимостей через конструктор
• Поддержку как классовых, так и примитивных зависимостей

4. Шаблонный слой представления

Приложение использует простую систему шаблонов:

• Шаблоны содержат плейсхолдеры в фигурных скобках {PLACEHOLDER}
• Класс OutputBuilder загружает шаблоны и подставляет значения
• Контроллеры возвращают массивы данных, которые объединяются с шаблонами

5. Доменно-ориентированная организация

Бизнес-логика разделена по доменным сущностям:

• Attorneys (Адвокаты)
• Lawfirms (Юридические фирмы)
• Lien (Залоги)
• Login (Авторизация)
• Paralegals (Помощники юристов)
• Patients (Пациенты)
• Procedures (Процедуры)
• Users (Пользователи)
• Reports (Отчёты)
• Export (Экспорт)

Каждый домен включает:

• Контроллер (обработка HTTP-запросов)
• Модель (бизнес-логика и доступ к данным)
• Шаблоны (HTML-представления)

Паттерны проектирования и подходы реализации

1. Паттерн Singleton

• Используется для управления подключением к базе данных через trait DBInstance
• Гарантирует единственный экземпляр подключения
• Предоставляет статический доступ к БД

2. Паттерн «Фабрика»

• Реализован в DataTableFactory
• Создаёт соответствующие объекты таблиц данных по типу
• Централизует логику создания объектов

3. Паттерн «Стратегия»

• Используется в реализациях таблиц данных
• Разные классы реализуют интерфейс DataTableInterface
• Позволяет взаимозаменяемые стратегии форматирования данных

4. Паттерн «Шаблонный метод»

• Применяется в базовой структуре контроллеров
• Общие методы: inject(), action(), output()
• Подклассы реализуют специфичное поведение

5. Паттерн Repository (частичная реализация)

• Модели выступают в роли репозиториев доменных сущностей
• Инкапсулируют логику доступа к данным
• Предоставляют доменно-специфичные методы

6. Паттерн Front Controller

• Централизованная обработка запросов через index.php
• Единая инициализация и конфигурация

Ключевые компоненты и их взаимосвязи

Базовая инфраструктура

• Router — центральный диспетчер запросов
• DiResolver — контейнер внедрения зависимостей
• Слой БД — доступ к данным через Delight-im/DB
• Система вывода — рендеринг шаблонов

Доменные компоненты

• Controllers — обработка HTTP-запросов
• Models — бизнес-логика и работа с БД
• Templates — HTML-шаблоны с плейсхолдерами

Аутентификация и авторизация

• Используется библиотека Delight-im/Auth
• Ролевой доступ (SUPER_ADMIN, MANAGER)
• Управление сессиями и паролями

Поток данных

                  index.php → Router → DiResolver → Controller → Model → Database
                  

                  Controller → OutputBuilder → Template + Data → Output → Browser
                  

                  Model → DBInstance → Delight-im/DB → MySQL
                  

Интересные особенности

• Гибкая шаблонная система
• Ролевой контроль доступа
• AJAX-таблицы данных
• Валидация форм на сервере и клиенте
• Автоматическое внедрение зависимостей
• Централизованное управление конфигурацией

Технологический стек

Backend

• PHP 7+
• MySQL
• Delight-im/DB
• Delight-im/Auth
• PHPMailer
• vlucas/phpdotenv

Frontend

• Bootstrap 4
• jQuery
• DataTables
• jQuery UI
• jQuery Validation
• Font Awesome, Material Icons

Безопасность

• Проверенная библиотека аутентификации
• Ролевой доступ
• Санация входных данных
• Защита от SQL-инъекций
• XSS-защита через шаблоны
• CSRF-защита явно не реализована

Масштабируемость

• PDO и подготовленные запросы
• Отсутствие кэширования
• Стандартные PHP-сессии
• Нет встроенного балансирования нагрузки

Поддерживаемость

• Доменно-ориентированная структура
• Слабая связанность компонентов
• Разделение логики и представления
• Конфигурация по окружениям
• Централизованная обработка ошибок

Цель:

Высокопроизводительное веб-приложение, предназначенное для парсинга результатов поиска Google с целью определения позиций заданных доменов в поисковой выдаче по ключевым словам.

Результаты:

• Применил многопоточное скачивание cURL-multi, ротацию 100+ user-agent’ов и прокси-пул — в сумме это дало сокращение wall-time на 85%.
• Разработал DOM-XPath-движок для парсинга HTML без regex, что повысило надежность.
• Применил построчную обработку CSV фалов с ключевыми словами в реальном времени с асинхронным запуском парсинга через AJAX, что дало возможность запускать и останавливать процесс без потери данных.
• Пирложение обеспечило эффективный, автоматизирпованный SEO-аудит для компании.

Стек:

PHP 7+, MySQL/MariaDB.

Архитектура

1. Точка входа и маршрутизация

• index.php: основная точка входа, инициализирующая приложение
• controller_router.php: обрабатывает маршрутизацию на основе параметров URI
• Используется паттерн Front Controller и чистые URL через .htaccess

2. Основные модели

• ModelMysql: слой абстракции базы данных на основе PDO
• ModelDatabase: CRUD-операции для спарсенных данных
• ModelSeQuery: обработка поисковых запросов Google с ротацией User-Agent
• ModelPageParser: парсинг HTML с использованием XPath
• ModelFileHandler: загрузка и обработка CSV-файлов
• ModelWrapper: шаблонизатор для рендеринга HTML

3. Контроллеры

• ControllerScraper: основная логика и workflow парсинга
• ControllerFetch: получение данных и форматирование вывода
• ControllerCsv: экспорт данных в CSV

Шаблоны проектирования и подходы к реализации

1. Front Controller

Приложение использует единую точку входа (index.php), а контроллер-роутер перенаправляет запросы на соответствующие обработчики в зависимости от сегментов URI.

2. Model-View-Controller (MVC)

• Модели: бизнес-логика (БД, файлы, веб-парсинг)
• Представления: HTML-шаблоны с подстановкой значений
• Контроллеры: связывают модели и представления

3. Data Mapper

Класс ModelMysql отделяет логику работы с базой данных от бизнес-логики приложения.

4. Template View

HTML-шаблоны используют простые плейсхолдеры вида {PLACEHOLDER}, которые заменяются реальными данными через ModelWrapper.

5. Внедрение зависимостей

Контроллеры получают зависимости (подключение к БД, шаблонизатор) через конструктор, что упрощает тестирование и расширение.

Ключевые возможности и техники реализации

1. Возможности веб-парсинга

• Использование cURL для запросов к Google
• Ротация User-Agent для снижения вероятности блокировки
• Парсинг HTML через DOMXPath
• Поддержка пагинации (до 50 результатов на запрос)

2. Механизмы обхода детекта

• Более 200 User-Agent строк браузеров
• Случайные задержки между запросами (1–3 секунды)
• Поддержка прокси (настроена, но по умолчанию отключена)

3. Обработка данных

• Работа с CSV-файлами (ключевые слова и домены)
• Построчная обработка файлов в реальном времени
• Сопоставление ключевых слов с доменами и расчёт позиций
• Определение продуктовых страниц по URL

4. Архитектура базы данных

• Две таблицы (keywords и urls) со связью по внешнему ключу
• Полнотекстовые индексы для быстрого поиска
• Транзакционные вставки для целостности данных

5. Пользовательский интерфейс

• AJAX-интерфейс парсера с обновлением в реальном времени
• Автодополнение поиска с категоризацией
• Пагинация для больших наборов данных
• Экспорт результатов в CSV
• Адаптивный дизайн на Bootstrap

6. Обработка ошибок

• Полноценная система исключений
• Сообщения об ошибках на основе сессий
• Корректная работа при отсутствии файлов или данных

7. Управление файлами

• Автоматическое удаление пустых файлов
• Безопасная загрузка файлов
• Механизмы блокировки файлов при конкурентной обработке

Технические детали реализации

Безопасность

• Валидация и очистка входных данных через PHP-фильтры
• Подготовленные SQL-запросы
• Проверка файлов при загрузке и безопасные пути
• Сессионные сообщения для предотвращения XSS

Оптимизация производительности

• Эффективные SQL-запросы и индексация
• Экономное использование памяти (построчная обработка файлов)
• AJAX для предотвращения долгих запросов
• Кэширование шаблонов

Масштабируемость

• Модульная архитектура
• Гибкая конфигурация подключения к БД
• Разделение ответственности упрощает параллельную разработку
• Почти полностью stateless-дизайн (кроме сессий)

Уникальные подходы реализации

• Обработка файлов в реальном времени: CSV-файлы обрабатываются построчно, а обработанные ключевые слова удаляются, предотвращая дубли
• Динамическая система шаблонов: простая подстановка плейсхолдеров вместо тяжёлых шаблонизаторов
• Интеллектуальное сопоставление URL: использование регулярных выражений с поддержкой wildcard-путей
• Асинхронная обработка: AJAX позволяет запускать и останавливать парсинг без перезагрузки страницы
• Гибкая система SQL-запросов: запросы хранятся во внешних файлах и динамически модифицируются

Заключение

Данное приложение — это структурированный и поддерживаемый подход к веб-парсингу с использованием PHP. Разделение ответственности, продуманная архитектура и надёжная обработка ошибок.

Архитектура

Frontend

• Vanilla JavaScript (app.js): основной файл приложения, без фреймворков.
• HTML5 (index.html): семантическая разметка, поддержка PWA.
• CSS3 (styles.css): кастомные свойства, адаптивность.
• Многоязычность (translations.js): поддержка 4 языков, динамическая локализация.
• PWA (manifest.json, service-worker.js): офлайн-режим, установка на устройство, пуш-уведомления.

Backend (Supabase)

• Аутентификация: Supabase Auth, email + пароль, поддержка восстановления пароля.
• База данных: PostgreSQL, таблицы diary_entries, polls, users, push_subscriptions.
• Storage: Supabase Storage для изображений.
• Функции: серверные функции (functions), например, удаление аккаунта, обработка уведомлений.
• Реалтайм: канал для синхронизации данных между пользователями.

API-интеграции

• AI: интеграция с внешним AI API (ai-reply.js, ai-insert.js, ai-vote.js), генерация ответов и голосование.

Подходы и методы реализации

Класс DiaryApp

• Инкапсулирует всю логику приложения, хранит состояние, методы для работы с UI, данными и событиями.
• Использует отдельные менеджеры для модальных окон и лайков/дизлайков (ModalManager, LikeDislikeManager).

Работа с DOM

• Используется фабрика DOM-элементов для создания записей и опросов без innerHTML (createEntryElement, createPollElement).
• Кэширование ссылок на элементы для ускорения работы.

Многоязычность

• Переводы хранятся в объекте, динамически подставляются через метод t(key).
• Автоматическое определение языка браузера.

Пуш-уведомления

• Подписка и отписка, баннер для включения уведомлений.
• Хранение состояния в localStorage.
• Используется VAPID-ключ (config.js).

Работа с изображениями

• Адаптивное сжатие изображений перед загрузкой.
• Хранение изображений в Supabase Storage.
• Поддержка шаринга изображений через Web Share API.

Опросы

• Многоуровневая структура: polls, poll_options, votes.
• Создание, голосование и отображение результатов в реальном времени.
• Проверка истечения срока действия опроса.

AI-интеграция

• Генерация записей и ответов с помощью внешнего AI.
• Выбор AI-пользователя и настройка длины ответа.
• Голосование AI в опросах.

Навигация

• Календарь с визуальными индикаторами записей.
• Свайпы и колесо мыши для навигации по месяцам.
• Быстрый переход к дате и поиск по записям.

Управление аккаунтом

• Смена имени пользователя.
• Удаление всех записей и изображений.
• Полное удаление аккаунта.

Используемые паттерны

• Модульность: отдельные классы и серверные файлы Supabase.
• Фабрика DOM-элементов: безопасное создание элементов без innerHTML.
• Observer: синхронизация пользователей через BroadcastChannel.
• Debounce: оптимизация обработки событий ввода.
• Кэширование: кэш данных месяца для ускорения запросов.

Интересные и полезные особенности

• PWA: офлайн-режим, установка, нативные уведомления.
• Многоязычность: 4 языка, динамическое обновление интерфейса.
• AI-генерация: создание записей и голосование в опросах с помощью AI.
• Безопасность: строгие проверки, RLS-политики в базе.
• UX: свайпы, визуальный календарь, быстрый переход к дате, уведомления.
• Шаринг: нативный шаринг записей и изображений.
• Адаптивность: мобильный и десктопный режимы, автоопределение устройства.

Основные компоненты архитектуры

• Однофайловая архитектура: весь HTML, CSS и JavaScript находятся в одном файле index.html для максимальной портативности.
• PWA-архитектура: использование manifest.json и service-worker.js для работы в офлайн-режиме.
• Хранение данных на стороне клиента: использование IndexedDB для постоянного локального хранения данных.
• Структура, похожая на MVC: разделение ответственности между моделью данных, UI-рендерингом и обработкой событий.

Ключевые архитектурные паттерны

• Module Pattern: класс DiaryApp инкапсулирует всю функциональность с приватными методами.
• Событийно-ориентированная архитектура: активное использование обработчиков событий для взаимодействия с UI.
• Связывание данных (Data Binding): прямое управление DOM-элементами на основе состояния данных.
• Прогрессивное улучшение (Progressive Enhancement): базовая функциональность работает без внешних зависимостей.

Подходы и методы реализации

Основные стратегии реализации

• Подход Vanilla JavaScript: отсутствие фреймворков, чистый ES6+ с async/await.
• Прогрессивное улучшение: graceful degradation для старых браузеров.
• Оптимизация производительности: "ленивая" загрузка, debounce и кэширование.
• Адаптивный дизайн: mobile-first CSS с media queries.
• Offline-first подход: использование service worker для офлайн-функциональности.

Ключевые технические методы

• Операции IndexedDB: кастомные методы-обёртки для транзакций базы данных.
• Делегирование событий: эффективная обработка динамических UI-элементов.
• Кэширование DOM: хранение ссылок на элементы для повышения производительности.
• Поиск с debounce: оптимизированный поиск с задержкой 300 мс.
• Автосохранение: задержка 500 мс для сохранения в реальном времени.
• Обработка изображений: изменение размера и сжатие на стороне клиента.
• Intersection Observer: ленивая загрузка миниатюр изображений.

Паттерны проектирования и техники

Выявленные паттерны

• Singleton: класс DiaryApp как единственный экземпляр.
• Observer: обработчики событий для взаимодействия с UI.
• Factory: динамическое создание элементов записей и изображений.
• Facade: упрощённая работа с IndexedDB через методы-обёртки.
• Управление состоянием: централизованный объект entries, управляющий состоянием приложения.
• Command: действия меню обрабатываются через централизованные методы.

Техники реализации

• CSS Custom Properties: управление темами через CSS-переменные.
• CSS Grid / Flexbox: современные техники верстки.
• Обработка жестов: свайпы для навигации по календарю.
• Управление модальными окнами: кастомная реализация с корректной обработкой событий.
• Интернационализация: система переводов с автоопределением языка.
• Экспорт / импорт: сериализация данных в формате JSON.

Интересные возможности и функции

Основные функции

• Ориентация на приватность: 100% локальное хранение данных без передачи на сервер.
• Многоязычность: поддержка 4 языков с автоматическим определением.
• Переключение темы: светлый/тёмный режим с учётом системных настроек.
• Продвинутый поиск: на базе библиотеки MiniSearch с нечётким поиском.
• Поддержка изображений: интеграция камеры, сжатие и управление.
• Автосохранение: сохранение в реальном времени с возможностью отмены.
• Экспорт / импорт: полное резервное копирование и выборочный перенос данных.
• Адаптивный дизайн: оптимизация для мобильных устройств, планшетов и десктопов.
• PWA-возможности: офлайн-доступ и установка на главный экран.
• Горячие клавиши: Ctrl+Enter для быстрого сохранения.

Технические особенности

• Эффективное хранение: IndexedDB со структурированными хранилищами объектов.
• Умная обработка изображений: автоматическое изменение размера до 1920px с лимитом 15 МБ.
• Поддержка жестов: свайпы и действия по долгому нажатию.
• Нативная интеграция: Web Share API для удобного шаринга.
• Доступность: поддержка навигации с клавиатуры и экранных читалок.
• Оптимизация производительности: lazy loading, debounce и кэширование.
• Предотвращение ошибок: диалоги подтверждения для опасных действий.
• Кроссплатформенность: работа во всех современных браузерах и устройствах.

Уникальные детали реализации

• Однофайловая архитектура: всё приложение в одном HTML-файле для максимальной портативности.
• Защита от будущих дат: предотвращение создания записей на будущие даты.
• Индикаторы записей: визуальные точки в календаре для дней с записями.
• Контекстные меню: действия по правому клику (desktop) и долгому нажатию (mobile).
• Модальная система: собственная реализация с корректным закрытием.
• Toast-уведомления: ненавязчивая система обратной связи.
• Экспорт по месяцам: кнопка в календаре для выборочного резервного копирования.

Данное приложение демонстрирует уровень инженерной проработки с акцентом на приватность пользователей, производительность и кроссплатформенную совместимость, при этом сохраняя чистую и поддерживаемую кодовую базу.

Основные архитектурные компоненты

• MVC-подобный паттерн:
  • Модели: бизнес-логика и доступ к данным (src/Domain/*)
  • Представления: HTML-шаблоны с подстановкой плейсхолдеров (templates/)
  • Контроллеры: обработка HTTP-запросов и координация между моделями и представлениями (src/Domain/*/Controller.php)
• Domain-Driven Design (DDD):
  • Чёткие границы доменов: Queue, Users, Statistics, Login, Register
  • Каждый домен содержит собственные контроллеры, модели и специализированные компоненты
• Контейнер внедрения зависимостей:
  • Кастомная реализация DI в src/DI/DiResolver.php
  • Автоматическое разрешение зависимостей с использованием PHP Reflection
  • Инъекция зависимостей через конструктор
• Сервисный слой:
  • Бизнес-логика инкапсулирована в моделях
  • Специализированные процессоры: QueueProcessor, BinderProcessor, AutocompleteProcessor
  • Фабрики для создания объектов: QueueFactory, BinderFactory, AutocompleteFactory

Ключевые паттерны и подходы к реализации

1. Паттерн Front Controller

• Единая точка входа через index.php
• Централизованная маршрутизация (src/Router/Router.php)
• Определение контроллеров по URL с учётом ролей пользователей

2. Шаблонный рендеринг

• Простой шаблонизатор на основе подстановки плейсхолдеров
• Конфигурация плейсхолдеров через templates/config/config.php
• Наследование шаблонов через композицию компонентов

3. Factory Pattern

• QueueFactory — создание обработчиков очередей
• BinderFactory — создание биндеров данных
• AutocompleteFactory — создание автодополнений

4. Strategy Pattern

• QueueInterface — операции с очередями
• BinderInterface — привязка данных
• UploadInterface — обработка загрузок
• AutocompleteInterface — автодополнение

5. Repository Pattern

• Инкапсуляция доступа к данным в моделях
• Абстракция БД через библиотеку delight-im/db
• Кастомные методы запросов в моделях

6. Ролевой контроль доступа (RBAC)

• Интеграция с библиотекой delight-im/auth
• Роли определены в конфигурации
• Защита маршрутов на основе ролей

Заметные особенности и детали реализации

1. Управление рабочими процессами

• Многоэтапный workflow обработки книг (11 стадий очереди)
• Назначение исполнителей с автоматической балансировкой нагрузки
• Управление путями файлов в зависимости от стадии обработки

2. Привязка данных и отображение

• Кастомная система биндинга данных (HTML / JSON)
• Поддержка AJAX для динамической загрузки контента
• Система статистики и отчётов

3. Управление пользователями

• Регистрация и аутентификация
• Ролевая модель доступа
• Назначение и управление исполнителями
• Учёт ставок оплаты

4. Управление файлами

• Организация файлов по этапам workflow
• Генерация путей в зависимости от ролей
• Переназначение файлов между исполнителями

5. Обработка ошибок и валидация

• Валидация форм через jQuery Validate
• Кастомная обработка ошибок аутентификации
• Обнаружение и обработка дубликатов

6. Безопасность

• Управление сессиями и проверка токенов
• Хеширование и управление паролями
• Санитизация входных данных
• CSRF-защита через валидацию форм

Техническая архитектура

Ключевые компоненты

• Router: src/Router/Router.php
• DI-контейнер: src/DI/DiResolver.php
• База данных: src/DB/DBInstance.php (Singleton, PDO)
• Система вывода: src/Output/OutputBuilder.php
• Аутентификация: delight-im/auth

Доменные модули

• Управление очередями
• Управление пользователями
• Статистика и аналитика
• Профили пользователей
• Логин и регистрация

Поток данных

• HTTP-запрос → Router → Controller
• Controller → Model (бизнес-логика)
• Model → Database
• Controller → Output Builder → Template
• Ответ → Клиент

Ключевые принципы проектирования

• Разделение ответственности
• Единая ответственность класса
• Интерфейсная сегрегация
• Инверсия зависимостей
• Open/Closed Principle

Используемые технологии

Backend

• PHP 7.4+
• Composer
• delight-im/auth
• delight-im/db
• PHPMailer

Frontend

• Bootstrap 4
• jQuery
• jQuery Validate
• DataTables
• Font Awesome

База данных

• MySQL / MariaDB
• PDO

Масштабируемость и поддерживаемость

• Модульная архитектура
• Контракты на основе интерфейсов
• Конфигурационный подход
• Шаблонная система
• Factory-паттерны
• Dependency Injection

Данная архитектура обеспечивает надёжную основу для управления сложными рабочими процессами, сохраняя чистое разделение ответственности, расширяемость и удобство поддержки системы.

Архитектура и паттерны проектирования

1. MVC-архитектура

• Модели: операции с БД (DbModel, MysqlModel) и бизнес-логика (WrapperModel)
• Представления: HTML-шаблоны с подстановкой плейсхолдеров (application/views/templates/)
• Контроллеры: маршрутизация и бизнес-логика (Router, NamesController, UploadVideoController)

2. Шаблонный рендеринг

• Кастомный шаблонизатор с плейсхолдерами ({name}, {CONTENT})
• Класс WrapperModel выполняет подстановку значений
• Разделение layout-компонентов (header, content, footer)

3. Маршрутизация

• Кастомный роутер (Router.php)
• Маршрутизация на основе URI через switch
• Привязка шаблонов к состояниям приложения

Техники реализации

1. Работа с базой данных

• PDO и подготовленные выражения
• Конфигурационное управление подключениями
• SQL-шаблоны в отдельных файлах
• Кастомный слой абстракции БД

2. Безопасность

• Санитизация данных через класс Sanitizer
• Сессионное управление временными файлами
• Валидация форм через jQuery Validate
• Маски ввода пользовательских данных

3. Работа с файлами

• Управление временными файлами с привязкой к сессии
• Корректная обработка загрузок
• Переименование файлов на основе пользовательского ввода
• Контроль прав доступа к директориям

4. Клиентская логика

• RecordRTC.js для записи видео
• jQuery для DOM и AJAX
• Bootstrap для адаптивного интерфейса
• Кастомный JavaScript для управления процессом записи

Ключевые функции и характеристики

1. Обработка видео

• Запись видео в браузере без плагинов
• Автоматическое управление временными файлами
• Переименование файлов на основе ввода пользователя
• Автоматическая очистка временных файлов

2. Пользовательский опыт

• Пошаговый сценарий работы
• Адаптивный интерфейс
• Предпросмотр камеры в реальном времени
• Автоматическое ограничение записи (10 секунд)

3. Технические характеристики

• Минимальное количество зависимостей
• Кроссплатформенность за счёт веб-стандартов
• Простая структура БД (одна таблица)
• Управление состоянием через сессии

4. Особенности разработки

• Чёткая MVC-структура
• Разделение конфигурации и логики
• Переиспользуемые компоненты
• Документирование кода через PHPDoc

Используемые паттерны и подходы

• Frontend: шаблонный рендеринг, AJAX, событийная модель
• Backend: MVC, внедрение зависимостей, разделение ответственности
• База данных: DAO, шаблоны запросов, Repository
• Безопасность: санитизация, сессии, prepared statements

Интересные и полезные особенности

• Запись видео без сторонних плагинов
• Автоматический контроль длительности записи
• Многошаговый рабочий процесс с наглядной последовательностью действий
• Модульный шаблонный UI
• Адаптивный дизайн
• Удобная обработка ошибок и сообщений
• Кастомный CSS-фреймворк с расширенной стилизацией