Памятка
Прежде чем применять настройки - внимательно читаем. От этого зависит работоспособность системы
Краткое описание модуля
1. Что это такое и зачем это нужно
Unisorm — это модуль, который собирает данные об абонентах и формирует файлы выгрузки для СОРМ.
Раньше сбор запускал демон billd: он по очереди запускал части сбора, и на крупной базе (десятки тысяч абонентов) цикл занимал много минут, потому что работа шла в один поток.
Теперь Unisorm можно поставить отдельным системным сервисом (unisorm.service).
Он работает постоянно и сам выполняет всю работу:
- собирает данные (абоненты, адреса, идентификация, платежи);
- готовит файлы выгрузки;
- отправляет файлы на FTP/SFTP по расписанию;
- выполняет аварийные команды из веб-интерфейса.
Главное отличие от billd — сбор распараллеливается: несколько частей работы выполняются одновременно, поэтому цикл заканчивается быстрее, а процессор используется равномернее.
ВАЖНО: сервис и billd не должны собирать данные одновременно — иначе они мешают друг другу. Поэтому есть переключатель «Режим системного сервиса» (параметр UNISORM_SYSTEMD_MODE):
- собирает сервис, billd сбор не запускает;
- сервис ничего не делает (простаивает), собирает billd.
2. Как работает сервис (один цикл по шагам)
Сервис работает циклами. Один цикл выглядит так:
ШАГ 1. Сбор данных.
Четыре части сбора запускаются одновременно:
- абоненты;
- адреса;
- идентификация;
- платежи.
Каждая часть может быть разбита на несколько кусков (диапазонов), и каждый кусок обрабатывается отдельной копией программы. Общее число копий задаётся параметром «Всего процессов сбора».
ШАГ 2. Ожидание.
Сервис ждёт, пока все четыре части закончат работу. Пока ждёт, раз в 30 секунд в журнал пишется строка HEARTBEAT — что ещё работает и сколько времени это занимает.
ШАГ 3. Сборка Yakhont.
Когда все части закончили, собирается Yakhont. Эта работа тоже может выполняться несколькими копиями одновременно — число задаётся параметром «Сколько копий собирают Yakhont».
ШАГ 4. Подготовка файлов.
Один процесс собирает сервисы, словари, экспорт платежей и сами файлы выгрузки. Если в этот момент наступило время отправки по расписанию — файлы уходят на FTP/SFTP.
ШАГ 5. Пауза.
Сервис отдыхает заданное число секунд («Пауза между циклами»). В это время процессор свободен. Затем всё начинается заново.
Особенности, которые полезно знать:
- Во время паузы сервис продолжает проверять аварийные команды и расписание отправки файлов — они срабатывают сразу, не дожидаясь конца паузы.
- Изменения настроек в веб-интерфейсе применяются автоматически: сервис сам перезапускается и перечитывает параметры.
- При обновлении файлов кода сервис тоже перезапускается сам.
- Если какая-то копия неожиданно упала, сервис поднимает её заново.
- Если цикл длится дольше разрешённого времени («Таймаут прогона»), сервис прерывает его и начинает заново — защита от зависаний.
3. Из чего состоит сервис (файлы на диске)
/etc/systemd/system/unisorm.service
<каталог установки>/misc/unisorm/unisorm_runner.pl
<каталог установки>/misc/unisorm/install_unisorm_service.sh
<каталог установки>/ACP/mysql/Sorm/Unisorm/Core.pm
<каталог установки>/var/log/sorm/unisorm.log
4. Установка и включение
1) Запустить установщик от root:
sudo bash <каталог установки>/misc/unisorm/install_unisorm_service.sh
Если каталог установки нестандартный, его можно указать явно:
sudo bash .../install_unisorm_service.sh /путь/к/биллингу
2) Установщик сам:
- копирует программу-управляющий;
- создаёт и запускает сервис unisorm;
- прописывает в базу параметры, если их ещё нет (уже настроенные значения не перезаписываются);
- перезапускает billd, чтобы тот перестал запускать сбор.
3) Проверить, что сервис работает:
systemctl status unisorm journalctl -u unisorm -f
Повторный запуск установщика безопасен: он не ломает уже сделанные настройки.
5. Где настраивать параметры
Веб-интерфейс биллинга → модуль Unisorm → вкладка «Системный сервис Unisorm (systemd)».
На вкладке две группы:
- основные настройки сервиса (режим, пауза, таймаут, расписание, лог);
- «Многопоточность» — сколько копий работает одновременно.
У каждого поля есть подсказка, а внизу вкладки — расшифровка параметров (блок «Описание параметров»).
Изменения применяются автоматически: сервис перезапускается и читает новые значения. Вручную перезапускать ничего не нужно.
6. Все параметры по порядку
6.1. Режим системного сервиса (UNISORM_SYSTEMD_MODE)
Что делает: включает или выключает работу сервиса.
- включено (1) — сервис собирает данные, готовит и отправляет файлы, выполняет аварийные команды. billd сбор не запускает.
- выключено (0) — сервис простаивает, ничего не делает. Сбор выполняет billd по своим настройкам.
По умолчанию: включено (устанавливает установщик).
Когда менять: только если нужно временно вернуться к сбору через billd.
6.2. Пауза между циклами (UNISORM_SYSTEMD_INTERVAL)
Что делает: сколько секунд сервис отдыхает после окончания цикла, прежде чем начать следующий.
По умолчанию: 15 секунд.
Значение 0: паузы нет — сервис работает непрерывно (высокая нагрузка на CPU).
Рекомендации:
- 300 секунд (5 минут) — спокойный режим, подходит для больших баз;
- 60–120 секунд — обычный режим;
- 0 — только если нужна максимально быстрая реакция на изменения.
Что важно: во время паузы сервис всё равно проверяет аварийные команды и расписание отправки файлов. Изменения данных, сделанные во время паузы, будут замечены на следующем цикле — задержка не больше значения паузы.
6.3. Таймаут прогона (UNISORM_SYSTEMD_TIMEOUT)
Что делает: максимальное время одного полного прохода (сбор + подготовка файлов). Если проход не уложился, сервис его прерывает и запускает заново.
По умолчанию: 7200 секунд (2 часа).
Минимум: 60 секунд (меньшее значение поднимается до 60).
Значение 0: без ограничения (не рекомендуется).
Когда увеличивать: если на очень большой базе первый сбор законно идёт дольше двух часов.
Когда уменьшать: не нужно, если нет проблем. Слишком маленькое значение будет постоянно прерывать нормальную работу.
Что видно в журнале при срабатывании:
CYCLE TIMEOUT: round exceeded UNISORM_SYSTEMD_TIMEOUT=...
6.4. Расписание выгрузки файлов (UNISORM_SYSTEMD_SEND_FTP_CRON)
Что делает: по какому расписанию отправлять подготовленные файлы на FTP/SFTP.
Формат: обычная cron-запись из 5 полей (минута час день месяц день_недели) или из 6 полей (первое поле — секунды).
Примеры:
*/10 * * * * — каждые 10 минут; 0 3 * * * — каждый день в 03:00; 0 */2 * * * — каждые 2 часа; 0 0 3 * * * — каждый день в 03:00:00 (6 полей).
Пустое поле: отправка по расписанию выключена.
Важно: отправка запускается только когда не идёт подготовка файлов, чтобы не отправить недописанный файл.
Пропущенный слот: если в момент расписания сервис был занят (шла финальная фаза или аварийная команда), отправка выполняется сразу после того, как сервис освободился, — слот не теряется. Если отправка завершилась ошибкой, она повторяется через 60 секунд.
6.5. Всего процессов сбора (UNISORM_THREADS)
Что делает: сколько копий программы одновременно собирают данные.
По умолчанию: 0 — автоматически.
Автоматически = по одной копии на каждое ядро процессора, но не меньше 4 (по одной на каждую часть сбора: абоненты, адреса, идентификация, платежи).
Максимум: 64.
Как это работает:
- общее число копий распределяется между четырьмя частями сбора;
- частям, которые работают дольше (обычно платежи и адреса), достаётся больше копий, коротким — меньше;
- на сколько кусков максимум можно разбить одну часть, ограничивает параметр «Максимум частей у одной работы».
Рекомендация: оставить 0. Ставить больше, чем ядер, бессмысленно — быстрее не станет, копии начнут мешать друг другу.
Когда менять: если нужно снизить нагрузку на сервер — поставить, например, 4.
6.6. Сколько копий собирает СОРМ (UNISORM_FINAL_THREADS)
Что делает: сколько копий одновременно собирают Yakhont в самом конце цикла.
По умолчанию: 0 — автоматически (по числу ядер процессора).
Максимум: 16.
Рекомендация: оставить 0. На больших базах именно этот параметр даёт наибольшее ускорение (сборка Yakhont распараллеливается).
6.7. Максимум частей у одного воркера (UNISORM_MAX_SHARDS)
Что делает: верхняя граница того, на сколько кусков можно разбить одну часть сбора.
По умолчанию: 16.
Допустимо: от 1 до 64.
Как это работает: сервис распределяет копии между четырьмя частями сбора; это поле не даёт разбить одну часть на слишком много мелких кусков.
Рекомендация: оставить 16. Менять только если понимаете зачем:
- слишком большое значение — много совсем маленьких копий, время уходит на их запуск и подключение к базе;
- слишком маленькое — не получится занять все ядра.
Когда менять: обычно не нужно.
6.8. Если абонентов меньше этого числа (UNISORM_SHARD_MIN_ROWS)
Что делает: защита от дробления на маленьких базах. Если абонентов меньше указанного числа, сбор идёт одной копией (без деления на куски).
По умолчанию: 1000.
Значение 0: делить всегда.
Зачем: на маленькой базе время на запуск копий и подключение к базе больше, чем выигрыш от распараллеливания.
Когда менять: обычно не нужно. На крупной базе (десятки тысяч абонентов) порог всегда превышен, и параметр ни на что не влияет.
6.9. Логирование действий юнита в файл (UNISORM_LOG_ENABLE)
Что делает: дополнительно пишет действия сервиса в файл
<каталог установки>/var/log/sorm/unisorm.log.
По умолчанию: выключено.
Зачем: чтобы разобрать ошибку постфактум, когда журнал systemd уже прокрутился.
6.10. Устаревший параметр (UNISORM_SYSTEMD_WORKERS)
Больше не используется. Раньше задавал число воркеров. Сейчас число копий определяется параметром «Всего процессов сбора». Установщик удаляет этот параметр, если он остался от старых версий.
6.11. Параметры, которые в режиме сервиса не используются
Это настройки режима billd (они на других вкладках):
BILLD_UNISORM_AUTOSTART_INTERVAL — как часто billd запускает сбор;
UNISORM_LOCK_WAIT_TIMEOUT — сколько ждать освобождения блокировки.
При включённом «Режиме системного сервиса» они не применяются, потому что сбор ведёт сервис. Не путайтесь: их значения могут быть любыми.
7. Готовые варианты настроек
ВАРИАНТ A. Небольшая база (до 5 000 абонентов, 1–2 ядра)
Режим системного сервиса ....... включён Пауза между циклами ............ 300 Таймаут прогона ................ 7200 Всего процессов сбора .......... 0 (авто → 4) Сколько копий собирают Yakhont . 0 Максимум частей у одной работы . 8 Если абонентов меньше .......... 1000
ВАРИАНТ B. Средняя база (10 000–50 000 абонентов, 4–8 ядер)
Режим системного сервиса ....... включён Пауза между циклами ............ 60–300 Таймаут прогона ................ 7200 Всего процессов сбора .......... 0 (авто → по числу ядер) Сколько копий собирают Yakhont . 0 Максимум частей у одной работы . 16 Если абонентов меньше .......... 1000
ВАРИАНТ C. Крупная база (50 000+ абонентов, 8+ ядер)
Режим системного сервиса ....... включён Пауза между циклами ............ 60–120 Таймаут прогона ................ 10800 (3 часа, если первый сбор долгий) Всего процессов сбора .......... 0 (авто → по числу ядер) Сколько копий собирают Yakhont . 0 (авто → по числу ядер, максимум 16) Максимум частей у одной работы . 32 Если абонентов меньше .......... 1000
ВАРИАНТ D. Максимальная скорость (нужна быстрая реакция на изменения)
Режим системного сервиса ....... включён Пауза между циклами ............ 0 Таймаут прогона ................ 7200 Всего процессов сбора .......... 0 Сколько копий собирают Yakhont . 0 Максимум частей у одной работы . 16 Если абонентов меньше .......... 0 Внимание: процессор будет загружен практически постоянно.
ВАРИАНТ E. Экономия ресурсов сервера
Режим системного сервиса ....... включён Пауза между циклами ............ 900 (15 минут) Таймаут прогона ................ 7200 Всего процессов сбора .......... 4 Сколько копий собирают Yakhont . 4 Максимум частей у одной работы . 8 Если абонентов меньше .......... 1000
ВАРИАНТ F. Полностью отключить сервис (сбор через billd)
Режим системного сервиса ....... выключен Остальные параметры не важны — сервис простаивает.
8. Что видно в журнале (Диагностика)
Основные команды:
systemctl status unisorm — работает ли сервис; journalctl -u unisorm -f — смотреть в реальном времени; journalctl -u unisorm -n 100 — последние 100 строк.
Полезные строки:
Unisorm runner started: mode=loop workers=4 prefix=/usr/acp
Сервис запущен, прочитал настройки.
===== CYCLE: all tasks done, changed=0 =====
Все части сбора закончили работу. changed — сколько записей изменилось.
HEARTBEAT: waiting tasks: payments#1 (running 245s); done: abonent#1, ...
Сервис ждёт указанную работу; в скобках — сколько она уже выполняется. Это не ошибка, а информация.
===== FINAL START (parallel Yakhont: 6 shards, changed=0) =====
Началась сборка Yakhont, разбитая на 6 частей.
===== FINAL STAGE 2: services / payments / files =====
Сборка Yakhont закончена, готовятся файлы.
===== FINAL DONE OK =====
Цикл полностью завершён.
===== PAUSE 300s before next round =====
Сервис отдыхает 300 секунд — это нормальное состояние.
UNISORM_SYSTEMD_MODE is off — service goes IDLE (billd handles collection)
Сервис выключен переключателем и простаивает.
CYCLE TIMEOUT: round exceeded UNISORM_SYSTEMD_TIMEOUT=...
Цикл не уложился в таймаут, сервис перезапускается. Проверьте нагрузку и при необходимости увеличьте таймаут.
worker '...' died by signal ... — restarting
Копия упала, сервис её поднял. Если повторяется часто — смотрите причину выше в журнале.
Проверка параметров в базе (для администратора):
SELECT param, value FROM config WHERE param LIKE 'UNISORM%' AND domain_id = 0 ORDER BY param;
9. Типовые ситуации и что делать
1) Сервис активен, но в журнале тишина и данные не собираются.
Причина: выключен «Режим системного сервиса».
Что делать: включить его. Если нужно, чтобы собирал billd — так и должно быть, это нормально.
2) В журнале только «PAUSE ... before next round».
Это норма: сервис ждёт окончания паузы. Уменьшите паузу, если нужно быстрее.
3) HEARTBEAT показывает одну и ту же работу очень долго.
Причина: долгая часть сбора или тяжёлый запрос к базе.
Что делать: проверить нагрузку на базу; если это повторяется, уменьшить число копий или увеличить паузу. Если цикл превысит таймаут, сервис перезапустится сам.
4) Срабатывает CYCLE TIMEOUT.
Причина: цикл не укладывается в отведённое время.
Что делать: увеличить «Таймаут прогона» или уменьшить «Всего процессов сбора»/«Максимум частей», если база перегружена.
5) Файлы готовятся, но не уходят на FTP.
Причина: пустое «Расписание выгрузки файлов» или не настроена передача (сервер, логин, пароль).
Что делать: заполнить расписание и проверить настройки передачи.
Помните: отправка идёт только когда не готовятся новые файлы.
6) Сервис перезапускается по кругу.
Причина: ошибка в настройке или в коде (смотрите строки перед перезапуском).
Что делать: прочитать journalctl -u unisorm -n 200, устранить причину.
Аварийный выход — выключить «Режим системного сервиса»: сбор продолжит billd.
7) Нужно временно остановить сбор.
Вариант 1: выключить «Режим системного сервиса» — сервис встанет, сбор пойдёт через billd.
Вариант 2: systemctl stop unisorm — сервис остановится полностью, но при следующей загрузке запустится снова (если включён автозапуск).
10. Как вернуться на старый режим (сбор через billd)
Полный откат:
systemctl disable --now unisorm rm /etc/systemd/system/unisorm.service systemctl daemon-reload В базе данных UPDATE config SET value='0' WHERE param='UNISORM_SYSTEMD_MODE' AND domain_id=0;
После этого сбор снова выполняет billd по параметрам
BILLD_UNISORM_AUTOSTART_INTERVAL и UNISORM_LOCK_WAIT_TIMEOUT.
Если нужно просто временно передать сбор billd, достаточно выключить «Режим системного сервиса» — удалять сервис не обязательно.
11. Частые вопросы
Вопрос: можно ли поставить «Всего процессов сбора» больше, чем ядер? Ответ: технически можно (до 64), но быстрее не будет: копии начнут мешать друг другу. Оптимально — 0 (авто).
Вопрос: «Всего процессов сбора» = 8 и «Yakhont» = 8 — это 16 процессов сразу? Ответ: нет. Сбор и Yakhont идут по очереди: сначала сбор, потом Yakhont. Одновременно работают только копии одной из этих стадий.
Вопрос: нужно ли перезапускать сервис после изменения настроек? Ответ: нет. Сервис сам замечает изменение параметров и перезапускается.
Вопрос: почему после изменения настроек цикл начался не сразу? Ответ: сервис перезапускается и начинает новый цикл; плюс действует пауза.
Вопрос: где хранятся настройки? Ответ: в базе данных, таблица config. В config.pl параметров Unisorm нет.
Вопрос: что будет, если сервис упадёт? Ответ: systemd автоматически поднимет его через 30 секунд.
Вопрос: можно ли запустить сбор один раз вручную? Ответ: да: /usr/bin/perl <каталог установки>/misc/unisorm/unisorm_runner.pl --once Это режим «один проход и выход», для проверки.
Вопрос: влияет ли пауза на отправку файлов по расписанию? Ответ: нет. Расписание проверяется и во время паузы.
Вопрос: что означает changed=0? Ответ: за цикл не изменилось ни одной записи. Это нормальное состояние, когда данные не менялись.
