СОРМ-3

Предварительная настройка

Для того, чтоб у вас правильно шли выгрузки в СОРМ, биллинг надо вести правильно:

1. Должны быть правильно настроены типы платежей (Настройка "Виды Оплат")
2. У абонента должны быть заполнены правильно обязательные поля для выгрузок
3. Компании должны быть заполнены правильно
4. У Компаний, если собраны данные, должны быть заполнены сотрудники
5. Объединенные физлица должны быть заполнены правильно
6. Абоненты, которые выгружаются в СОРМ, должны состоять в группе с отметкой, что эта группа выгружается в СОРМ
7. Должна быть заполнена организация провайдера
8. Должен быть заполнен IP план
9. Должны быть заполнены коммутаторы/сервера доступа
10. Должны быть настроены тарифы модуля Доп.Услуг (Abon)

Ниже приведены скриншоты правильной настройки биллинга, компании, физ.лиц. с пояснениями

Первые 8 видов оплат являются ОБЯЗАТЕЛЬНЫМИ и НЕИЗМЕННЫМИ.

Для тех, кто ведёт биллинг НЕ с нуля, а переездом, существует пример SQL запроса, который исправит данные виды оплат. НЕ ПРИМЕНЯТЬ ПРОСТО ТАК!

Для остальных видов оплат, долно быть правильно заполнено "Код Вида платежа СОРМ"

У абонента должна быть указана дата регистрации, поле "Регистрация

Обязательно заполнено ФИО. Допускается заполнять без отчества, в таком случае абонент будет выгружен как неструктурированный

Обязательно должен быть заполнен номер телефона абонента. Допускается заполнение полей "Мобильный телефон" и просто "Телефон"

Обязательно должен быть заполнен адрес абонента. Для правильной выгрузки адреса, Журнал адресов должен быть структурирован

Обязательно должны быть заполнены паспортные данные аббонента.

Для не граждан России, дорускается заполнение буквенных серий, а так-же заполнение на иностранном языке. Код подразделения НЕ требуется.

Обязательно должны быть заполнены номер договора, дата и время заключения договора

Обязательно "Название" компании

Обязательны к заполнению следующие поля:

ИНН

ОГРН/ОГРНИП

Юридический адрес компании

Обязательны к заполнению банковские реквизиты

Обязательны к заполнению:

Номер контракта

Дата

Обязательно к заполнению адрес компании (тут вы можете указать как юридический, так и почтовый адрес компании)

Для правильно указания адреса, журнал адресов должен иметь структурированный вид

У абонента должна быть выбрана данная компания

По кнопке "Добавить" заполняем сотрудников компании. 

Все поля обязательны к заполнению

Заполнять НЕ требуется. Объединение учётных записей в общее "Физическое лицо" даёт удобство работы с абонентами.

По умолчанию, паспортные данные автоматически заполняются из карточки абонента, которая является администратором данного физического лица

В карточке абонента, должно быть указано данное ощее физическое лицо как общий знаменатель

Добавляем организацию оператора связи. Допускается несколько организаций, но в СОРМе используется только основная. Если у вас несколько организаций, то вам необходимо договориться с куратором, какая из ваших организаций будет основной

Почти все поля обязательны к заполнению

Стандартная настройка IPv4 пула, одна просьба, название пула должно быть понятным.

Для выгрузки пула в СОРМ, должен быть включён соответствующий переключатель

IP пулы с флагами гостя или негативного - выгружаются в СОРМ как служебные, так как в требованиях нет отдельного понятия для таких сетей

Так-же стандартная настройка IPv6 пула, название пула должно быть понятным

Для выгрузки пула в СОРМ, должен быть включён соответствующий переключатель

IP пулы с флагами гостя или негативного - выгружаются в СОРМ как служебные, так как в требованиях нет отдельного понятия для таких сетей

Обязательно должны быть указаны:

Название

Описание

Адрес установки

предусмотрены переключатели, определяющие как выгружать сервер доступа, как шлюз или как коммутатор

Для того, чтоб тарифный план попал в выгрузку (SUPPLIMENTARY SERVICE) требуется установить нужный флаг. Без флага, в выгрузку данный сервис не попадёт

Шлюзы заполняются АВТОМАТИЧЕСКИ, согласно настройкам в серерах доступа

Справочник коммутаторов заполняется АВТОМАТИЧЕСКИ согласно настройкам в серверах доступа

Заполняем при наличии у оператора связи

Заполняется автоматически, согласно настройки тарифного плана модуля Доп. Услуг

Основной сервис Internet, присутствует всегда

Заполняется автоматически. Сети, которые должны попасть в IP план, настраиваются в настройках IP Pool. Любая сеть, которая должна быть выгружена, указывается в пулах IP адресов в серверах доступа!!!!!

Проверка происходит при каждом запуске подготовки выгрузок в СОРМ. Сразу можно перейти на проблемного абонента и исправить

• Формат выгрузок: Выбор формата выгрузки, в зависимости от вендора СОРМ. От этого зависит вид файла выгрузки (МФИ софр и Цитадель используют единый формат)
• Произволный формат выгрузок: Если вы знаете что делаете и можете написать свой экспортёр для существующих данных
• Сдвиг по UTC: Иногда СОРМисты требуют указываеть реальное время выгрузок. Поэтому используется данное значение (2 означает UTC +2) 0 - время по UTC
• Частота сбора данных по абонентам и сервисам: Указывается в секундах, ТОЛЬКО ДЛЯ billd как сервис (демон) 
• Включает инкрементную автосинхронизацию из биллинга для словарей IP-плана, коммутаторов/шлюзов и регионов.: Система САМА вытягивает данные из биллинга и сама их заполняет. Использовать только когда уверены что всё настроено правильно, иначе ручная выгрузка
• Откладывать попадание изменений IP-плана, шлюзов и коммутаторов в выгрузку на 24 часа.: При включении этого режима изменения в IP Pools и карточках NAS не попадают в словари СОРМ сразу. Ядро выдерживает фиксированный период охлаждения 24 часа с момента последнего редактирования исходной записи и только после этого переносит новое состояние в staged/history и в последующую выгрузку. Это относится к добавлению, изменению, снятию флагов выгрузки и повторному включению записи. Режим нужен там, где после правки требуется время на проверку и стабилизацию данных перед их отправкой в СОРМ.
• Выгружать адреса и связанные реквизиты в структурированном виде: Выгрузка адресов и ФИО в структурированном виде. СОРМисты трепетно к этому относятся
• Если включено, Unisorm обновляет параметры оператора и офиса из `main_org=1`: Использовать только по согласованию с куратором
• Не выгружать события старше трёх лет, даже если в исходных таблицах есть более ранняя история.: Ограничивает глубину исторической выгрузки последними тремя годами. Более старые события и версии записей в итоговые файлы не включаются.
• Если включено, в выгрузку попадают отключённые абоненты и услуги, у которых дата изменения относится к будущему периоду.: Разрешает учитывать в выгрузке отключения и изменения, дата которых уже занесена в биллинг как будущая. Нужен для сценариев, где оператор заранее планирует отключение или изменение состояния услуги.
• Проверять дату рождения при выгрузке: абонент не должен быть младше 14 лет и старше 100 лет: Перед выгрузкой проверяет, что дата рождения выглядит допустимой для СОРМ-сценария. Если возраст выходит за допустимые рамки, запись не проходит обычную обработку и попадает в ошибки.
• При изменении места рождения, инициировать выгрузку изменений ПД. В выгрузку не попадает. (Зарезервировано на будущее): Поле места рождения хранится в staged/current/history всегда. Этот параметр управляет только тем, должно ли изменение места рождения считаться изменением персональных данных и запускать сценарий обновления версии записи.
• Хранить и выгружать историю действий с записями абонентов в таблицах СОРМ до 3 лет перед удалением.: Оставляет историю действий по абонентам и связанным сущностям в СОРМ-таблицах на срок до трёх лет. Нужен для сценариев, где требуется выгружать или повторно анализировать историю изменений перед окончательной очисткой.
• Для Mfisoft добавлять в файл услуг дополнительную виртуальную строку `VoIP` со статусом `0` рядом с Internet. (Требуется в некоторых регионах): Добавляет рядом с интернет-услугой дополнительную виртуальную запись услуги VoIP со служебным статусом. На биллинг и реальные услуги это не влияет: дополнительная строка создаётся только внутри экспортного контура.
• Выгружать CID вместо логина.: Для выгрузки Neo-s подставляет в поле `dn.login` значение `cid` вместо обычного логина абонента. Нужен для схем, где зеркало трафика и RADIUS связывают договор по `cid`/MAC, а не по PPP-логину. Если `cid` пустой, как резерв используется обычный логин.
• Выгружать текущий online IP вместо логина: Для выгрузки Neo-s берет текущий IPv4 абонента из `internet_online` и подставляет его в `dn.login` и `dn.ip`. Если online-IP найден, `actual_from` для строки abonents берется из времени выдачи адреса (`internet_online.started`), а смена этого IP начинает менять history/data_hash только после включения параметра. Если онлайн-сессии с IP нет, используется обычная логика логина.
• Выгружать отдельную запись физлица-представителя, привязанную к записи юридического лица.: Для договора на юридическое лицо дополнительно формирует отдельную связанную запись физического лица-представителя. Основной источник данных для неё - карточка самого абонента, оформленного на юрлицо, с резервным добором недостающих данных из карточки пользователя компании. Если включено, дополнительно выгружаем сотрудников компании как связанных представителей юрлица. Пока реализовано у производителя Neo-s. Дополнительно формирует связанные записи представителей по сотрудникам компании из списка сотрудников. Эти записи не заменяют основного представителя юрлица, а добавляются отдельно. Сейчас такой сценарий реализован только для выгрузки производителя Neo-s.
• Для формата Mfisoft включает наполнение таблицы и формирование файла `ABONENT_INTERNAL_USER` по внутренним пользователям.: Для формата Mfisoft включает подготовку и выгрузку отдельного файла по внутренним пользователям. Используется только там, где принимающая сторона ожидает такой файл как часть обязательного набора.
• Для формата Mfisoft формирует файл `ABONENT_INTERNAL_USER_[Дата_Время].txt` только с заголовком, без строк данных.: Для формата Mfisoft формирует файл внутренних пользователей только с заголовком, без строк данных. Нужен для контуров, где сам файл должен присутствовать, но наполнение строками не требуется.

• Служебный идентификатор оператора для выгрузок СОРМ.: Служебный код оператора связи в диапазоне 1..65535, который Unisorm подставляет в формируемые файлы как идентификатор вашего провайдера. Если поле ещё пустое, при первом запуске Unisorm ядро один раз автоматически генерирует стартовое значение, сохраняет его в config и дальше использует уже сохранённый параметр. После этого оператор может вручную заменить его на согласованное с СОРМ значение.
• Код или номер офиса оператора, который будет использоваться в служебных и адресных записях выгрузки.: Служебный идентификатор офиса оператора, который будет использоваться в адресных и сопутствующих записях выгрузки.
• Название оператора связи.: Полное человекочитаемое название оператора связи для выгрузочных записей, справочников и служебных блоков, где должен присутствовать текстовый реквизит провайдера.
• Страна регистрации оператора связи.: Используется как страна оператора в служебных, адресных и идентификационных реквизитах выгрузки.
• Регион оператора связи.: Определяет регион оператора для служебных и адресных записей, где в формате требуется территориальная привязка провайдера.
• Район, округ, область или иная территориальная зона оператора связи.: Дополнительная территориальная часть адреса оператора: район, округ или иная зона, если она нужна формату выгрузки.
• Ограничивает выгрузку "от": данные раньше этой даты в файлы не попадут.: Задаёт нижнюю границу периода выгрузки. Всё, что по дате раньше этого момента, ядро пропускает при построении файлов.
• Ограничивает выгрузку "до": данные позже этой даты в файлы не попадут.: Задаёт верхнюю границу периода выгрузки. Всё, что по дате позже этого момента, в файлы не включается.
• Псевдо MAC-адрес, если оригинального нет (можно сгенерировать).: Используется как подстановка в тех записях, где у исходного устройства или услуги отсутствует корректный MAC-адрес, а формат требует обязательное заполнение этого реквизита.
• Сколько строк ядро накапливает в памяти перед пакетной записью в экспортные таблицы и файлы.: Определяет размер внутренних пакетов записи. Чем больше значение, тем реже ядро пишет данные в staging и файлы, но тем больше памяти расходуется на один проход.

Заполняется юридический адрес оператора. В некоторых случаях куратор может потребовать заполнить адрес центрального офиса оператора связи

Кроме явных полей для заполнения, тут ещё можно настроить некоторые особенности выгрузки

• Расписание автоматической отправки файлов из daemon billd: Задаёт расписание автоматической отправки уже подготовленных файлов. Используется только для фонового режима работы: если поле пустое, автоматическая отправка по времени не выполняется. Поддерживаются обычные cron-маски со списками, диапазонами и шагами.
• Базовая папка, куда складывает сформированные файлы перед отправкой.: Это рабочая папка для текущего набора подготовленных файлов. Новые выгрузки сначала складываются сюда, после чего отправляются на удалённую сторону и параллельно попадают в архив. Папка используется как оперативная, поэтому в ней должен оставаться только актуальный набор файлов, ожидающих отправки или повторной попытки. НЕ МЕНЯТЬ! ТОЛЬКО ПРИ КРАЙНЕЙ НЕОБХОДИМОСТИ!
• Если включено, архив хранится как исходные файлы выгрузки, разложенные по дням и запускам. Если выключено, архив ведётся как tar.gz.: Архивирование выполняется всегда. Этот параметр управляет только видом хранения: либо архив ведётся как исходные файлы по дням и запускам, либо складывается в архивный файл без отдельного набора сырых копий.
  Каталог, где будут храниться архивные копии выгрузок. Папка должна существовать и быть доступна на запись.: Локальный каталог для хранения архивных копий выгрузок. Структура внутри зависит от выбранного способа архивирования: либо создаются наборы исходных файлов по дням и запускам, либо формируются архивные файлы.