Ведение нси. Единая отраслевая система нормативно-справочной информации
УДК 004.37.01
А.Х. Жиляев,
Институт информатики и
проблем регионального управления
КБНЦ РАН, н.с., г.Нальчик.
Введение
Создание единого информационного пространства – необходимое условие эффективного управления различными объектами, будь то предприятие, ведомство, регион или государство. Формирование единой среды предполагает интеграцию управленческих процессов, сопровождающуюся нормализацией информационных потоков. Часто, перемещение информации на разных уровнях и частях объекта управления поддерживается различными информационными и учетными системами. Соответственно, возникает необходимость интеграции этих систем. Набирающие силу процессы глобализации мировой экономики, есть – по сути – интеграционные процессы. Такие интеграционные задачи особенно актуальны для России в связи с предстоящим вступлением во Всемирную Торговую Организацию (ВТО).
Задача интеграции информационных и учетных систем состоит из двух взаимосвязанных частей: интеграции данных и следующей за ней интеграции приложений. Выполняя интеграцию данных, следует провести унификацию и стандартизацию нормативно-справочной информации (НСИ). .
НСИ - это условно-постоянная часть всей информации в информационной системе (ИС), в отличие от текущей информации, формируемой непосредственно в процессе работы в ИС. В состав НСИ входят: справочники, словари, линейные и иерархические списки, классификаторы, реестры, кодификаторы, данные из которых используются при формировании текущих документов.
Для обозначения подобной справочной информации в англоязычной литературе используется термин Master Data (мастер-данные, основные данные), а задачи управления ею получили название Master Data Management (MDM).. Однако, в русском языке сейчас чаще применяется понятие нормативно-справочная информация (НСИ), которое появилось в дисциплинах, касающихся управления народным хозяйством, еще в докомпьютерные времена. В данном случае определение “нормативная” отражает тот факт, что проблема создания справочников должна решаться с учетом отраслевых, государственных и международных стандартов.
Если сегодня такие термины как, например, АСУ (Автоматизированные Системы Управления) или ИС (Информационные Системы) стали уже привычными, то аббревиатура «СУ НСИ» (Система Управления Нормативно-Справочной Информацией) нередко вызывает недоумение. Даже тот смысл, который лежит за ее расшифровкой, понятен зачастую только специалистам. НСИ – это не просто база данных, а сложно организованная система с множеством перекрестных ссылок между отдельными справочниками и классификаторами. Особенно важен механизм поддержки актуальности справочной информации. Требования к полноте, точности и актуальности информации в системе НСИ гораздо жестче, чем в обычной БД, так как при функционировании любой информационной системы, в том числе АСУ, информационное наполнение прикладных задач зависит от данных НСИ. НСИ является "фундаментом" всей ИС и управление этой системой должно быть централизованным. На рисунке 1. данные НСИ показаны нижним уровнем, "информационным фундаментом" всей структуры ИС.
Рис. 1 Уровни информационной системы
Именно централизованное ведение системы НСИ, подчиненное единому регламенту и обеспеченное единой технологической средой, позволяет поддерживать унификацию данных, полноту, целостность и актуальность всех входящих в ее состав справочников и классификаторов. Следовательно – иметь эффективно работающую ИС, решающую реальные задачи.
Разработка полноценного программного обеспечения для управления НСИ началась всего несколько лет назад. Ведущие производители программного обеспечения в последнее время уделяют все больше внимания средствам управления НСИ (в англоязычном варианте MDM, Master Data Management – управление основными данными).
Решение задач интеграции трудно представить без централизованного управления НСИ. Проблема управления НСИ возникает даже в таких автоматизированных и информационно обеспеченных структурах как банки или страховые компании. Системы управления НСИ позволяют не только аккумулировать данные из нескольких объединенных банковских систем, например, для формирования отчетности по нескольким учетным системам; но и решать задачи оперативного управления НСИ.
В России отсутствует единый центр формирования НСИ, аналогичной ГОСТам. И, хотя, в последнее время вступили в силу новые законы, связанные с разработкой и обращением электронных технических документов, они еще не оказали заметного влияния на ситуацию.
Роль НСИ в информатизации региона
Важная роль в реализации стратегии развития сферы информационных технологий в нашей стране принадлежит региональной информатизации. В последнее время в субъектах Российской Федерации активизировались работы по использованию информационных технологий во всех сферах жизнедеятельности регионов. Этому способствовало проведение федеральными органами государственной власти ряда мероприятий и принятие нормативных документов в сфере использования информационных технологий на федеральном, ведомственном, региональном и муниципальном уровнях. Одним из таких документов, призванным способствовать решению задач по комплексной информатизации региона является постановление Правительства РФ "О порядке формирования и использования базовых классификаторов, справочников и реестров при оказании государственных и муниципальных услуг в электронной форме" от 31.08.2010 г.
Особая роль НСИ отводится также в программах информатизации отраслей и ведомств. Например, в опубликованном 31 марта 2010г. проекте Концепции Информатизации Здравоохранения особо подчеркивается, что информационные системы в здравоохранении должны проектироваться с учетом стандартов и регламентов и базироваться на единой НСИ. (В состав НСИ, применяемой в сфере здравоохранения, социального развития и трудовых отношений Российской Федерации входит всего 163 различных классификаторов и справочников)..
На уровне региона – цель реализации инфраструктуры НСИ в автоматизированных системах управления – создание единой системы справочников и классификаторов, используемых в государственных (муниципальных) информационных системах субъекта РФ, а также формирование базовых учетных реестров, обеспечивающих сбор и хранение предоставляемой информации по основным объектам управления регионом. Система управления НСИ, являясь централизованным хранилищем и единственным поставщиком общей НСИ для всех инфраструктурных и ведомственных информационных систем региона должна обеспечить информационную совместимость локальных информационных систем и приложений «электронного правительства» субъекта.
Очевидно, следующим шагом в развитии сферы информационных технологий в РФ должна стать последующая интеграция ведомственных, региональных и муниципальных ИС на федеральном уровне. Эта задача интеграции государственных ИС настолько сложна, что помимо стандартизации документов (например, на основе XML) и инфраструктуры интеграции в виде программного обеспечения, маршрутизации XML-документов, нужны усилия государства и в области стандартизации описания данных.
Примером инициативы в этой области является стандарт e-GMS (UK GoverNmeNt Metadata StaNdard), принятый в Великобритании. . Многие страны взяли за основу, так называемое «Дублинское ядро», включающее 15 элементов описания информации:
- заголовок;
- автор или создатель;
- тема и ключевые слова;
- описание;
- публикатор;
- другие контрибуторы;
- дата;
- тип ресурса;
- формат;
- идентификатор ресурса;
- источник;
- язык;
- связи;
- область (coverage);
- управление правами.
Помимо самих элементов в «Дублинском ядре» имеются, так называемые, уточнения элементов, например: «Дата создания», «Дата публикации», «Дата окончания действия» и пр. Страны могут не только использовать это ядро, но и добавлять к нему любые дополнительные элементы, которые они считают необходимыми. Кроме того, первым инструментом при поиске информации, как правило, является просмотр категорий. Поэтому в рамках инициатив разработки стандартов на государственные метаданные определяются стандарты на список категорий (инструмент первичного поиска без использования ключевых слов).
Выводы
При знакомстве с законодательством, направленным на регулирование вопросов оказания государственных и муниципальных услуг в электронном виде, и организацию межведомственного информационного взаимодействия на государственном и муниципальном уровнях, видно:
- фактическое отсутствие в нормативных правовых актах обязательных для выполнения требований к стандартизации информационных технологий и программного обеспечения, используемого в государственных информационных системах, необходимых для обеспечения межведомственного обмена информацией;
- отсутствие в нормативных правовых актах единых чётких требований к справочникам, классификаторам и схемам данных информационных систем, используемых в межведомственном информационном обмене;
- отсутствие в нормативных правовых актах единых и обязательных для реализации всеми федеральными, региональными и муниципальными органами власти механизмов предоставления информации и оказания государственных услуг в электронном виде. .
На сегодняшний день, как в РФ, так и за рубежом, основная сложность реализации проектов в области оказания электронных услуг на государственном, региональном и муниципальном уровнях, а также, аналогичных межведомственных проектов, в условиях, когда требуются существенные усилия по интеграции данных и приложений, заключается не в применении тех или иных конкретных технологий, а в организации процесса принятия соответствующих стандартов и согласования архитектур информационных технологий различных организаций и ведомств.
Проекты в области оказания электронных услуг на государственном, региональном, муниципальном и ведомственном уровнях, которые осуществляются правительствами разных стран, предусматривают следующие основные типы стандартов:
- стандарты данных;
- стандарты межведомственного обмена информацией;
- стандарты метаданных (и поиска информации);
- стандарты безопасности.
Нужна единая современная методология ведения НСИ, иначе, по мере увеличения количества данных, система окажется неуправляемой.
Должны быть детально прописаны регламент и методика наполнения справочников и классификаторов, иначе будет чрезвычайно сложно обеспечить качественную и упорядоченную работу экспертов по ведению НСИ. Нужно четкое разграничение сфер компетенции и ответственности пользователей НСИ и экспертов по ее ведению.
Необходима высокоэффективная современная технология и система управления НСИ, решающая задачу многопользовательского доступа к ней с возможностью физического разграничения полномочий, реализующая взаимодействие пользователей с экспертами и обеспечивающая легкое масштабирование системы при наращивании как самой базы НСИ, так и количества обслуживающих экспертов.
Литература:
1. "Стратегия развития информационного общества в Российской Федерации" (утв. Президентом Российской Федерации 07 февраля 2008 г. № Пр-212);
2. Проект постановления Правительства РФ "О порядке формирования и использования базовых классификаторов, справочников и реестров при оказании государственных и муниципальных услуг в электронной форме" от 31.08.2010 г.
3. "Обзор НСИ", Издание Минэкономразвития, 2010г
4. "Концепция создания информационной системы в здравоохранении на период до 2020 года», 2010г.
5. Полотнюк И.
"Метаданные как базис интеграции", PC Week/RE (492), 2005г.
6. Ray Wang, Rob Karel.
«Trends 2008: Master Data Management» 2008.
В условиях перехода к цифровой экономики компании окончательно убедились, что данные - это актив, который важно правильно хранить, обрабатывать, анализировать, используя для принятия решений и построения прогнозов. Эффективность этих процессов обеспечивает единое хранилище, в которое должны быть загружены проверенные качественные данные. Задача их консолидации из разных источников подразумевает сопоставление и синхронизацию справочников в различных ИТ-системах. Именно для этого бизнесу нужны системы управления нормативно справочной информацией (НСИ).
По данным TAdviser, объем рынка систем управления НСИ составляет около 1,5 млрд рублей на конец 2017 года. Спрос на эти решения растет на 20-25% в год - прямо пропорционально росту цифровизации бизнеса. Ускорению динамики способствует рост проникновения облачных сервисов на отечественном рынке (на уровне около 20% в год), а также запуска инициатив по информатизации государства и общества в рамках реализации программы .
Общий путь к цифровизации диктует необходимость в единой базе знаний о клиентах, продуктах и т.д. Для успеха цифровых инициатив нужно эффективно управлять данными, которые прежде необходимо собрать воедино – чтобы сформировать достоверное и корректное предоставление «единой версии правды» для всех структурных подразделений. Соответственно, растет спрос на инструменты для сопоставления и консолидации данных, которые обеспечивают быстрый доступ к информации, независимо от ее источника, анализ закономерностей и отклонений, а также безопасное распространение данных.
В фокусе внимания
Представители бизнеса становятся все более требовательными к качеству НСИ и процессам управления ей. Также вопросы к качеству НСИ возникают и на местах, у специалистов. Чем более резко увеличиваются объемы накапливаемых организациями данных, тем выше требования к производительности информационных систем. Объемы справочников постоянно растут. От современных решений в области управления НСИ ждут возможности поддерживать работу более чем с 1 млрд записей.
Если 10 лет назад, в конце нулевых годов XX века, под задачами НСИ чаще понимался процесс миграции справочников в рамках внедрения учетных информационных систем, то в 2018 году бизнес подходит к задачам управления НСИ более осознанно и структурно, с привлечением функциональных подразделений, непосредственно использующих эту информацию в бизнес-процессах. Происходит уточнение задач, связанных не только с оборудованием и материалами, но и с контрагентами и прочими справочными данными.
| Сложившееся положение требует более высокого уровня автоматизации и формализации: все, что может быть «зашито» в четкий автоматизированный алгоритм, должно быть формализовано, т.к. без жестких правил работа с НСИ превращается в хаос. Также вовлечение различных подразделений бизнеса в проекты НСИ увеличивает их длительность. В качестве решения на первый план выходят современные средства автоматизации качества данных с использованием механизмов , - комментирует Баир Данилов, руководитель направления НСИ компании IBS |
По состоянию на 2018 год до 75% этого рынка приходится на консалтинг и около 25% занимают лицензии. Такая ситуация обусловлена тем, что помимо непосредственного создания справочника, компаниям необходима его интеграция с другими информационными системами, а для справочников клиентов - с системами защиты персональных данных, отмечают в «Крок ».
Новые тренды
В числе «горячих» глобальных технологических трендов, меняющих рынок НСИ , эксперты IBS отмечают расширение объема управления справочниками, т.е. управление не только основными данными – контрагентами и материалами, но и единым планом счетов, производственными активами и другими необходимыми справочниками для ключевых бизнес-процессов предприятия. Также в фокусе - автоматизация процесса проверки НСИ, в том числе с помощью технологий машинного обучения , разработка единых стандартов ведения контрагентов и материалов, а также создание цифровых экосистем, в которых производители и покупатели могут свободно обмениваться прозрачной информацией о товарах и сделках.
Определяющим трендом остается улучшение . Технологии машинного обучения позволяют проводить более качественную дедупликацию в автоматизированном режиме. В целом развитие заметно меняет ранее сложившиеся подходы к работе с НСИ – повышается эффективность распознавания и корректировки данных, добавляется возможность использовать мультимедийную информацию, делать данные нагляднее и пр.
Сегодня интерес к качеству НСИ демонстрируют не только гиганты экономики, но и компании среднего бизнеса. В IBS отмечают рост количества запросов на проекты НСИ со стороны фармацевтики, пищевой промышленности, машиностроения и сельского хозяйства. В том числе этот интерес подстегивают импортозамещающие инициативы – как раз внедрение НСИ позволяет решить задачу поэтапного и рационального импортозамещения зарубежных решений.
Топ-8 игроков российского рынка систем управления НСИ
| Крок | IBS | SDI Solution | «НЦИТ «Интертех» | TaskData | Ланит | ЕАЕ-Консалт | Navicon | |||
| Выручка по проектам НСИ 2016 | 135 млн руб. | 99,9 млн руб. | 63,3 млн руб. | 51,9 млн руб. | 44 млн руб. | 28 млн руб. | 11,2 млн руб. | 7,5 млн руб. | ||
| Динамика выручки по проектам НСИ 2016/2015 | 13% | 6% | 32% | 50% | 90% | 10% | -10% | Рост | ||
| Количество проектов НСИ 2017 | 4 | 7 | 7 | Завершено 6, в реализации 2 | 6 | 5 | 4 | |||
| Количество проектов НСИ 2016 | В реализации 4, завершен 1 | 4 | 7 | 4 | 5 | 3 | 4 | |||
| Используемые решения/ платформы | Крок НСИ Suite, Talend Platform for MDM, MDM, Informatica MDM , ряд систем Oracle , а также отечественная платформа «Юнидата» | SAP , Ataccama, собственная разработка (20%), 1С MDM | собственная разработка Semantic MDM. СУБД Microsoft SQL Server , Oracle , PostgreSQL | * собственная разработка - программная платформа по управлению систем НСИ Ontologic (зарегистрирована в Реестре российского ПО № 4114 от 11.12.2017); 2. Горно-металлургическая компания - создание Автоматизиро- ванной системы управления нормативно-справочной информации, разработка классификатора МТР, нормализация справочника МТР и справочника контрагентов. Более 2000 пользователей. На базе SAP MDM, SAP PI, SAP Portal, SAP BPM. 3. ФОИВ - Консолидация и очистка полученной информации, интеграция решения в корпоративную ИС. На базе Informatica MDM, Informatica Power Center, Informatica Data Quality, Oracle BPM. | 1. Объединенная двигателе- строительная корпорация - «Создание и внедрение Корпоративной системы управления нормативно-справочной информации на платформе Системы управления НСИ «Semantic» 2. Разработка автоматизиро- ванной системы управления нормативно-справочной информации АО «Концерн «Калашников» на платформе системы управления НСИ «Semantic». 3. «Разработка автоматизиро- ванной системы «Управление электронными справочниками предприятия» для нужд ПАО «РКК «Энергия» . | 1. Проектирование, реализация и ввод в промышленную эксплуатацию корпоративной системы управления НСИ Группы «Интер РАО» ; 2. Создание Единой системы нормативно-справочной информации Государственной нефтяной компании Азербайджанской республики (ГНКАР, SOCAR); 3. Создание единой системы управления нормативно-справочной информацией в Компании ЗАО «АБИ Продакт»; 4. Внедрение системы управления НСИ (расширенные справочники) ПАО «ГМК Норильский никель» ; 5. Нормализация Единого справочника МТР и выполнение мэппинга в записях Единого номенклатурного справочника в рамках проекта по внедрению единой концепции управления корпоративной НСИ ПАО «Полюс» ; 6. Создание методико-регламентной базы нормативно-справочной информации в части справочника материально-технических ресурсов и нормализации справочника МТР ООО «Иркутская нефтяная компания» ; 7. Создание Единой системы управления нормативно-справочной информацией основных данных группы компаний «Силовые Машины». | 1. Отраслевой центр разработки и внедрения информаци- онных систем (ОЦРВ). Разработана функцио- нальность первой очереди АСОУП-3, в состав которого входит Автоматизиро- ванный комплекс ведения НСИ. 2. Федеральное агентство лесного хозяйства (Рослесхоз). Создание подсистемы управления нормативно- справочной информацией (ПНСИ). 3. Объединенная приборо- строительная корпорация (ОПК). Проект по построению макета системы управления НСИ в рамках реализации проекта «Сетевая интегриро- ванная расчетно- информационная управляющая система» (СИРИУС) - централизо- ванной системы управления закупками ОПК. | 1. Развитие автоматизиро- ванной системы ведения НСИ в одном из крупнейших банков России (на платформе Microsoft с использованием системы ведения НСИ NORMA, база данных Oracle). 2. Разработка системы ведения НСИ для "Газпромбанк " (на платформе Microsoft с использованием системы ведения НСИ NORMA, СУБД Microsoft SQL Server). | КССС 8 очередь - перевод справочников на платформу IBM MDM, интерфейсов на шину SAP PI, контроль качества данных НСИ; Интеграция КССС с 1С ДО - интеграция справочника Контрагенты с системами 1С в ДО; КССС-НСИ РРЭМ - перевод и создание справочников РРЭМ на платформе IBM MDM, интерфейсов на шину SAP PI. Используется СУБД Oracle для нижнего слоя хранения и для витрины данных НСИ. | 1. Food Union (консолидация отчетности от нескольких филиалов и производств, возможность принимать управленческие решения на основе постоянно обновляющегося набора данных, реализация в облачной среде Microsoft Azure). 2. Газпром Газэнергосеть (автоматизация загрузки агрегированных данных из учетных систем дочерних и зависимых обществ (ДЗО) в корпоративное хранилище данных (КХД) в центральном офисе). 3. Специализиро- ванный депозитарий «Инфинитум Специализированный депозитарий » (оптимизация бизнес- процессов в части ведения нормативно-справочной информации, оптимизация архитектуры путем создания централизо- ванного хранилища НСИ, устранение дублей и двойного ввода данных) |
| Самые масштабные проекты по количеству справочников в 2015-2017 | 1. Проект 1. Объем справочников - более 30. 2. Проект 2. Объем справочников: около 20. 3. Проект 3. Объем справочников - более 200. | 1. Проект АО «ОДК» . Объем справочников - более 20. Интеграция КССС с 1С для SIP - 31 организация Группы ЛУКОЙЛ; КССС-НСИ РРЭМ - ПАО ЛУКОЙЛ и 4 НГДО | 1. Специализиро- ванный депозитарий "Инфинитум" (около 40 000). |
Занимаясь масштабными проектами автоматизации и создавая новые информационные системы, мы каждый раз сталкивались с необходимостью реализации подсистемы ведения справочников, классификаторов, реестров и других подобных объектов, составляющих нормативно-справочную информацию (НСИ) заказчика. За 15 лет работы в ЛАНИТ с системами управления НСИ жизнь подкидывала нам клиентов с самыми различными требованиями. И, конечно, на этих проектах возникали разные ситуации. Я расскажу о нескольких поучительных историях, которые с нами произошли. В статье вы найдете примеры, которые будут полезны многим, кто занимается разработкой программного обеспечения. Ну, а тем, кто работает непосредственно с НСИ, будет еще интереснее – своя рубашка ближе к телу.
За иллюстрации отдельное спасибо замечательному художнику Васе Ложкину .
Случай первый. Как загрузить вагон и маленькую тележку
Создание единой системы управления контрагентами для крупной производственной компании со множеством заводов по всей стране и за рубежом.Цель проекта – создать единую базу контрагентов для всех подразделений. Ведение контрагентов осуществляется на основе заявок, которым присваиваются приоритеты от низкого до срочного. Срочная заявка должна быть обработана экспертами НСИ за 2 часа вне зависимости от разницы во времени между подразделениями.
Живая история
Проект был согласован со всеми заинтересованными сторонами (в этом нас убедило руководство заказчика) и разработан в заданные сроки в соответствии с утвержденными требованиями.
Презентация созданной системы управления контрагентами проходила гладко, пока не встала одна видная женщина – руководитель сибирского филиала – и весьма энергично, с использованием русских идиоматических выражений, довела до сведения собравшихся, что когда к ней приходит железнодорожный вагон под погрузку готовой продукции, она не будет ждать 2 часа, пока кто-то там в Москве рассмотрит заявку на добавление покупателя.
Она не собирается оплачивать простой вагона, пока происходит утверждение заявки, а заведет данные покупателя в систему как есть и отгрузит товар, а московские товарищи могут разбираться потом с информацией о покупателе сколько угодно.
Это заявление было поддержано еще несколькими руководителями филиалов компании, что практически полностью разрушило централизованную методологию ведения единого справочника контрагентов на основе заявок.
В итоге проект был видоизменен таким образом, чтобы все филиалы имели доступ к базе данных контрагентов и могли вносить в нее изменения напрямую, но при этом выполнялся автоматический поиск схожих записей, которые отображались сотруднику филиала, и он принимал решение о необходимости корректировки данных, которые позднее проверялись экспертной группой.
Что мы запомнили: не доверяйте словам руководителей и ответственных лиц со стороны заказчика, что все решения согласованы, все в теме и возражений нет. Выявляйте все заинтересованные стороны проекта и старайтесь выяснить требования к системе и ограничения непосредственно у них.
Случай второй. Как хотим, так и используем
Создание централизованной системы управления клиентами для страховой компании с большим числом филиалов и агентов по всей стране.Цель проекта – создание сводной клиентской базы для использования в аналитических приложениях. База данных собиралась со всех филиалов, данные выверялись, дополнялись, дублирующиеся объекты устранялись. Количество клиентов в одном филиале – от тысячи до нескольких миллионов. При этом, пересечений по клиентам между филиалами практически нет.
Живая история
После создания сводной клиентской базы она должна была периодически сравниваться с базами данных филиалов для выявления различий, их последующей обработки и загрузки изменений в сводную базу. Прирост клиентской базы между сверками составлял несколько тысяч записей.
Для выполнения сверки был создан специальный модуль, архитектура которого была спроектирована исходя из того, что он должен быстро сравнивать большое количество записей и формировать относительно небольшой XML-файл с изменениями для загрузки. Формат XML был выбран заказчиком.
После внедрения системы мы получили от заказчика сообщение, что модуль сверки работает крайне медленно и формирует для загрузки в сводную базу файл огромного размера, который они ничем не могут открыть.
Что же выяснилось? Заказчик производил начальную загрузку данных из филиалов в сводный справочник. Экспертам эта работа показалась нудной и трудоемкой, и они просто взяли модуль сверки и подсунули ему полные данные нового филиала, которые еще не разу не загружались в сводный справочник.
Модуль сверки, который в соответствии с ТЗ должен был формировать сведения о различиях в количестве нескольких тысяч записей, получил на вход два миллиона записей, и все они в сводном справочнике отсутствовали.
В результате, за несколько часов нечеловеческих усилий модуль сверки все-таки сформировал файл для загрузки, в который вошли все данные филиала. И, да, этот файл был огромным.
Модуль сверки был использован заказчиком не по назначению, но сам факт, что сверка позволяет выполнять начальную загрузку данных, заказчику понравился, и он собирался и дальше работать именно таким образом, только просил значительно ускорить работу модуля и что-нибудь сделать с создаваемым файлом, чтобы его можно было открывать в текстовом редакторе.
На наши возражения, что модуль сверки не предназначен для начальной загрузки данных, заказчик радостно показал ТЗ и спросил, а где это тут написано? Как хотим, так и используем!
В результате нам пришлось вносить изменения в архитектуру модуля сверки с целью обработки больших массивов данных и формирования выходного файла в формате CSV, так как заказчик решительно не захотел отказываться от такого удобного инструмента.
Что мы запомнили: всегда включайте в ТЗ описание ограничений – что ваша система делать не должна. Ну, или создавайте решения, которые учитывают все возможные сценарии использования, что сильно дороже.
Случай третий. Не слонёнок, а слон, да еще и должен летать
Создание централизованной системы ведения НСИ для финансовой организации.Цель проекта - создание централизованной системы ведения справочников и классификаторов с рассылкой изменений в заинтересованные системы и базы данных. Предоставление доступа внешним системам к справочникам через веб-сервисы нашей системы.
Обычно у заказчиков среднее количество записей на один справочник составляет от нескольких сотен до нескольких тысяч. Наш недавний рекордсмен – справочник, в котором было 11 млн. записей. Но этот заказчик преподнес нам сюрприз. В его справочнике оказалось свыше 100 млн. записей. Загружали мы его больше суток, т.к. при начальной загрузке выполнялось множество проверок данных. Это не было бы большой проблемой, но заказчик потребовал, чтобы справочник загружался за несколько минут.
В результате нам пришлось сильно изменить порядок работы системы с этим справочником. Фактически, его ведение осуществляется за пределами системы, а мы только предоставляем интерфейс для его использования. Сейчас мы разрабатываем для нашей системы новые способы работы с очень большими справочниками. Надеемся, что заказчику понравится.
Что мы запомнили: в современном мире данных становится все больше, и темпы их роста постоянно увеличиваются. Система должна быть готова к высоким нагрузкам даже там, где они изначально не предполагались. Мы постоянно развиваем наше решение с учетом современных тенденций роста данных и повышения требований к скорости их обработки.
Случай четвертый. Сложный фокус с файлами
Создание централизованной системы ведения НСИ в крупном банке.Цель проекта – создание централизованной системы ведения справочников и классификаторов с рассылкой изменений в заинтересованные системы и базы данных. Особенность проекта – весьма непростые процессы распространения изменений, затрагивающие множество систем.
Поскольку в дальнейшем мне придется упомянуть наше собственное решение для управления НСИ, позволю себе небольшое лирическое отступление.
Подробнее о системе NORMA.
Задачи наших заказчиков во многом схожи, и мы решили снизить затраты на программные разработки и сократить время проектов, создав собственную универсальную платформу для ведения НСИ и основных данных (Reference Data Management & Master Data Management). Система существует уже более 10 лет, и все эти годы мы в ЛАНИТ ее активно развиваем.
NORMA поддерживает централизованное и распределенное ведение НСИ. Все данные и метаинформация ведутся с учетом истории изменений и система позволяет просматривать и изменять весь массив НСИ на произвольную дату в прошлом или будущем. Для справочников могут быть настроены процессы согласования и утверждения изменений. В состав системы входит выделенный сервер распространения изменений, который позволяет взаимодействовать с внешними системам через различные интерфейсы и создавать достаточно сложные интеграционные бизнес-процессы (этакий мини BizTalk Server). У нас есть пакеты экспорта/импорта данных, которые умеют выгружать/загружать данные справочников в базы данных и файлы различных форматов. Поддерживается ведение перекодировочных таблиц для внешних систем.
NORMA включает графический построитель запросов и дизайнер отчетов. Кроме работы с собственными справочниками, система позволяет через свой интерфейс просматривать и изменять справочники, которые находятся во внешних, по отношению к ней, базах данных, а также использовать эти справочники в построителе запросов и пакетах экспорта/импорта.
В ответ на возникновение различных событий в системе, например, события внесения изменений в справочник, могут запускаться подключаемые программные компоненты, написанные на C#, которые могут как проверять данные, так и взаимодействовать с внешними системами и, собственно, самой системой NORMA. Практически все функции системы доступны через веб-сервисы.
Система может масштабироваться как вертикально, путем увеличения мощности сервера приложений и базы данных, так и горизонтально за счет использования многоузлового сервера приложений, в котором каждый узел или группа узлов отвечает за выполнение отдельной функции. Для хранения НСИ система может использовать Microsoft SQL Server, Oracle или PostgreSQL.
Обычно при создании справочников и процессов распространения изменений заказчик консультируется с нашими аналитиками, какой инструмент или набор инструментов, предоставляемых системой, лучше использовать для конкретной задачи. В этот раз заказчик сказал, что будет создавать справочники и процессы самостоятельно.
Через некоторое время к нам обратился один из специалистов заказчика с жалобой, что у него не загружаются данные в систему. В подтверждение нам прислали пакет импорта данных, исходный файл с загружаемыми записями и сообщение об ошибке, в котором говорилось, что загружаемые данные имеют неверный тип.
Начинаем разбираться. Крутим пакет и так, и этак, пробуем разные варианты представления исходных данных, но ошибку повторить не можем. Обращаемся к заказчику с вопросами, может быть, у пакета импорта есть подключенные программные компоненты, может быть на справочник наложены какие-то дополнительные ограничения, может быть данные не от этого процесса? На все получаем ответ - ничего такого нет, все должно легко загружаться и раньше работало.
Оказывается, этот пакет импорта был только вершина айсберга. Если кратко и сильно упрощенно, то происходило следующее. Процедура импорта загружала правильные данные из исходного файла в справочник. Исходный файл удалялся. Затем наша система выполняла распространение изменений в несколько баз данных, в одной из которых производилось сравнение собственных данных с нашими изменениями и формировался файл с расхождениями, который возвращался в нашу систему для загрузки. Причем для загрузки этого файла заказчик использовал ту же процедуру импорта, что и для исходного файла. И вот именно в этом файле, сформированном внешней системой, были данные неверного типа. Очевидно, что при анализе исходного файла мы никаких ошибок найти не могли, а про второй файл и развесистый процесс распространения изменений нам ничего не сообщили.
Что мы запомнили: Всегда проверяйте полученную информацию даже если вам говорят, что у нас тут маленькая проблемка, и она вот именно в этом месте, мамой клянусь! Анализируйте проблему в контексте.
Случай пятый. Я привыкаю к несовпадениям
Создание системы управления НСИ в производственной компании.Цель проекта – создание системы ведения НСИ в управляющей компании со множеством филиалов, заводов и конструкторских подразделений.
В этот раз мы дальше нескольких презентаций не продвинулись. Наша система NORMA очень понравилась технарям. Она закрывала все их существующие проблемы. Дальше пришла очередь показывать систему руководству, и вот тут произошел облом десятилетия. Высокий руководитель посмотрел, послушал и сказал: «Мы тут все работаем на продуктах Apple, у них есть определенный стиль, а ваша система в этот стиль не вписывается. Мы ее даже рассматривать не будем».
Что мы запомнили: заказчики бывают разные, и некоторым вы просто не подходите. Стиль другой.
Подобные истории случаются в различных проектах. Что интересного было в вашей проектной жизни? Что стало для вас неожиданным уроком? Делитесь в комментариях.
Теги: Добавить метки
Отрасль: Энергетика и ЖКХ
Поскольку Росатом объединяет множество предприятий и организаций, создание общеотраслевых справочников является необходимым условием для централизации и обеспечения прозрачности закупочной деятельности и отношений с поставщиками, а также для организации совместной работы ИТ-систем предприятий отрасли. Именно поэтому проект по созданию единой отраслевой системы нормативно-справочной информации (ЕОС НСИ) был включен в «Программу трансформации финансово-экономического блока и информационных технологий» Госкорпорации. Система ЕОС НСИ охватит организации блоков «инжиниринг и строительство атомных станций», «эксплуатация атомных станций», «жизненный цикл ядерного топлива». По итогам открытого конкурса к реализации проекта была привлечена компания IBS, в качестве платформы выбрано специализированное решение SAP.
К настоящему моменту завершен пилотный проект по созданию ЕОС НСИ. В его рамках создан ряд справочников: «Контрагенты» (дебиторы/кредиторы, юридические лица, резиденты/нерезиденты), «Материально-технические ресурсы» (МТР), «Элементы промышленных объектов», «Единый план счетов», набор общероссийских справочников и классификаторов. Наиболее востребованными стали справочники «Контрагенты» (в настоящий момент содержит около 70 тыс. записей), «МТР» (около 150 тыс. записей) и «Единый план счетов». Уже в ходе пилотного проекта к ЕОС НСИ по справочнику «Контрагенты» были подключены 215 предприятий, по справочнику «МТР» - 35 предприятий. Всего в системе работает более 4 тыс. пользователей, их доступ обеспечен с помощью портального сервиса.
Сейчас ведутся работы по тиражированию системы. Ожидается, что к 2012 году общее число пользователей ЕОС НСИ достигнет порядка 10 тыс. человек. Таким образом, данный проект в области организации нормативно-справочной информации на платформе SAP станет одним из самых масштабных в мире и крупнейшим в Европе. Результаты проекта и возможности ЕОС НСИ будут использованы в целом ряде других ИТ-проектов Госкорпорации «Росатом». Среди них - создание единой отраслевой системы закупок, единой отраслевой системы интеграции корпоративных приложений, единой отраслевой системы документооборота, системы управления имущественными активами, внедрение системы единого расчетного центра и др.
«Централизация процессов ведения нормативно-справочной информации и использование соответствующей информационной системы, во-первых, повысит качество и достоверность информации, предоставляемой ИТ-системами. Во-вторых, позволит снизить затраты и временя для формирования консолидированной отчетности. В-третьих, минимизирует риски из-за неполноты или некорректности данных для платежей. Также это позволит оптимизировать и обеспечить прозрачность процессов закупок и работы с поставщиками, сократить время планирования закупок и снабжения МТР, оптимизировать процесс ведения НСИ за счет организации единой среды управления », – отметил руководитель направления по программе НСИ ЗАО «Гринатом» Кирилл Суковых .
Понимая необходимость создания единственного источника достоверной (эталонной) НСИ, правильность которой будет признаваться всеми потребителями НСИ в пределах компании и организаций системы «Транснефть» (ОСТ), руководство компании инициировало проект создания системы АСУ НСИ как один из приоритетных в рамках программы реализации IT-стратегии.
Централизованные справочники - это фундамент, на котором возводится все здание Тиражного комплекса. Поэтому Автоматизированная система управления нормативно-справочной информацией (АСУ НСИ) была одной из первых систем, внедренных в рамках программы реализации IT-стратегии, - рассказывает руководитель проекта, главный технолог департамента информационных технологий ПАО «Транснефть» Сергей Строгов. - АСУ НСИ разрабатывалась в течение двух лет и была запущена в постоянную эксплуатацию в январе 2015 года. В создании системы принимало участие более 150 специалистов компании и подрядные организации.
Предназначение АСУ НСИ - обеспечение всех автоматизированных информационных систем компании и ОСТ эталонной нормативно-справочной информацией. Справочники АСУ НСИ лежат не только в основе информационных систем Тиражного комплекса, но и систем, эксплуатируемых в настоящее время в ОСТ.
В результате создания этой системы разработаны корпоративные регламенты ведения основных справочников, методики нормализации справочников, выполнено начальное наполнение справочников, созданы современные программные средства ведения и актуализации справочников.
Функции поддержания НСИ в актуальном состоянии возложены на отдел ведения НСИ ООО «Транснефть Финанс». Пользователи АСУ НСИ из ОСТ и компании, столкнувшись с нехваткой информации в справочнике, формируют запрос на добавление новых или изменение существующих записей в АСУ НСИ. Эксперты отдела ведения НСИ проверяют данные в запросах на соответствие методикам нормализации и другим документам, регламентирующим качество нормативно-справочной информации. В результате новая запись создается в справочнике или пользователь получает уточняющие вопросы и рекомендации по использованию текущих записей.
Справочник обязан отвечать нескольким параметрам - данные должны быть актуальными, полными и непротиворечивыми, - говорит начальник отдела ведения НСИ Дмитрий Морозов. - Для того чтобы добиться этого, в рамках АСУ НСИ мы решили задачи по разработке и внедрению эффективной методологии ведения справочников и классификаторов. Выстроили систему поддержки данных в актуальном состоянии, обеспечивающую их полноту, контроль целостности и непротиворечивости данных.
Как уже было сказано, данные НСИ изменяются на основании запросов пользователей.
Достаточно сказать, что ежедневно по всем справочникам поступает до пятисот запросов, а в период формирования в ОСТ планов закупки РЭН количество запросов пользователей НСИ (ответственных за планирование РЭН, закупщиков материально-технического обеспечения, тех, кто работает с документами по оперативному учету) увеличивается вдвое, - прокомментировал Дмитрий Морозов .
Система обеспечивает гибкие подходы к интеграции, и это снижает общие издержки на подключение новых систем. АСУ НСИ использует стандартные способы интеграции с Комплексной автоматизированной системой управления производственными активами (КСУА), Корпоративной информационной системой автоматизации финансово-хозяйственной деятельности (КИС ФХД), Системой электронного документооборота (СЭД), Модулем подготовки и хранения спецификаций (МПХС), КИС «Галактика», КИС «Флагман», Системой управления финансово-хозяйственной деятельностью «ИКАР» и другими системами.
В компании определены правила наименований и атрибутов элементов справочников АСУ НСИ, - рассказывает Сергей Строгов . - Сейчас к системе АСУ НСИ подключено 46 ОСТ и более 15 тысяч пользователей. АСУ НСИ - это основной рабочий инструмент для департамента организации и проведения торгов, департамента планирования РЭН, транспорта и надзора за строительным контролем и других структурных подразделений.
АСУ НСИ: состав справочников
Сейчас в системе четыре основных справочника: «Материально-технические ресурсы» (МТР), «Контрагенты», «Объекты», «Виды работ/ услуг». Основной объем работы пришелся на два первых справочника АСУ НСИ: «МТР» и «Контрагенты».
Основу справочника «МТР» составляет базовый классификатор, который включает более двух тысяч классов нижнего уровня. В основу была положена классификация, принятая в компании. Она была существенно детализирована в ходе разработки нового классификатора МТР и методик нормализации каждого класса.
Подход к реализации блока методических задач был типовой для такого рода проектов, - отмечает руководитель проекта от подрядной организации Олег Енин. - Однако в ходе реализации технических задач были предложены и разработаны уникальные для российского рынка решения, основанные на максимальной автоматизации разработанных методик. Прежде всего решение по автоматическому формированию наименований записей МТР по шаблонам, предусмотренным методиками нормализации. Пользователи выбирают значения основных характеристик МТР - наименование формируется автоматически.
Данное решение позволяет практически полностью исключить ошибки, вызванные так называемым человеческим фактором, и, как следствие, упростить процессы формирования запроса на новую запись пользователем АСУ НСИ и последующей обработки запроса экспертами отдела ведения НСИ.
В случае, когда необходимо поменять методики нормализации, например, при замене нормативного документа, снятия того или иного МТР с производства, добавления новых атрибутов в запись, формируется запрос отдельного типа. Данный запрос вначале рассматривают эксперты отдела ведения НСИ, затем кураторы от профильных департаментов ПАО «Транснефть».
Совокупность методического обеспечения и технических решений АСУ НСИ позволяет существенно снизить время обработки запросов в отделе ведения НСИ и обеспечить пользователей бизнес-подразделений нормализованной нормативно-справочной информацией в максимально сжатые сроки.
На данный момент объем справочника «МТР» превышает 1,2 млн. позиций, включая около 1 млн. позиций запасных частей, - оценивает проделанную работу Сергей Строгов . - В справочнике содержится не только номенклатура запчастей, но и ведется учет цен на них. Эта информация доступна всем ОСТ и позволяет более эффективно использовать финансовые средства компании.
Например, группа МТР «Автозапчасти, автошины и аккумуляторы» используется организациями системы «Транснефть» в процессе формирования лотов на закупку услуг по техническому обслуживанию и ремонту транспортных средств, специальной и дорожно-строительной техники.
Отдел транспортных средств и специальной техники департамента РЭН, транспорта и надзора за строительным контролем ПАО «Транснефть» ежегодно организует работу по актуализации производителей запасных частей, перечня выпускаемой продукции, наименования и ее стоимости, - приводит пример главный специалист отдела Алексей Крючков . - В период 2016-2017 годов в справочнике АСУ НСИ актуализирована продукция 170 предприятий-производителей. По результатам актуализации номенклатуры и стоимости в справочнике АСУ НСИ организации системы «Транснефть» ежегодно заключают с операторами консигнационных складов дополнительные соглашения на изменение стоимости запчастей.
Справочник МТР интегрирован с 33 информационными системами, которые эксплуатируются в 32 ОСТ.
Справочник «Контрагенты» содержит список всех юридических лиц, с которыми работают сотрудники компании и ОСТ. Исходными данными для справочника послужила информация из Системы Ведения НСИ OOO «Транснефть Финанс». С помощью методики нормализации были определены правила заполнения атрибутов записи контрагента. Справочник сейчас насчитывает более 90 тыс. записей.
АСУ НСИ решает задачу хранения актуальной информации и, самое главное, обеспечивает согласованность собственных справочников с общероссийскими и отраслевыми классификаторами и справочниками, такими как классификатор адресов КЛАДР, справочник банков «БИК ЦБ РФ», классификаторы стран мира, валют, единиц измерения, ОКАТО, ОКВЭД, - добавляет Дмитрий Морозов.
Таким образом, получается, что компания «Транснефть», государство и отраслевые предприятия говорят на одном понятном для всех языке.
Справочник «Контрагенты» интегрирован с 15 информационными системами, которые эксплуатируются в 14 ОСТ - с некоторыми организована интеграция с получением ответа-подтверждения о приемке записей, другие с помощью сервиса извлечения самостоятельно запрашивают информацию о контрагентах из АСУ НСИ по расписанию.
Справочник «Объекты» определен в Перспективной программе и обновляется ежеквартально на основании корректировок Программы. Он включает:
- объекты Плана капитальных вложений ОСТ по Инвестиционной программе;
- объекты Плана капитальных вложений по Программе технического перевооружения и реконструкции;
- объекты Программы капитального ремонта;
- объекты прочих капитальных вложений;
- объекты Программы ликвидации.
Основной целью создания справочника являлась реализация функций тиражирования эталонных данных в информационные системы ОСТ. Изначально данные загружались из файлов MS Excel, направленных в отдел ведения НСИ. Сейчас настраивается интеграция с Корпоративной информационной системой управления программами (КИС УП) как поставщиком эталонных данных для дальнейшего тиражирования в информационные системы.
Справочник «Виды работ/ услуг» планируется использовать в Тиражном комплексе, в частности в Автоматизированной системе управления закупочной деятельностью (АСУ Закупки).
Это задел на будущее, - комментирует Сергей Строгов . - В нем отражается группировка работ и услуг. В его основу легли перечни работ и услуг, которые определены регламентами компании «Транснефть». Фактически - это «слепок» наших регламентов.
АСУ НСИ: развитие
АСУ НСИ - это «живая» и непрерывно совершенствующаяся система. С момента ввода в постоянную эксплуатацию выполнено более 400 изменений базового классификатора, специалистами службы технической поддержки реализовано порядка 750 улучшений, подключено 17 новых информационных систем.
Компанией инициирован проект по развитию функциональности АСУ НСИ, добавлению новых справочников. Так, в рамках проекта запланирована реализация автоматического сопоставления позиций справочника «МТР» с элементами реестра основных видов продукции (ОВП), который содержит перечень предприятий-производителей, прошедших инспекции комиссией ПАО «Транснефть», что позволит более эффективно ис- пользовать функциональность автоматического лотирования в АСУ Закупки. Добавляется справочник тарифных участков. Более полно и подробно будет вестись справочник ОСТ, включая структурные подразделения дочерних организаций. Запланирована интеграция с разрабатываемой Системой дистанционного обслуживания поставщиков (СДОП), что позволит подключить к АСУ НСИ внешних подрядчиков, а именно проектные институты.
Планируется развивать справочник МТР в части его централизованного применения. Задача, которую предстоит решить в ближайшее время, — создать единую базу неиспользованных МТР. Данные будут поступать от всех ОСТ в систему АСУ Закупки, которая будет помогать в подборе вариантов их использования.
В силу различных причин в ходе производственно-хозяйственной деятельности в ОСТ МТР остаются неиспользованными, и не все они могут быть использованы в производстве на этом же предприятии, - рассказывает заместитель начальника отдела планирования и реализации планов РЭН ПАО «Транснефть» Алексей Украинцев . - Такие МТР выявляются структурными подразделениями ОСТ, подлежат включению в сводный перечень невостребованных МТР, и перед нами стоит задача вовлечь их в производство. С целью унификации данного процесса в августе 2016 года был обновлен соответствующий отраслевой регламент. Регулярно проводимые компанией контрольные проверки ОСТ также направлены на то, чтобы информация о неиспользованных МТР «поднималась» на уровень компании и была общедоступна всем заинтересованным пользователям. В настоящее время в целях вовлечения собственных неиспользованных МТР специалисты отделов материально-технического снабжения и отделов комплектации ОСТ проделывают большую работу. Однако, учитывая растущий объем информации, поиск вариантов применения МТР внутри компании целесообразней осуществлять с помощью информационной системы.
Безусловно, реализация такой задачи невозможна без эффективного обмена информацией о неиспользованных МТР и применения централизованного справочника и единой кодировки номенклатуры МТР. Поэтому интеграция учетных систем ОСТ с АСУ НСИ является в том числе первоочередным этапом создания механизма объективного и быстрого подбора возможных путей вовлечения невостребованных в ОСТ МТР.
Создание АСУ НСИ является одним из успешных проектов, реализованных в компании и сформировавших долгосрочную информационную поддержку существующих и перспективных информационных систем, - резюмирует заместитель директора департамента информационных технологий ПАО «Транснефть» Дмитрий Лебедев. - АСУ НСИ - это базовый элемент Тиражного комплекса, задачи которого - обеспечить использование единых корректных и актуальных справочных данных. В АСУ НСИ описываются и классифицируются данные, необходимые для выполнения бизнес-процессов, регламентируется деятельность компании.
Кристина Гутовец
