Отчет о проведенных работах по очистке данных

Реферат

• 
  проведен анализ данных с целью выявления всех типов ошибок в данных и определения конечного набора проверок;
  
• 
  разработаны алгоритмы обнаружения всех выявленных в ходе анализа типов ошибок, с целью их применения на имеющихся и вновь поступающих данных;
  
• 
  проведено исправление ошибок, используя разработанные алгоритмы.
  

1. Введение

2. Термины, определения и сокращения

3. Цель и задачи работы по очистке данных

• 
  проведение анализа данных с целью выявления всех типов ошибок в данных и определения конечного набора проверок;
  
• 
  разработка алгоритма обнаружения всех выявленных в ходе анализа типов ошибок, с целью их применения на имеющихся и вновь поступающих данных;
  
• 
  проведение исправления ошибок, используя разработанные алгоритмы.
  

4. Общие сведения о системе и ее взаимодействии со сторонними информационными системами

1.4.1. Вид деятельности, для автоматизации которой предназначена система

2.4.2. Сведения о программных и технических средствах обеспечивающих работу системы

3.4.3. Перечень систем, с которыми связана ИАС МКГУ

• 
  «SMS-шлюз», осуществляющий отправку коротких текстовых сообщений гражданам с предложением оценить качество предоставления государственных услуг, и осуществляющий прием ответных сообщений от граждан;
  
• 
  «Телефонный центр», обеспечивающий опрос граждан о качестве предоставления государственных услуг.
  

1. 
   Сервис выдачи коротких («народных») названий услуг внешним информационным системам;
   
2. 
   Сервис приема стандартизированных данных с информацией о случаях предоставления государственных услуг из ведомственной информационной системы предоставления государственных услуг;
   
3. 
   Сервис взаимодействия и обмена данными с подсистемой «SMS-шлюз» АИС ФТЦ;
   
4. 
   Сервис взаимодействия и обмена данными с подсистемой «Телефонный центр» АИС ФТЦ или любым другим программным продуктом c аналогичной функциональностью;
   
5. 
   Сервиса взаимодействия ИАС МКГУ с ИС «Федеральный реестр государственных услуг» для актуализации справочников по услугам и по ведомствам в ИАС МКГУ;
   
6. 
   Сервис актуализации опросной формы о качестве предоставления государственных услуг;
   
7. 
   Сервис передачи оценок из ИАС МКГУ во внешние информационные системы, который позволит получать сводные данные по оценкам для конкретного территориального органа;
   
8. 
   Модуль взаимодействия с легковесным сервисом актуализации ФРГУ.
   

4.4.4. Описание связей между системами

5. Основная часть

5.5.1. Результаты проведенного анализа данных

5.1.1. Методика проведения анализа данных с целью выявления типовых ошибок

1. 
   vendor_id
   
2. 
   authority_reg_id
   
3. 
   authority_name
   
4. 
   service_reg_id
   
5. 
   service_name
   
6. 
   user_id
   
7. 
   user_foreign_id
   
8. 
   mobile
   
9. 
   email
   
10. 
    date
    
11. 
    okato
    
12. 
    procedure_reg_id
    
13. 
    procedure_name
    
14. 
    authority_foreign_id
    
15. 
    foreign_id
    

1. 
   vendor_id
   
2. 
   authority_reg_id
   
3. 
   service_reg_id
   
4. 
   date
   
5. 
   okato
   
6. 
   indicator_id
   
7. 
   value
   
8. 
   indicator_value_id
   

1. 
   ФРГУ (внешний)
   
2. 
   Показатели
   
3. 
   Значения показателей
   
4. 
   Вендоры
   
5. 
   Регионы
   
6. 
   ОКАТО (внешний)
   
7. 
   ОКТМО (внешний)
   

1. 
   Анализа данных (по-блоково, по 100 000 записей)
   
2. 
   Преобразования данных (по-блоково, по 100 000 записей)
   
3. 
   Маппинга
   

5.1.2. Описание выявленных типов ошибок

1. 
   Дублирование данных по внешним ключам (внешние ключи не всегда были обязательным атрибутом для МКГУ и уникальность их не проверялась).
   
2. 
   Дублирование данных по составным ключам (сбои или умышленные накрутки во внешних системах).
   
3. 
   Наличие неактуальных показателей (изменение вопросов анкеты, сбои внешних систем).
   
4. 
   Отсутствие внешних ключей (внешние ключи не всегда были обязательным атрибутом для МКГУ).
   
5. 
   Невалидные коды ОКАТО (сбои внешних ИС).
   
6. 
   Невалидные номера телефонов (сбои внешних ИС).
   
7. 
   Некорректные статусы у событий в результате сбоя работы SMS-шлюза (сбой SMS-шлюза).
   
8. 
   Некорректные коды объектов оценивания (сбои и некорректная работа внешних ИС).
   

5.1.3. Описание конечного набора проверок

1. 
   Прямая проверка дублей услуг или оценок в системе по внешним ключам (внутренним идентификаторам внешних информационных систем);
   
2. 
   Составная проверка дублей по косвенным признакам:
   

• 
  дата,
  
• 
  услуга,
  
• 
  ведомство,
  
• 
  признаки пользователя.
  

3. 
   Приведение старых (устаревших) и невалидных показателей к существующим, либо исключение их из статистической базы, в случае невозможности приведения;
   
4. 
   Создание уникальных внешних ключей для записей, созданных до введения признака обязательности этого поля;
   
5. 
   Заполнение отсутствующих, либо невалидных кодов ОКАТО;
   
6. 
   Исключение из статистической базы записей, содержащих невалидные (по ФЛК) номера телефонов.
   
7. 
   Очистка значений оценок, вызванных в результате сбоев работы SMS-шлюза;
   
8. 
   Приведение внешних идентификаторов ведомств к идентификаторам ФРГУ путем анализа и сопоставление названий однозначно не идентифицируемых данных, мапинга по внешним ключам содержащимся в ФРГУ.
   

6. 5.2. Описание алгоритмов обнаружения ошибок и их исправления

5.2.1. Алгоритм прямой проверки дублей услуг или оценок в системе по внешним ключам (внутренним идентификаторам внешних информационных систем)

5.2.2. Алгоритм составной проверки дублей по косвенным признакам

1. 
   vendor_id
   
2. 
   authority_reg_id
   
3. 
   authority_name
   
4. 
   service_reg_id
   
5. 
   service_name
   
6. 
   user_id
   
7. 
   user_foreign_id
   
8. 
   mobile
   
9. 
   email
   
10. 
    date
    
11. 
    okato
    
12. 
    procedure_reg_id
    
13. 
    procedure_name
    
14. 
    foreign_id
    

5.2.3. Алгоритм приведения старых (устаревших) и невалидных показателей к существующим, либо исключение их из статистической базы, в случае невозможности приведения

5.2.4. Алгоритм создания уникальных внешних ключей для записей, созданных до введения признака обязательности этого поля

5.2.5. Алгоритм заполнения отсутствующих, либо невалидных кодов ОКАТО

1. 
   ФЛК по правилам ОКАТО
   
2. 
   ФЛК по правилам ОКТМО
   
3. 
   Наличие ОКАТО у связанного с объектом территориального отделения
   
4. 
   Наличие ОКАТО, проходящего ФЛК у любого из объектов с таким же атрибутом authrotiy_reg_id.
   

5.2.6. Алгоритм исключения из статистической базы записей, содержащих невалидные (по ФЛК) номера телефонов

5.2.7. Алгоритм очистки значений оценок, вызванных в результате сбоев работы SMS-шлюза

1. 
   Status = 2
   
2. 
   Commentary = NULL
   

5.2.8. Алгоритм приведения внешних идентификаторов ведомств к идентификаторам ФРГУ путем анализа и сопоставление названий однозначно не идентифицируемых данных, мапинга по внешним ключам содержащимся в ФРГУ

1. 
   Authority_reg_id
   
2. 
   Authority_name
   
3. 
   Authority_foreign_id
   

Рисунок 4. Интерфейс панели управления маппингами модуля «Клиниг» в ИАС МКГУ.

6. Результаты работы разработанных алгоритмов