В чем заключается мировой тренд раскрытия государственных данных
В чем заключается мировой тренд раскрытия государственных данных
Почтовый адрес:
НИУ ВШЭ: Россия, 101000, г. Москва, ул. Мясницкая, д. 20
Фактический адрес:
109074, Москва, Славянская пл., д.4, стр. 2, офис 307, НИУ ВШЭ
Тел.: (495) 772-95-90 доб. 12631
Эл. почта: vgmu@hse.ru
Рейтинг
Science Index
В общем рейтинге
SCIENCE INDEX
за 2019 г.
(более 4000 журналов)
32 место
2 место — в рубрике «Организация и управление»
Двухлетний импакт-фактор РИНЦ 2019: 2,631 (с учетом цитирования из всех источников)
Пятилетний импакт-фактор РИНЦ 2019: 1,725
Десятилетний индекс Хирша 2019: 31
Доступ к информации. Мировой тренд в реформировании государства
Результаты исследования: принцип преобладания общественного интереса далеко не всегда отражен в национальных законах о доступе к информации; государственные органы имеют широкие возможности выведения многих категорий информации из сферы действия закона и из поля зрения общественности.
Основные выводы: законодательно установленный и неукоснительно обеспечиваемый на практике доступ к официальной информации выступает институциональной гарантией основных принципов национального государства (демократической республики): народовластия, гласности правления, публичной подотчетности должностных лиц; обеспечение доступа граждан к официальной информации составляет священный конституционный долг каждого должностного лица в государстве. Неисполнение этого долга должностным лицом равносильно покушению на основы государства и должно влечь за собой наказание, соизмеримое с вредом, который такое правонарушение наносит не только лицу, чье право на доступ к информации нарушено, но и всей нации — ее гражданскому государственному строю.
Тренды и антитренды в госуправлении и гос ИТ в мире и в России
Наблюдая за тем как меняется отношение к ИТ в государстве, за попытками создания сервисов для граждан, изменениями ИТ инфраструктуры и тд, я собираю наиболее заметные тренды и, иногда, антитренды в госуправлении и неразрывно связанным с ним гос ИТ.
Заключается в том что разработка переходит в Github или же его аналоги. И это уже не только просто раскрытие кода, сама разработка ведётся полностью публично, за исключением небольшого числа компонентов связанных с безопасностью. Это большой тренд с лидерами в лице США, Великобритании, Австралии, Канады, Новой Зеландии, Мексики, Евросоюза и практически всех развитых стран.
Цель открытости кода в защите от vendor lock-inи в возможности не зависеть от крупнейших вендоров.
В России требования по открытой разработке отсутствуют и существуют ограничения не позволяющие госорганам и бюджетным учреждениям публиковать код в открытом доступе. Вместо этого практикуется «импортозамещение», зарубежных продуктов на российские.
Статус в мире: активно развивается
Статус в России: не практикуется
Доступность госданных для граждан, бизнеса и других органов власти посредством создания порталов открытых данных, снятии юридических ограничений на использование (свободные лицензии) и открытые API. Повсеместный тренд по всему миру, с опорой на международные инициативы OGP и Open Data Charter.
В России тема открытых данных заявлена в 8-ФЗ, ряде нормативных документов, но в последние годы сходит с политической повестки. Открытые данные публикуются, но не имеют прежней поддержки.
Статус в мире: активно развивается
Статус в России: развивается с ограничениями
3. Машиночитаемые законы
Перевод законов и их разработки в машиночитаемую форму. Это и декомпозиция существующих законов, и перевод законотворческого процесса в структурированную форму. Много попыток по разным странам, наиболее заметные примеры это стандарт Akomo Ntoso и структуризация законов во Франции и Новой Зеландии по инициативе французского Etalab
В России на государственном уровне таких усилий не предпринималось и не предпринимается.
Статус в мире: развивается
Статус в России: не практикуется
4. Гособлака
Повсеместный тренд на два подхода государства к облачной инфраструктуре. Один подход в сертификации частных провайдеров облачных сервисов для предоставление услуг госорганам. Пример: Amazon, Microsoft. Другой подход в создании собственной инфраструктуры и введении требования к госорганам к развертыванию их систем на этой инфраструктуре. Пример: Public Administration Cloud в Италии.
Гособлака также развиваются в сторону Cloud Marketplace, по сертификации и каталогизации сервисов для государства работающих в облачной среде.
В России было несколько попыток описать гособлако в концептуальном виде и начать внедрять, но за все последние годы мало что сдвинулось с мёртвой точки. Нет ни сертификации частных облаков, ни госинфраструктуры. Вместо этого по прежнему каждый орган власти закупает оборудование.
Статус в мире: активно развивается
Статус в России: де-факто заморожено
5. Отказ от внешних подрядчиков и команды разработки in-house
Тренд напрямую завязанный на открытость разработки в гос ИТ и заключается в создании специальных цифровых команд выступающих как архитекторы общей программной инфраструктуры, разработчиками ключевых систем и компонентов и «пожарной командой» по спасению проваленных гос ИТ проектов.
Примерами таких команд в мире являются: 18F (США), GDS (Великобритания), Team Digitale (Италия), DTA (Австралия)
В России такая практика отсутствует, есть лишь тренд на перенос сопровождения и поддержки ПО в госучреждения, но не самой разработки и тем более не разработки на централизованном федеральном уровне. При этом команды разработчиков есть в региональных и федеральных центрах информатизации и во многих госучреждениях.
Статус в мире: активно развивается
Статус в России: не практикуется
6. Электронная цифровая подпись
Электронная цифровая подпись для взаимодействия государства и гражданина кому то уже кажется обыденным, но по факту в мире до сих она не так распространена и в том числе во взамодействиии гражданина или бизнеса и государства.
В мире системы цифровой подписи связанные ещё и с идентификацией персоны развиваются. Система цифровых подписей имеет зрелую форму в Эстонии и сейчас проектируется в Италии.
В России рынок ЭЦП привел к появлению сотен аккредитованных удостоверяющих центров. Вместе с требованиями российской криптографии и другими нюансами отечественного регулирования внедрение ЭЦП в России пошло по самоизоляционному пути и теперь имеет малые шансы на более-менее простую интеграцию с аналогичными инцииативами в других странах.
Статус в мире: развивается
Статус в России: развивается с самоизоляцией
7. Внедрение цифровых паспортов и онлайн идентификации для граждан
Статус в мире: активно развивается
Статус в России: активно развивается
8. Внедрение страновых биометрических банков данных
Статус в мире: активно развивается
Статус в России: активно развивается
Этот список неполон, я не описал пока такие тренды как:
Постепенно я их все буду описывать на этой странице.
Subscribe to Ivan Begtin blog
Get the latest posts delivered right to your inbox
Ivan Begtin
I am focused on Open Data, Procurement, e-Government, Open Government, Data, Public Budgets, Privacy and other tech, data and government stuff
Открытые данные – тренд государства будущего
Сегодня государства во всем мире переосмысливают свою роль в процессах создания, обмена и хранения данных. Вслед за крупнейшими корпорациями, которые давно превратили данные в основной бизнес, в среду государственного управления проникает идея о значительно большей их ценности для самых различных сфер – от принятия решений до развития новых бизнесов и стартапов.
Страны по-разному подходят к вопросу регулирования и развития рынка данных.
В США в 2018-2019 годах разрабатывается Федеральная стратегия данных (Federal Data Strategy). Этот документ определяет набор принципов государственной политики в области данных для осуществления мониторинга и оценки последствий федеральных практик в работе с данными для общества, проверки дизайна и баланса защиты интересов пользователя и служения общественному благу. Ключевой акцент в Стратегии сделан на соблюдении этики.
В Австралии в 2018 году выпустили отчет «Доступность и использование данных» (Data Availability and Use). На его основе Правительство страны готовит стратегию работы с данными и делает акцент на открытости данных и их повторном использовании (это означает, что бизнес, граждане, органы власти в своей работе в первую очередь используют открытые данные).
Аналогичная работа идет в других странах. Правительства «нащупывают» свой план по работе с данными как в сфере обеспечения защиты прав граждан на их персональные данные, так и в работе с данными, создаваемыми в рамках государственного регулирования.
При этом во всех странах регулирование рынка данных начинается с данных самого государства, которые рассматривают в первую очередь с точки зрения открытости и доступности для граждан и бизнеса. Данные государства наряду с принципами открытого исходного кода предполагают значительный экономический и социальный эффект от ведения открытой разработки и доступности кода для общественного аудита и свободного доступа, в публикации общественно значимых знаний под свободными лицензиями, такими как Creative Commons и Open Database License, являются важнейшими элементами публичности любого современного государства.
В России над темой открытых данных работают с 2012 года. Еще в рамках инициативы открытого правительства на федеральном уровне появился портал открытых данных – data.gov.ru (к сожалению, в итоге он превратился в «свалку данных»), а также множество порталов открытых данных в субъектах Российской Федерации и муниципалитетах.
Хочется надеяться, что происходящее в мире найдет свое отражение и в России. Анализируя разработку Национальной системы управления данными (НСУД), можно заметить, что инициатива по систематизации принципов и условий работы с данными постепенно сводится исключительно к формированию цифрового профиля при отсутствии основных принципов и правил, когда открытые данные не рассматриваются как базовая ценность. Возникает и множество других проблем при разработке НСУД.
На мой взгляд, в настоящее время приоритетными направлениями в данной области для нашей страны должны стать следующие.
1. НСУД должна быть стратегическим документом, вплоть до ее включения в разработку Национальной стратегии развития рынка данных, в котором были бы сформулированы основополагающие принципы о том, что государство должно и не должно делать при осуществлении регулирования данных.
2. Принцип общедоступности данных для общества и бизнеса под свободными лицензиями должен стать обязательной частью государственной повестки, в том числе внутри НСУД. Именно доступность данных для граждан и бизнеса является одним из ключевых экономических и социальных эффектов от внедрения Национальной системы управления данными.
3. Нужны четкие правила доступности данных для бизнеса и определения баланса частных и общественных интересов. Некоторые данные могут быть доступны регламентированно (только компаниям, прошедшим аккредитацию, получившим разрешения и т.д.), но условия и ограничения в предоставлении подобных разрешений должны быть четко сформулированы и описаны.
4. Каждый гражданин должен обладать полным правом на получение данных о себе. То есть во всех случаях (кроме тайны следствия) он должен иметь право на получение всех данных о себе, которые хранятся в государственной информационной системе.
5. Коммерческим компаниям необходимо предоставить право использовать данные, которые они собирают или приобретают, всеми легальными способами. Государство должно предпринять все разумные усилия по выводу серого рынка торговли данными в легальное русло, в том числе путем целевой поддержки платформ и иных механизмов обмена данными.
Государственная работа над регулированием рынка данных только началась, но уже сейчас важно предусмотреть позиции бизнеса и граждан. Регулирование данных на уровне органов власти должно создавать не только новые государственные информационные системы (ГИС), но и общественные блага, приносящие как налоговые поступления от развития бизнеса, так и мощный социальный эффект.
Каким может быть идеальное госрегулирование?
Основу госрегулирования должна составлять концепция или стратегия развития рынка данных со стороны государства, охватывающая принципы государственного регулирования указанного рынка и роль государства в этой сфере. Концепция должна определять такие направления, как:
1) этика сбора, обработки и использования данных, относящихся к наиболее чувствительным данным для общества (в первую очередь персональных данных);
2) принципы общественного блага и четкое определение случаев его приоритета над частными интересами;
3) принципы цифровых прав граждан: доступность им данных о них самих, управление доступом к их персональным данным для частных компаний и государства.
В ситуации нарастающего сбора данных общество и бизнес оказываются в неравных условиях с владельцами баз данных, которые знают о гражданине или компании значительно больше, чем они сами знают о себе. Цифровые права обеспечивают справедливость в доступе к данным без потери коммерческого преимущества у владельца данных;
4) государственная политика развития платформ сбора, обработки и обмена данными между участниками рынка данных: от поддержки стартапов, создающих подобные платформы, до разработки стандартов публикации и обмена данными;
5) четкая регламентация доступа к данным в государственных информационных системах, в том числе в части разрешения конфликтных и спорных ситуаций.
На основе НСУД должны быть разработаны отраслевые стратегии работы с данными под руководством профильных федеральных органов исполнительной власти и иных органов власти. Например, Минздравом России – в области здравоохранения, Генеральной прокуратурой Российской Федерации – в области правоохранительной системы.
В итоге на основе НСУД строятся все государственные информационные технологии. Система должна стать «каркасом», который объединит системы управления данных в отраслевом и ведомственных разрезах. В рамках нее должны решаться вопросы доступа к ГИСам, регулирования и дерегулирования использования данных, демонополизации рынков и др.
*Материал выражает личное мнение автора. Оно может не совпадать со мнением редакции
Топ-10 технологических трендов в обработке данных и аналитике в 2019 году по мнению Gartner
Добрый вечер. Перевод следующей статьи подготовлен специально для студентов курса «Аналитик BI». Приятного прочтения.
В центре внимания на саммите Gartner Data & Analytics 18-19 февраля в Сиднее были расширенная аналитика (Augmented Analytics) и искусственный интеллект.
Расширенная аналитика, непрерывный интеллект (continuous intelligence) и объяснимый искусственный интеллект (explainable artificial intelligence) являются одними из самых громких тенденций в области технологий обработки данных и аналитики, которые будут иметь разрушительный потенциал в последующие 3-5 лет, по мнению Gartner, Inc.
Выступая на саммите Gartner Data & Analytics в Сиднее, Рита Саллам, вице-президент по исследованиям Gartner, отметила, что лидеры в области данных и аналитики должны изучить потенциальное влияние этих тенденций на бизнес и соответствующим образом скорректировать бизнес-модели и производимые операции, в противном случае они рискуют потерять конкурентные преимущества перед теми, кто уделил этому достаточно внимания.
«История обработки данных аналитики продолжает развиваться, начиная от поддержки внутреннего принятия решений до непрерывного интеллекта, информационных продуктов и найма специалистов по данным», — сказала Рита Саллам. «Очень важно получить более глубокое понимание технологических тенденций, лежащих в основе создания и развития этой истории, а также расставить определенные приоритеты относительно них, в зависимости от ценности для конкретного бизнеса.»
По словам Дональда Файнберга, вице-президента и выдающегося аналитика Gartner, основная проблема, вызванная цифровым сбоем (слишком большое количество данных), открыла еще и беспрецедентную возможность. Громадный объем данных вкупе с растущей мощью средств обработки, которую обеспечивают облачные технологии, дает четкое понимание, что теперь можно обучать и выполнять алгоритмы в больших масштабах, необходимых для полной реализации потенциала ИИ.
«Размер, сложность, распределенный характер данных, скорость работы и непрерывный интеллект, необходимые для цифрового бизнеса, дают понять, что жесткие и централизованные архитектуры и инструменты больше не справляются,» — говорит Файнберг. «Дальнейшее выживание любого бизнеса будет зависеть от гибкой архитектуры, ориентированной на данные, которая отвечает постоянно растущим темпам изменений.»
Компания Gartner рекомендует лидерам в области обработки данных и аналитики обсудить с представителями бизнеса основные приоритеты компании и подумать о том, как они смогут интегрировать в работу следующие тенденции.
Тренд №1. Расширенная аналитика
Расширенная аналитика – это следующая волна прорыва на рынке обработки данных и аналитики. Она использует машинное обучение и технологии искусственного интеллекта для преобразования методов разработки, потребления и совместного использования аналитического контента.
К 2020 году расширенная аналитика станет основным двигателем новых покупок в аналитике и BI, а также Data Science, ML платформ и встроенной аналитики. Лидеры в области обработки данных и аналитики обязаны планировать внедрение расширенной аналитики по мере развития возможностей платформы.
Тренд №2. Расширенное управление данными
Технология расширенного управления данными (Augmented Data Management) использует возможности ML и механизмы ИИ, чтобы создать категории управления информацией компании, включая качество данных, управление метаданными, управление основными данными, их интеграцию, а также самонастройку и самонастройку систем управления базами данных (СУБД). Она автоматизирует многие задачи и позволяет менее квалифицированным пользователям самостоятельно использовать данные. Таким образом высококвалифицированные технические специалисты могут сосредоточиться на более важных задачах.
Расширенное управление данными преобразует метаданные из используемых только для аудита, родословной и отчетности, в итоге поставляя их динамическим системам. Метаданные меняются с пассивных на активные и становятся основным двигателем для всего ИИ/ML.
К концу 2022 года количество задач, выполняемых вручную в области управления данными, уменьшится на 45% за счет внедрения машинного обучения и автоматизированного управления уровнем обслуживания.
Тренд №3. Непрерывный интеллект
К 2022 году более половины новых крупных бизнес-систем будут использовать непрерывный интеллект, который в свою очередь использует контекстные данные в режиме реального времени для улучшения решений.
Непрерывный интеллект – это паттерн проектирования, в котором аналитика в реальном времени интегрируется в бизнес-операции, обрабатывая текущие и исторические данные для предложения действий в ответ на событие. Он обеспечивает автоматизацию или поддержку принятия решений. Непрерывный интеллект использует несколько технологий, таких как расширенная аналитика, обработка потока событий, оптимизация, управление бизнес-правилами и машинное обучение.
«Непрерывный интеллект – это серьезное нововведение в работе команд, занимающихся данными и аналитикой,» — говорит Саллам. «Это грандиозная задача и прекрасная возможность для команд аналитиков и BI-специалистов помочь компаниям принимать более разумные решения в режиме реального времени уже в 2019 году. Его можно рассматривать, как окончательный вариант оперативного BI.»
Тренд №4. Объяснимый ИИ
Модели ИИ чаще всего используются для улучшения или полного замещения человека в вопросах принятия решений. Однако в некоторых сценариях компании должны обосновать, как эти модели приходят к конкретным решениям. Для укрепления доверия пользователей или заинтересованных сторон, архитекторы приложений должны сделать эти модели более понятными и объяснимыми.
К сожалению, большинство продвинутых моделей ИИ являются сложными черными ящиками, которые не в состоянии объяснить, как они вывели конкретную рекомендацию или решение. Объяснимый ИИ в data science и ML платформах, например, автоматически генерирует объяснение моделей с точки зрения точности, атрибутов, статистики моделей и функций на естественном языке.
Тренд №5. Графика
Графическая аналитика (Graph analytics) – это набор аналитических методов, позволяющих исследовать отношения между интересующими объектами, такими как организации, люди и транзакции.
Применение графической обработки и графических СУБД будет увеличиваться на 100% с каждым годом до 2022 года, что позволит ускорить подготовку данных и обеспечивать более сложную и адаптивную data science.
Графические хранилища данных могут эффективно моделировать, исследовать и запрашивать данные со сложными взаимосвязями между хранилищами данных, но потребность в специализированных навыках для работы с ними является их основным ограничителем на сегодняшний день.
Графическая аналитика в ближайшие несколько лет будет неуклонно расти, поскольку существует необходимость задавать сложные вопросы сложным данным, что не всегда практично или хотя бы осуществимо в масштабе, в котором можно использовать SQL-запросы.
Тренд №6. Ткань данных
Ткань данных (Data fabric) обеспечивает беспрепятственный доступ к данным и их совместному использованию в распределенной среде данных. Она представляет собой единый и согласованный фреймворк для управления данными, который предоставляет беспрепятственный доступ к данным и возможность их архитектурной обработки в любом другом хранилище.
До 2022 года заказные проекты ткани данных будут развернуты в основном как статическая инфраструктура, заставляя организации вкладываться в новую волну затрат на полную реорганизацию для обеспечения более динамических подходов к сетке данных (data mesh).
Тренд №7. NLP/Разговорная аналитика
К 2020 году 50 процентов аналитических запросов будут генерироваться с помощью поиска, обработки естественного языка (natural language processing (NLP)) или голоса, или же будут генерироваться автоматически. Необходимость анализировать сложные комбинации данных и делать аналитику доступной для всех в организации приведет к более широкому ее использованию, что позволит инструментам аналитики быть такими же легкими, как интерфейс поиска или разговор с виртуальным помощником.
Тренд №8 Коммерческий ИИ и ML
Gartner прогнозирует, что к 2022 году, 75% новых решений для конечных пользователей, в которых используются методы ИИ и ML, будут построены на коммерческих решениях, а не на платформах с открытым исходным кодом.
Коммерческие вендоры встраивают коннекторы в экосистему с открытым исходным кодом, тем самым предоставляя корпоративные функции, необходимые для масштабирования и демократизации ИИ и ML, такие как управление проектами и моделями, повторное использование, прозрачность, происхождение (lineage) данных, а также согласованность и интеграция с иными платформами, чего так не хватает открытым платформам.
Тренд №9: Блокчейн
Основная ценность блокчейна и распределенного реестра (distributed ledger technologies) заключается в обеспечении децентрализованного доверия в сети недоверенных участников. Появляется значительный потенциал вариантов использования аналитики, особенно тех, в которых фигурируют отношения и взаимодействия участников.
Однако, пройдет несколько лет, прежде чем четыре или пять основных блокчейн-технологий начнут доминировать. Пока это время не настанет, конечные пользователи технологий будут вынуждены подстраиваться под технологии и стандарты блокчейна, которые диктуются преобладающими клиентами или сетями. Это включает в себя интеграцию с существующей инфраструктурой данных и аналитики. Затраты на интеграцию могут превысить любую потенциальную выгоду. Блокчейн является источником данных, а не базой данных, и не заменяет существующие технологии управления данными.
Тренд №10. Серверы постоянной памяти
Новые технологии с использованием постоянной памяти (persistent-memory technologies) помогут снизить затраты и сложность внедрения архитектур с поддержкой вычислений в оперативной памяти (IMC). Постоянная память представляет собой новый уровень памяти между DRAM и NAND флэш-памятью, который может послужить экономичным запоминающим устройством для высокопроизводительных нагрузок. Он имеет определенный потенциал, который может быть использован для повышения производительности приложений, их доступности, времени загрузки, методов кластеризации и методов безопасности, сохраняя при этом затраты под контролем. Он также поможет организациям снизить сложность их прикладных программ и архитектур данных за счет снижения необходимости дублирования данных.
«Объем данных быстро растет, и актуальность преобразования обычных данных в ценные в режиме реального времени растет вместе с ним» — сказал Файнберг. «Новые серверные нагрузки требуют не просто более высокой производительности процессора, но и большего объема памяти и более быстрого сохранения данных.”
Более подробную информацию об использовании данных и аналитики для получения конкурентных преимуществ можно найти в Gartner Data & Analytics Insight Hub.
Саммит Gartner Data & Analytics
О Gartner
Gartner, Inc. является ведущей мировой научной консалтинговой компанией и членом S&P 500. Мы снабжаем лидеров бизнеса необходимыми данными, советами и инструментами для достижения их целей сегодня и создания успешных организаций завтра.
Наша непревзойденная комбинация экспертных, практических исследований данных помогает клиентам принимать правильные решения по наиболее важным вопросам. Мы являемся надежным консультантом и объективным ресурсом для более чем 15 000 организаций в более чем 100 странах — по всем основным функциям, в любой отрасли и для компаний любого размера.
Чтобы узнать больше о том, как мы помогаем людям, принимающим решения, строить будущее их бизнеса, посетите gartner.com.
На этом все. Пишите комментарии и до встречи на курсе!