1. Архивация данных

Архивация проводится в следующих случаях:

Архивный файл представляет собой набор из нескольких файлов (одного файла), помещенных в сжатом виде в единый файл, из которого их можно при необходимости извлечь в первоначальном виде. Архивный файл содержит оглавление, позволяющее узнать, какие файлы содержатся в архиве.

В оглавлении архива для каждого содержащегося в нем файла хранится следующая информация:

Любой из архивов имеет свою шкалу степени сжатия. Чаще всего можно встретить следующую градацию методов сжатия:

Что такое архиваторы?

Архиваторы – это программы (комплекс программ) выполняющие сжатие и восстановление сжатых файлов в первоначальном виде. Процесс сжатия файлов называется архивированием. Процесс восстановления сжатых файлов – разархивированием. Современные архиваторы отличаются используемыми алгоритмами, скоростью работы, степенью сжатия (WinZip 9.0, WinAce 2.5, PowerArchiver 2003 v.8.70, 7Zip 3.13, WinRAR 3.30, WinRAR 3.70 RU).

В ОС MS DOS существуют архиваторы, но они работают только в режиме командной строки. Это программы PKZIP и PKUNZIP, программа архиватора ARJ. Современные архиваторы обеспечивают графический пользовательский интерфейс и сохранили командную строку. В настоящее время лучшим архиватором для Windows является архиватор WinRAR.

Существует две версии RAR для Windows:

WinRAR имеет и другие дополнительные функции. WinRAR способен создать архив в двух различных форматах: RAR иZIP.

Рассмотрим преимущества каждого формата.

Архив в формате ZIP

Архив в формате RAR

формат RAR в большинстве случаев обеспечивает значительно лучшее сжатие, чем ZIP. Кроме того, формат RAR обеспечивает поддержку многотомных архивов, имеет средства восстановления поврежденных файлов, архивирует файлы практически неограниченных размеров. Необходимо отметить, что при работе в файловой системе FAT32 архивы могу достигать только 4 гигабайт. Работа с большими размерами архива поддерживается только в файловой системе NTFS.

Программа архивации Microsoft Backup (резервная копия)

Запуск программы осуществляется: Пуск – программы – стандартные – служебные – архивация данных. Откроется мастер архивации и восстановления в обычном режиме. Из этого режима можно перейти в расширенный режим для работы с мастером архивации, мастером восстановления и мастером аварийного восстановления ОС.

Программа архивации позволяет защитить данные от случайной утери в случае, если в системе возникает сбой оборудования или носителя информации. С помощью Backup можно создать резервную копию данных на жестком диске, а затем создать архив на другом носителе данных. Носителем архива может быть логический диск или отдельное устройство (съемный диск).

Программа архивации создает снимок состояния тома, представляющий собой точную копию содержимого диска на определенный момент времени, в том числе открытых файлов, используемых системой. Во время выполнения программы архивации пользователь может продолжать работать с ОС без риска потери данных.

Программа архивации предоставляет следующие возможности:

Источник

Лекция 14. Архивирование и методы сжатия информации

14.1. Что такое архивирование

Несмотря на то, что объемы внешней памяти ЭВМ постоянно растут, потребность в архивации не уменьшается. Архивация необходима не только для экономии памяти, но и для надежного хранения копий ценной информации, для быстрой передачи информации по сети.

Степень сжатия информации зависит от типа файла и от выбранного метода упаковки. Степень (качество) сжатия файлов характеризуется коэффициентом сжатия:

Проблемы архивации тесно связаны с проблемами кодирования (замена символов текста двоичными кодами с помощью кодовой таблицы), шифрования (криптография), компрессией звуковых и видео-сигналов.

14.2. Какие существуют методы архивирования

В настоящее время разработано много алгоритмов архивации без потерь. Однако все они используют, в основном, две простые идеи.

14.3. Какими возможностями обладают архиваторы

Каждый архиватор обычно реализует свой собственный уникальный алгоритм сжатия.

14.4. Как сжать звуковые файлы

Компрессия без потерь используется, например, архиваторами ZIP, RAR, ARJ. Применение подобных алгоритмов для сжатия файлов, содержащих оцифрованный звук, не позволяет получить сжатие более чем в 2 раза.

Звуковой сигнал, преобразованный с помощью АЦП, обычно не повторяет сам себя и по этой причине плохо сжимается с помощью алгоритмов сжатия без потерь. Многие приемы сжатия аудиоинформации основываются на обмане органов чувств человека путем исключения избыточной и нформации, которую человек не способен воспринять (в силу своих физиологических особенностей).

Еще один способ сжатия звукового сигнала заключается в том, что исходный звуковой сигнал очищается с помощью фильтров от неслышимых компонент (например, низкие басовые шумы). Затем производится более сложный анализ сигнала: вычисляются и удаляются замаскированные частоты, заглушенные другими мощными сигналами. Таким образом можно исключить до 70% информации из сигнала, практически не изменив качество его звучания.

Есть и другие способы, так же основанные на свойствах человеческого слуха.

Если звуковой сигнал представляет собой однотонные звуки с постоянным уровнем громкости, то биоакустические свойства слуха не позволяют его сжать. В этом случае дают эффект традиционные методы архивации информации, например, алгоритм Хаффмана.

14.5. Как сжать графические файлы

Стандарт JPEG позволяет сократить размеры графического файла с неподвижным изображением в 10-20 раз. Этим методом удается при специальных действиях сжимать и движущиеся изображения.

Источник

Архивация данных: кому она нужна и чем отличается от резервного копирования

По оценкам IDC, объем данных в мире, подлежащих хранению, растет со скоростью около 50 % в год. При этом примерно 80 % из них являются архивными, т. е. должны храниться долгое время и не требуют постоянного доступа к ним. В России эти цифры, возможно, даже больше – вследствие законодательства об информационной безопасности, требующем хранить сетевой трафик в течение длительного времени. Поэтому системы архивации в настоящее время приобретают особую актуальность.

Определения и различия

Термины «архивация данных» (data archiving) и «резервирование данных» (data backup) иногда используются один вместо другого даже профессионалами, хотя между ними есть существенная разница.

Резервирование – это процесс копирования данных, чтобы в случае повреждения исходников информация не терялась и ее можно было быстро восстановить. Резервное копирование – это не только защита от повреждения файла, ошибок пользователя или воздействия злонамеренных программ. Это также план действий в экстренных ситуациях, например, в случае повреждения оборудования (пожар, наводнение и пр.) или его отказа. Если у организации нет резервирования, то ее бизнес подвергается большому риску.

При резервировании особенно важным является время извлечения данных, которое должно быть наименьшим. Основной смысл резервирования – как можно более быстрое восстановление данных в случае их утери или компрометации.

Различие между резервированием и архивированием

Архивирование делается в тех случаях, когда нужно разместить долго неиспользуемые данные в надежном месте на долгий срок. В исходном местоположении они при этом удаляются, чтобы освободить место для поступающих актуальных. Если какие-то данные срочно не нужны и они просто занимают место на диске продуктивного сервера, то такие данные называют «холодными» и их целесообразно отправить в «холодильник», т. е. в архив. Когда эти данные понадобятся, должны быть оптимальные методы их поиска и извлечения из архива. В этом случае извлечение архивированных данных происходит при необходимости.

При архивировании, в отличие от резервирования, срочности при извлечении данных не требуется, и наиболее важными является три вещи: сохранность, дисковое пространство и возможность поиска нужных данных.

Поскольку приоритеты резервирования и архивирования довольно сильно отличаются, то и средства реализации этих целей разные. Например, поскольку при архивировании данным не нужно быть доступными «прямо сейчас», то нет большого смысла хранить их в NAS. Лучше для этого использовать внешние диски или ленты и складировать их в надежном месте.

Резервирование и архивирование не взаимоисключают друг друга

План предприятия по защите данных должен предусматривать оба процесса: как эффективную систему резервирования, так и надежный метод архивирования.

Например, если делать только резервирование, но не делать архивирование, то работающие в организации серверы быстро заполнятся «холодными данными», которые больше не нужны в бизнес-процессе, а их нужно раз за разом резервировать, повышая нагрузку на этот процесс.

С другой стороны, если только архивировать данные, но не резервировать, то в случае какой-то катастрофы бизнес-процесс останавливается на довольно продолжительное время, что может ему существенно повредить. Если на процесс восстановления данных из архива уходит много времени, то компания может просто «вылететь» с динамичного рынка, растеряв клиентов.

Системы резервирования были рассмотрены в этой статье, а здесь мы рассмотрим системы архивирования.

Процесс архивирования

Защита важной бизнес-информации от потерь не только желательна, но и во многих случаях обязательна по законодательным и регуляторным причинам. Для эффективной защиты информации организации должны находить оптимальный баланс между стоимостью архивирования данных и их реальной ценностью. Поэтому подход к реализации архивирования в каждом случае должен включать сбалансированные требования организации в части политик, процедур, персонала и продуктов для реализации процесса архивации данных.

Процесс архивирования данных в организации

Решения для архивации

При планировании решения для архивации прежде всего необходимо решить, за какой время требуется получить доступ к архивным файлам. Если допустим срок в несколько минут, то наиболее выгодным решением архивирования будут ленточные библиотеки.

Для быстрого перемещения файлов в архив решения архивации должны разбивать слишком большие файлы на несколько частей, а также объединять множество небольших по размеру файлов в несколько крупных архивных. Профессиональные решения архивации должны обладать функциями поиска нужной информации. Например, это могут быть эффективные индексирующие и поисковые машины. Также есть специализированные решения для индексации аудио- и видеофайлов.

Системы архивации должны обеспечивать автоматическую миграцию хранимых файлов на новые аппаратные платформы, позволяющую копировать данные со старых носителей на новые без прерывания продуктивного процесса. Для гарантии целостности архивных файлов решения архивации должны регулярно проверять данные, хранящиеся на дисковых или ленточных системах хранения, и при обнаружении ошибок создавать новую копию. Большинство решений для архивирования сохраняют не менее двух копий.

Согласно законодательству, необходимо сохранять без изменений такие документы, как квитанции, счета или электронные письма, в течение определенного срока. При этом необходимо обеспечить невозможность их редактирования и круглосуточную доступность, например, для налоговой проверки.

В прошлом для защиты от изменений использовались оптические носители, такие как CD, DVD или магнитооптические (MO) диски. Решения на основе дисковых и ленточных систем WORM (Write Once Read Many) обеспечивают значительно большую гибкость и масштабируемость, чем оптические библиотеки, при этом технология WORM гарантирует невозможность изменения записанных файлов.

Технологии архивации

Технология иерархического хранения HSM (Hierarchical Storage Management) обеспечивает автоматическое перемещение данных на более дешевые носители на основе определенных критериев: например, по частоте обращений к данным или их возрасту. Могут также использоваться пороговые значения – например, при заполнении емкости жесткого диска выше определенного порога происходит перемещение файлов в архив.

Большинство решений HSM имеют несколько уровней, когда часто используемые данные располагаются на «быстрых» СХД, например, SSD. Файлы, востребованные реже, автоматически перемещаются на вторичные диски (Nearline), и затем, если нет частых обращений к ним, они переносятся на недорогие ленточные накопители. В исходном месте хранения при этом ставится маркер со ссылкой на новое расположение, и, в случае необходимости доступа к файлу из архива, система HSM извлекает его на более высокие уровни.

Технология управления жизненным циклом информации ILM (Information Lifecycle Management) имеет больше функций, чем HSM. Набор правил ILM определяет, как необходимо работать с файлами в течение их жизненного цикла. Большинство систем управления документами DMS (Document Management System) и систем управления корпоративным контентом ECM (Enterprise Content Management) поддерживают функции ILM.

Источник

Как архивировать файлы.
Распаковка архивов

Из этой статьи читатель узнает об эффективном и простом способе уменьшения размера файлов, позволяющем хранить на запоминающих устройствах (флешках, жестких дисках и др.) намного больше файлов без потери или ухудшения их содержания, экономить трафик и время при пересылке их через Интернет и т.д.

Речь пойдет об архивации файлов, а также о предназначенных для этого программах.

Что такое архивация файлов

Архивация – это процесс сжатия файлов с целью уменьшения их размера без потери содержания или какого-либо ухудшения его качества.

Архивация производится путем упаковки файлов в специальные файлы-архивы. Для этого используются программы, называемые программами-архиваторами или просто архиваторами.

Виды архивов

Существует несколько десятков видов (форматов) архивов, отличающихся друг от друга алгоритмом упаковки и сжатия файлов. Каждый из них имеет свои особенности. Наиболее распространенными форматами архивов являются ZIP, RAR и 7Z. Какому формату отдать предпочтение – не столь важно. Каждый из них хорош. RAR и 7Z отличаются хорошей степенью сжатия, ZIP – легкостью распаковки. ZIP-архив можно создать или распаковать на любом компьютере даже без наличия программы-архиватора. Windows обладает необходимыми для этого «встроенными» средствами.

Архивы мало чем отличаются от остальных файлов. Их также можно копировать, перемещать, удалять, менять названия и т.д. На экране компьютера выглядят они также, как обычные файлы. Узнать, что файл является архивом, можно в первую очередь по его специфическому значку, а также по его расширению (*.zip, *.rar, *.7z и т.д.). О том, что такое расширение файла, читайте здесь.

Для чего архивировать файлы

За счет архивации файлов и папок достигается существенное уменьшение их размера. Если хранить файлы в архивах, можно сэкономить свободное пространство на запоминающем устройстве (жестком диске, флешке или др.).

За счет меньших размеров заархивированные файлы значительно удобнее пересылать через Интернет, экономя, таким образом, интернет-трафик и сокращая время пересылки.

Кроме уменьшения размеров, архивация позволяет упаковывать большое число файлов в один «монолитный» архив. В некоторых случаях это важно. Например, при пересылке значительного количества файлов по электронной почте. Дело в том, что к письму нельзя прикрепить папку с файлами. Можно прикреплять лишь отдельные файлы. Если таких файлов будет несколько десятков или сотен, их прикрепление к письму окажется очень хлопотным делом. Значительно удобнее упаковать их в единый архив и переслать его.

Насколько уменьшается размер файлов при архивации

Все зависит в первую очередь от типа архивируемых файлов.

Лучше всего при архивации сжимаются текстовые файлы. Их размеры могут уменьшиться в 10 и более раз.

Хуже всего дела обстоят с фотографиями, музыкой и видеофайлами. При архивации их размеры уменьшаются не значительно.

Недостатки архивации

Главным недостатком архивации является то, что файл, находящийся в архиве, нельзя открыть и использовать сразу. Перед каждым доступом к такому файлу его необходимо предварительно извлечь из архива. Процесс извлечения, по большому счету, не сложный (см. ниже), но если архив большой, это может занять довольно много времени. Поэтому часто используемые файлы хранить в заархивированном виде не очень удобно.

Этот недостаток в значительной степени перечеркивает преимущества архивирования. В то же время, в случае хранения редко используемых файлов, а также пересылки файлов через Интернет, архивация полностью себя оправдывает.

Как архивировать файлы. Распаковка архивов

Как уже было сказано, создавать и распаковывать архивы формата ZIP компьютер умеет без установки программ-архиваторов, используя «штатные» средства Windows. Для всех остальных форматов архивов понадобится программа-архиватор. Об этом читайте немного ниже.

Сначала давайте научимся работать с ZIP-архивами без архиваторов.

Чтобы создать ZIP-архив без использования программы-архиватора (или если таковой на компьютере не имеется), нужно:

• щелкнуть по архивируемому файлу (папке) правой кнопкой мышки;

• в открывшемся контекстном меню навести указатель мышки на пункт «Отправить». Откроется дополнительное подменю, в котором нужно выбрать пункт «СжатаяZIP-папка» (см. изображение). ZIP-архив появится рядом с файлом-оригиналом.

Для распаковки ZIP-архива достаточно просто дважды щелкнуть по нему левой кнопкой мышки.

Программ-архиваторов существует много. Но наиболее популярными архиваторами являются:

Эти программы можно скачать с официальных сайтов. Порядок работы с ними следующий.

WinRar

Упаковка файла (папки с файлами)

1. Щелкнуть по файлу или папке, которую необходимо заархивировать, правой кнопкой мышки.

2. Откроется контекстное меню, в котором выбрать пункт «Добавить в архив …» (см. рисунок ниже)

Если такой пункт в открывшемся меню отсутствует, значит, на компьютере нет программы WinRar. Ее необходимо сначала скачать и установить на компьютере (ссылки см. выше).

Как установить программу на компьютере читайте здесь.

3. Откроется окно (см. изображение ниже), в котором в поле «Имя архива» нужно указать название будущего архива (любое на ваш выбор), а в разделе «Формат архива» отметить галочкой его формат (RAR или ZIP). Затем нажать кнопку «ОК». Окно WinRar закроется, а через непродолжительное время рядом с архивируемым файлом (папкой) появится архив с его копией.

1. Навести указатель мышки на архив и дважды щелкнуть левой кнопкой мышки.

2. Откроется окно программы WinRar, в котором необходимо нажать кнопку «Извлечь…» (см. изображение);

3. Откроется еще одно окно (см. ниже), в котором необходимо указать, куда распаковывать содержимое архива (выделить соответствующую папку в проводнике). Можно вообще ничего не выбирать. В этом случае файлы из архива будут помещены в тот же раздел, в котором находится сам архив. Нажать кнопку «ОК».

Упаковка файла (папки с файлами)

1. Щелкнуть по файлу или папке, которую необходимо заархивировать, правой кнопкой мышки.

2. Откроется контекстное меню, в котором указатель мышки нужно навести на пункт «7-Zip». Рядом появится дополнительное подменю, в котором выбрать пункт «Добавить к архиву…» (см. рисунок)

Если такой пункт в открывшемся меню отсутствует, скорее всего, на компьютере нет программы 7-Zip. Ее необходимо сначала скачать и установить на компьютере (ссылки см. выше).

Как установить программу на компьютере читайте здесь.

3. Откроется окно (см. изображение ниже), в котором в поле «Архив» нужно указать название будущего архива (любое на ваш выбор), а в пункте «Формат архива» выбрать соответствующий вариант (7Z, ZIP или TAR). Затем нажать кнопку «ОК». Окно архиватора закроется, а через непродолжительное время рядом с архивируемым файлом (папкой) появится архив с его копией.

1. Навести указатель мышки на архив и дважды щелкнуть левой кнопкой мышки.

2. Откроется окно программы 7-Zip, в котором необходимо нажать кнопку «Извлечь…» (см. изображение);

3. Откроется еще одно окно (см. ниже), в котором необходимо указать путь для распаковки содержимого архива. Можно ничего не менять. В этом случае файлы из архива будут помещены в тот же раздел, в котором находится сам архив. Нажать кнопку «ОК».

Описанные выше навыки архивирования являются базовыми. Каждая и указанных в этой статье программ-архиваторов имеет множество дополнительных возможностей и разнообразных настроек. Поэкспериментировав с ними самостоятельно, пользователь может сделать свою работу максимально удобной в каждом конкретном случае.

Источник

В чем заключается процесс архивирования файлов

Файловые архиваторы позволяют упаковывать один или несколько файлов (например, все содержимое данного подкаталога вместе с вложенными в него подкаталогами) в единый архивный файл. Размер последнего, как правило, меньше, чем суммарный размер исходных файлов, но воспользоваться запакованными программами или данными, пока они находятся в архиве, нельзя, пока они не будут распакованы. Для распаковки архивного файла обычно используется тот же самый архиватор.

Дисковые архиваторы позволяют программным способом увеличить доступное пространство на жестком диске. Типичный дисковый архиватор представляет собой резидентный драйвер, который незаметно для пользователя архивирует любую записываемую на диск информацию и распаковывает ее обратно при чтении. Однако операции чтения/записи файлов несколько замедляются, поскольку процессору требуется время для упаковки и распаковки.

Основными функциями архиваторов являются:

Программа WinZip не входит в комплект поставки Windows. Для использования этого архиватора его необходимо предварительно установить на компьютер.
Создать новый архив или добавить файлы в уже существующий архив с помощью программы WinZip можно двумя способами.

I способ создания архива – с использованием контекстных меню (без предварительного запуска архиватора):

II способ – с предварительным запуском архиватора:

Разархивировать файлы (извлечь из архива) также можно двумя способами.

I способ – без предварительного запуска архиватора:

II способ – с предварительным запуском архиватора:

Программа WinZip позволяет получать информацию о файлах, находящихся внутри архива, без распаковки архива, а также просматривать содержимое сжатых файлов без их извлечения из архива. Это важно, так как далеко не все архивы стоит распаковывать.
Для просмотра архивного файла необходимо выполнить следующие действия:

Типы архивов

Характерные форматы сжатия без потери информации:

Основные алгоритмы сжатия

Говоря об алгоритмах сжатия, будем иметь в виду обратимые алгоритмы.

Алгоритм RLE (Run-Length Encoding) использует принцип выявления повторяющихся последовательностей. При сжатии записывается последовательность из двух повторяющихся величин: повторяемого значения и количества его повторений.

Исходная последовательность: 3, 3, 12, 12, 12, 0, 0, 0, 0.
Сжатая информация: 3, 2, 12, 3, 0, 4.
Коэффициент сжатия: 6/9*100% = 67%.

Алгоритм KWE (Keyword Encoding) предполагает использование словаря, в котором каждому слову соответствует двухбайтовый код. Эффективность сжатия увеличивается с ростом объема кодируемого текста.

Алгоритм Хафмана предполагает кодирование не байтами, а битовыми группами. В нем можно выделить три основные этапа.

Источник