Программа счетчик контрольной суммы

Программа счетчик контрольной суммы

Описание: Кандидат должен быть знаком с началами теории вычисления конторльной суммы и почему вообще важно её вычислять. Кандидат должен уметь вычислить контрольную сумму файла, проверить контрольную сумму.

Практика: md5(1) , openssl(1) , sha1(1) , cksum(1) .

Комментарий

Различные утилиты для подсчёта контрольных сумм служат для того, чтобы пользователь мог убедиться в аутентичности файла, которым он располагает. Так, например, устанавливая программу sudo(1) из исходного кода, или из заранее скомпилированного бинарника, полезно убедиться, что то что вы скачали действительно то, что вы хотели скачать. Для этого надо подсчитать контрольную сумму файла. Теоретически можно представить, что злоумышленник смог изменить файл таким образом, что его размер и контрольная сумма при этом не изменились, т.е. найти коллизию (коллизия, это когда два файла имеют одну контрольную сумму), но представить себе при этом, что он сумел сохранить функциональность программы крайне трудно. В особенности, если вы проверите две разные контрольные суммы двумя разными алгоритмами.

7.10.1. cksum(1)

Наличие этой программы требуется стандартом POSIX . У данной программы есть необязательный аргумент -o , при помощи которого можно задать различные «исторические» (читай устаревшие) алгоритмы подсчёта контрольной суммы.

В настоящее время программа cksum(1) вычисляет контрольную сумму ( CRC ) по стандарту ISO / IEC 8802-3:1989. Алгоритм описан в справочной странице man(1) .

Команда cksum(1) выводит два числа: контрольную сумму и число байт.

7.10.2. md5(1)

Программа для подсчёта hash-суммы по одноимённому алгоритму. Данный алгоритм используется по умолчанию при работе с паролями. Полезные аргументы: -q не выводить ничего, кроме самой суммы (полезно в скриптах) и -r выводить в начале сумму и только потом имя файла. Это облегчает визуальную проверку, если надо сравнить два файла — суммы будут написаны строго друг под другом.

Длина суммы — 128 бит.

Идея хеширования состоит в том, что мы имеем некоторую очень резко меняющуюся и необратимую функцию, таким образом, даже от очень похожих строк получаются катастрофически разные результаты, а по хеш сумме невозможно восстановить оригинальную информацию. Это делает данный механизм пригодным для хранения шифрованных паролей.

Алгоритм хеширования MD5 до сих пор не взломан, хотя существует способ находить коллизии — когда несколько вхождений дают один результат. Но для того, чтобы найти коллизию, надо знать оригинал, таким образом, неясно как это могло бы скомпрометировать данный метод.

7.10.3. sha1(1)

Идея аналогична md5(1) , однако использован иной алгоритм и суммы получаются более длинные (160 бит).

Команда sha1(1) есть не во всех BSD. В её отсутствии можно пользоваться командой openssl(1) , которая позволяет посчитать контрольную сумму различными алгоритмами (в том числе MD5 и SHA1 ).

7.10.4. openssl(1)

Программа openssl(1) предназначена для создания ключей RSA , DH , DSA , создания сертификатов X.509 , CSR , CRL , подсчёта контрольных сумм различными алгоритмами, шифрования и дешифрования, проверки SSL / TLS , обработки шифрованной почты.

Запустив программу без параметров вы войдёте в интерактивный режим, в которм можно применять команды list-standard-commands , list-message-digest-commands , list-cipher-commands . А можно передать эти команды в качестве аргуметна openssl(1) . Так или иначе, вы получите список команд поддерживаемых openssl(1) . Команды эти также перечислены и в странице man(1) по openssl(1) с кратким описанием какая команда для чего служит.

Чтобы получить справку по каждой команде openssl(1) существует отдельная страница man(1) . Так, для того, чтобы получить справку по команде openssl dgst надо выполнить команду man dgst . Аргумента, который бы выводил справочную информацию по опциям команды нет. Поэтому, как это ни глупо, я знаю только один способ вызвать список аргументов в интерактивном режиме работы с openssl(1) — передать ей неверный аргумент, например -help :

Увы, на официальном сайте OpenSSL — http://www.openssl.org/docs/ документация помечена как незаконченная. Фактически там есть только страницы man(1) и очень скудные howto.

7.10.5. Примеры

Ниже приведены примеры подсчёта контрольных сумм файла ядра:

Команда cksum(1) выводит два числа: контрольную сумму и число байт.

Один из способов применения программ md5(1) и её аналогов, может состоять в примитивном сравнительном тесте производительности ЭВМ . Идея состоит в сравнении времени подсчёта хеш-суммы от некоторого фрагмента устройства /dev/zero .

Сравнивая эти величины полученные на разны машинах, можно грубо, с оговорками, судить об их производительности.

Другой пример: проверка правильно ли записался на iso образ CD:

Совпадение хеш-сумм свидетельствует об идентичности записанного диска своему образу.

Программа счетчик контрольной суммы

Контрольная сумма файла используется для проверки оригинальности и целостности файла.

Например с помощью контрольных сумм мы проверяли оригинальность скаченных образов в этих статьях:

О контрольной сумме файла из википедии:

Контро́льная су́мма — некоторое значение, рассчитанное по набору данных путём применения определённого алгоритма и используемое для проверки целостности данных при их передаче или хранении. Также контрольные суммы могут использоваться для быстрого сравнения двух наборов данных на неэквивалентность: с большой вероятностью различные наборы данных будут иметь неравные контрольные суммы. Это может быть использовано, например, для обнаружения компьютерных вирусов. Несмотря на своё название, контрольная сумма не обязательно вычисляется путём суммирования.

С точки зрения математики контрольная сумма является результатом хеш-функции, используемой для вычисления контрольного кода — небольшого количества бит внутри большого блока данных, например, сетевого пакета или блока компьютерногофайла, применяемого для обнаружения ошибок при передаче или хранении информации. Значение контрольной суммы добавляется в конец блока данных непосредственно перед началом передачи или записи данных на какой-либо носитель информации. Впоследствии оно проверяется для подтверждения целостности данных.

Популярность использования контрольных сумм для проверки целостности данных обусловлена тем, что подобная проверка просто реализуема в двоичном цифровом оборудовании, легко анализируется и хорошо подходит для обнаружения общих ошибок, вызванных наличием шума в каналах передачи данных.

Криптографическая функция MD5 уже почти не используется для определения контрольных сумм, так как оказалось, что для неё можно быстро создавать с помощью современных компьютеров два разных файла, имеющих разную длину в байтах, но одинаковые величины контрольных сумм, подсчитанных с помощью алгоритма MD5.

Использование термина сумма связано с тем, что на заре цифровой связи при байтовых передачах информационными были 7 бит, а восьмой — контрольный — рассчитывался как младший разряд сложения информационных.

Подсчет контрольной суммы файлов в windows.

Для операционных систем windows существует множество программ которые подсчитывают контрольную сумму.

Самой распространенной программой считается программа HashTab.

Скачать и использовать ее в не коммерческих целях можно совершенно бесплатно с официального сайта программы.

Если у вас Windows 10 — то этот функционал уже встроен в файловый менеджер.

Кликаем по файлу правой кнопкой мыши, далее пункт CRC SHA и выбираем как посчитать контрольную сумму или выбираем пункт » * » который посчитает все возможные контрольные суммы из предоставленного списка.

Контрольная сумма файлов в Linux.

Подсчет контрольных сумм в linux осуществляется при помощи терминала.

Для подсчета MD5 суммы файла или строки, в Linux можно воспользоваться программой:

Для проверки контрольной суммы sha1:

Для проверки контрольной суммы sha256:

Для проверки контрольной суммы sha384:

Для проверки контрольной суммы sha512:

Для проверки контрольной суммы CRC:

Все эти программы входят в пакет coreutils — который должен быть предварительно установлен, например с помощью менеджера пакетов Sinaptic.

Для тех кто не любит терминал.

Можно установить расширение gtkhash для файлового менеджера и с помощью него производить все манипуляции.

Расширение есть для файловых менеджеров nautilus, nemo и thunar. Устанавливается через файловый менеджер Sinaptic.

После установки при выборе свойств файла появится вкладка в которой можно сравнить контрольную сумму или узнать ее.

Как то так. В комментариях добавляйте кто знает о других способах или использует другие методы.

Проверка контрольных сумм в Linux

Синтаксис команды md5sum очень прост:

$ md5sum опции файл

Опций всего несколько и, учитывая задачи утилиты, их вполне хватает:

• -c — выполнить проверку по файлу контрольных сумм;
• -b — работать в двоичном формате;
• -t — работать в текстовом формате;
• -w — выводить предупреждения о неверно отформатированном файле сумм;
• —quiet — не выводить сообщения об успешных проверках.

Сначала скопируйте файл /etc/group в домашнюю папку чтобы на нем немного поэкспериментировать:

cp /etc/group groups

Например, давайте подсчитаем контрольную сумму для файла /etc/group:

Или вы можете сохранить сразу эту сумму в файл для последующей проверки:

md5sum groups > groups.md5

Затем каким-либо образом измените этот файл, например, удалите первую строчку и снова подсчитайте контрольные суммы:

Как видите, теперь значение отличается, а это значит, что содержимое файла тоже изменилось. Дальше верните обратно первую строчку root:x:0: и скопируйте этот файл в groups_list и

cp groups groups_list

Затем опять должна быть выполнена проверка контрольной суммы linux:

Сумма соответствует первому варианту, даже несмотря на то, что файл был переименован. Обратите внимание, что md5sum работает только с содержимым файлов, ее не интересует ни его имя, ни его атрибуты. Вы можете убедиться, что оба файла имеют одинаковые суммы:

md5sum groups groups_list

Вы можете перенаправить вывод этой команды в файл, чтобы потом иметь возможность проверить контрольные суммы:

md5sum groups groups_list > groups.md5

Чтобы проверить, не были ли файлы изменены с момента создания контрольной суммы используйте опцию -c или —check. Если все хорошо, то около каждого имени файла появится слово OK или ЦЕЛ:

md5sum -c groups.md5

Но теперь вы не можете переименовывать файлы, потому что при проверке утилита будет пытаться открыть их по имени и, естественно, вы получите ошибку. Точно так же все работает для строк:

Выводы

Из этой статьи вы узнали как выполняется получение и проверка контрольной суммы linux для файлов и строк. Хотя в алгоритме MD5 были обнаружены уязвимости, он все еще остается полезным, особенно если вы доверяете инструменту, который будет создавать хэши.

Проверка целостности файлов Linux — это очень важный аспект использования системы. Контрольная сумма файла Linux используется не только вручную при проверке загруженных файлов, но и во множестве системных программ, например, в менеджере пакетов. Если у вас остались вопросы, спрашивайте в комментариях!

На завершение небольшое видео по теме:

Краткая инструкция по работе с программой MD5 File Checker:

Запускаем программу. На странице с любым мультфильмом в блоке информации о мультфильме находим поле с контрольной суммой md5 и копируем ее в буфер обмена.

Вставляем в поле для проверки №2. Выбираем файл, который хотим проверить в поле №1. Нажимаем кнопку «Проверить». В результате получаем сообщение с результатом работы программы. Например «MD5 сумма файла совпадает с контрольной суммой. Файл не поврежден» или «MD5 сумма файла не совпадает с контрольной суммой. Возможно, файл поврежден». Делаем выводы.

Дополнительная возможность программы — рассчет контрольной суммы md5 для произвольного файла и ее вывод пользователю.

Все вопросы по работе программы и найденных ошибках можно сообщить администрации сайта.

Что такое Hashtab? Hashtab — это довольно-таки полезная для продвинутых пользователей бесплатная утилита, расширяющая возможности стандартного Обозревателя Windows с помощью вычисления контрольной суммы. Добавляется функция для проверки подлинности, целостности файлов с помощью вычисления контрольной суммы. В программе Hashtab имеется множество алгоритмов кеширования (полный перечень есть ниже).

Разработчики утверждают, что более быстрого способа проверить файлы на подлинность и целостность не найти. И, в общем-то, это похоже на правду.

Ведь стоит просто навести курсор и щёлкнуть левой-правой, и сразу будет понятно — имеются ли в большом файле изменённые или повреждённые маленькие.

Программа Hashtab, по сути — расширение Windows Explorer-проводника или, если у вас компьютер от Apple, плагин для Mac Finder. На Linux программа пока не работает.

Эта программа Хаштаб очень удобна как раз интеграцией в Проводник. Каждый раз запускать её не нужно, всегда окажется доступной по одному лишь щелчку правой клавишей мыши.

Пожалуй, больше всего смысла для скачивания Hashtab (rus) будет у тех пользователей, которые часто подгружают информацию с неофициальных источников. Любые загрузки с сомнительных сайтов или большие архивы легко будут проверены на наличие в них отсутствующих компонентов или вирусов.

Если командная строка вас пугает, можно проверить контрольную сумму более простым путем.

1. Загрузите и установите программу HashTab .
2. Щелкните правой кнопкой мыши на файле образа и выберите пункт «Свойства».
3. Перейдите на вкладку «Контрольные суммы» (File Hashes).

При скачивании мультфильмов (и вообще файлов из интернета) часто случается, что файл скачивается «битым» по тем или иным причинам. Чтобы наверняка удостовериться в идентичности скачанного файла файлу на сервере, необходимо сравнить их контрольные суммы. Для это цели можно использовать алгоритм подсчета контрольных сумм md5 . При добавлении мультфильма на сервер у него вычисляется эта самая контрольная сумма, увидеть ее можно на страничке информации о мультфильме. Чтобы вычислить эту контрольную сумму уже для скачанного файла на вашем компьютере, воспользуйтесь специально написанной нами программой:

Программа не требует установки. Для пользователей операционных систем Linux, Unix, MacOS и других — аналогичные программы смотрите прямо в составе своей ОС.

Проверка хешей в Linux

Здесь так же можно воспользоваться консолью. В случае алгоритма MD5 достаточно выполнив команду.

Для хеш-сумм по алгоритму SHA-1 команда выглядит немного иначе.

В случае необходимости рассчитать циклическую контрольную сумму (CRC) используется команда

Кто не хочет связываться с консолью, может поставить программу Gtkhash с графическим интерфейсом и проверять целостность файлов в ней. Для установки программы выполнить в консоли:

Напоследок расскажем о том, как можно убедиться, что скачанный с торрента или доставшейся из другого ненадежного источника дистрибутив Windows оригинальный и его не изменял кто-либо. Для этого идем на сайт Майкрософт где подписчики MSDN могут скачивать ее продукты. Находим нужный нам образ, обращая внимание на версию, дату, разрядность и язык. Когда нужный продукт будет найден, нажимаем на «Сведения» рядом с ним.

В нижней части раскрывшейся области будет указана хеш сумма рассчитанная по алгоритму SHA1. Не смотрите на название вашего файла, его могли переименовать, главное это содержимое. Кроме того не стоит тратить время на проверки контрольных сумм образа, если это сборка, репак и подобное народное творчество, а не образ MSDN.