13 марта 2014 г. (четверг) в рамках проекта «Публичные лекции «Полит.ру» выступил Григорий Анатольевич Кабатянский – доктор физико-математических наук, главный научный сотрудник Института проблем передачи информации РАН, профессор отделения прикладной математики и информатики НИУ-ВШЭ.
Тема лекции: «Коды – от Клода Шеннона до наших дней».
В этой лекции мы проследим основные этапы развития двух наук, созданных Клодом Шенноном в середине 40-х годов прошлого века: теоретической криптографии и теории информации
Конспект
Григорий Кабатянский: Добрый вечер надеюсь вечер вам не испорчу. Клод Шеннон гением не был, как фон Нейман, но подростком сделал телеграф до соседа. Его называют знали отцом цифровой эры, хотя он был не первый. Американские математики его не признали. Советские признали, начало положил Колмогоров. Что он точно отец теории информации.
Три значения слова код:
- криптография (тайны пляшущих человечков) в работе Теория связи в секретных системах 1949 Шеннон превратил криптографию из искусства в науку;
- экономное представление информации код Морзе, код ZLW сжатие данных Шеннон в работе Математическая теория связи 1948 доказал теорему о пределах сжатия информации;
- обнаружение исправление ошибок при передаче информации проверка на четность, код Хэмминга Шеннон в работе Математическая теория связи 1948 доказал основные теоремы кодирования.
Теорема Шеннона об идеальном шифре одноразовый блокнот идеальная криптосистема и никакая система не м.б. лучше.
В книжках про шпионов шпион имел книжку и на определенную дату смотрел определенную страницу, это и был код.
Одноразовый блокнот: двоичное сообщение длины n, двоичный ключ k случайный равномерный той же длины, шифрованное сообщение есть сумма по модулю два (1+1=0). Коды одноразовые. Советские шифровальщики использовали два-три раза и коды раскрывали.
Криптография с личным ключом после Шеннона там нечего делать. Была придумана криптография с открытыми ключами.
Вероятностная модель источника сообщений. Сообщения появляются независимо друг от друга, сообщение mi появляется с вероятностью pi
Буквы которые появляются часто им дать короткие последовательности нулей и единиц, редким что останется.
Теорема Шеннона о сжатии сообщений: для любого кодирования букв допускающего однозначное декодирование средняя длина кодирования буквы не меньше энтропии источника (распределения).
Вопрос Колмогорова: что делать если вероятности неизвестны? Ответ Фитингоф Кричевский Штарьков Рябко T.Cover J.Rissanen
Колмогоров уже и ответ знал: получится так же хорошо как если бы знали статистику.
Последовательность из нулей и единиц сжать нельзя, а если я сожму значит она не очень случайна.
Миша Рябко занялся атрибуцией текстов. Если тексты сжимать то у разных авторов разная степень сжатия.
Вопрос принципиального характера: как по Шеннону определить информацию и как энтропию, потому что их столько! – На самом деле определение энтропии здесь формула: сумма pi log (1/pi). Даже колмогоровская сложность определена с точностью до константы. А здесь точное математическое определение.
Математика стала профессией в прошлом веке.
ДСК двоичный канал в котором символы искажаются независимо др от др с вероятностью p. Получается одноразовый блокнот. Что ни передавай на выходе одно и то же.
Теорема Шеннона о пропускной способности для любого эпсилон больше нуля существуют способы передачи информации что вероятность ошибки стремится к нулю при росте длины сообщения и обратно для любого способа передачи со скоростью передачи R не меньше C плюс эпсилон вероятность ошибки отделена от нуля.
Шенноновская энтропия послужила Колмогорову для построения нового инварианта в эргодической теории; для аппроксимации эпсилон-энтропии.
Ричард Хэмминг основатель Association for Computing Machinery
Двоичное n-мерное пространство Хэмминга это булев куб с расстоянием Хэмминга суммы разниц. Код это произвольное подмножество этого куба. Код исправляет t ошибок.
У кода Хэмминга в матрице коэффициентов системы однородных линейных уравнений в качестве столбцов перечислены все ненулевые r-мерные двоичные векторы.
Есть еще два совершенных кода Голея двоичный и третичный.
Больше нет.
Переведем точки-слова-векторы двоечного кода в векторы евклидова пространства заменив 0 на 1, 1 на -1. Вместе с техникой развитой в теории кодирования новый подход к задаче плотной упаковки шаров в евклидовом пространстве.
Если n точек бросать случайно плотность будет два в степени –n Верхнюю оценку удалось улучшить до -0,599n
Клод Шеннон из Массачусетса с семьей стал миллионным посетителем нашего парка. Придумал первый в мире придумал компьютер который играл в шахматы. Придумал и сделал мышку которая искала выход из лабиринта.
Самая бессмысленная машина: ее открывают, из нее появляется рука и закрывает The Ultimate Useless Machine
Шеннон сделал первый переносной компьютер для игры, с ним ездил в Лас-Вегас.
Вопросы
Константин Иванович: Какие системы защиты от ошибок? – Про радиационную устойчивость это уже год в ИППИ гуляет. Мы с американцами делали по-разному они плату разносили и появлялось по одной ошибочке ничего страшного. У нас пробило целиком слово.
На прошлой лекции сумма архивов композитов больше архива суммы.
- Как с отцовством если сжатие не совпадает разные композиторы, но если совпадает то неизвестно.
Разница между смыслом и информацией? – Не знаю. Это то от чего Шеннон открещивался. За два года порождено столько же информации сколько за всю предыдущую историю. Я сказал что это не информация, а данные.
Вы ни слова не сказали про генетический код. – Это не задачи теории кодирования, кодов исправления ошибок в привычном смысле там нет. В природе хорошего кода исправляющего ошибки не оказалось.
Л.М.: Почему? Нашли что нет, не нашли или не искали? – Не знаю. – Зачем утверждать, если не знаете? – Я отвечаю только на те вопросы которые относятся к тематике лекции. Все что относится к живой природе это не моя тема. К неживой это ничья тема. – Б.Д.: Это к биоинформатике.
Б.Д.: Можете ли вы посоветовать литературу? – Была такая песня Письмо товарищу Сталину. Когда его переспросили человек 90 лет сказал: причем здесь я спросите Яндекс. Есть книги для математиков. На английском языке книг намного больше в т.ч. популярные. Маквильмс Слоэн теория кодирования. Галлагер теория информации и надежная связь
Вопрос про телекоммуникации? – Как работает телефон я не знаю. Правда в том что постоянно улучшается.
Константин Иванович: что вы заканчивали? – Мехмат МГУ.
- С простыми числами это не имеет отношения к исправлению ошибок, это имеет отношение к запутыванию, к криптографии.
Обрезав на генетике и отослав к биоинформатике, Б.Д. фактически отослал к Гельфанду и аудитория стухла. Как оказалось, про светлой головы Вадима Ратнера все-таки лектор знает. Однако никто не хочет связываться с Михаилом Гельфандом, оккупировавшим поляну биоинформатики. Однако уже на одном только проекте disser.net Гельфанд показал себя профанатором: в основе проекта порочный подход выборки по принципу показали на автора или он нам не нравится. Надо бы сделать случайную выборку и сравнить для выявления разрешающей силы метода. С т.зр. естественного права надо проверять всех или никого. В самой же биоинформатике как считает Юрий Чайковский ничего нового нет. Эволюционист обвинил биоинформатика в некорректности цитирования, приписав ему выхваченное из контекста «Дарвин был неправ». На этом основании Гельфанд распространил мнение, что Чайковский «не ученый» и это оказалось приговором с т.зр. узкого круга широкозадых лиц.
Ребята, так нельзя: вы себя дискредитируете и никакая потомственная фамилия «Гельфанд» не спасет. У деда тоже был плохой характер, но он хоть был математик, а не этот как сказать «биоинформатик». Проблема Гельфанда в том, что он легко достает такого настоящего эволюциониста Чайковского, но не может достать журналиста Московкина.
Тема лекции: «Коды – от Клода Шеннона до наших дней».
В этой лекции мы проследим основные этапы развития двух наук, созданных Клодом Шенноном в середине 40-х годов прошлого века: теоретической криптографии и теории информации
Конспект
Григорий Кабатянский: Добрый вечер надеюсь вечер вам не испорчу. Клод Шеннон гением не был, как фон Нейман, но подростком сделал телеграф до соседа. Его называют знали отцом цифровой эры, хотя он был не первый. Американские математики его не признали. Советские признали, начало положил Колмогоров. Что он точно отец теории информации.
Три значения слова код:
- криптография (тайны пляшущих человечков) в работе Теория связи в секретных системах 1949 Шеннон превратил криптографию из искусства в науку;
- экономное представление информации код Морзе, код ZLW сжатие данных Шеннон в работе Математическая теория связи 1948 доказал теорему о пределах сжатия информации;
- обнаружение исправление ошибок при передаче информации проверка на четность, код Хэмминга Шеннон в работе Математическая теория связи 1948 доказал основные теоремы кодирования.
Теорема Шеннона об идеальном шифре одноразовый блокнот идеальная криптосистема и никакая система не м.б. лучше.
В книжках про шпионов шпион имел книжку и на определенную дату смотрел определенную страницу, это и был код.
Одноразовый блокнот: двоичное сообщение длины n, двоичный ключ k случайный равномерный той же длины, шифрованное сообщение есть сумма по модулю два (1+1=0). Коды одноразовые. Советские шифровальщики использовали два-три раза и коды раскрывали.
Криптография с личным ключом после Шеннона там нечего делать. Была придумана криптография с открытыми ключами.
Вероятностная модель источника сообщений. Сообщения появляются независимо друг от друга, сообщение mi появляется с вероятностью pi
Буквы которые появляются часто им дать короткие последовательности нулей и единиц, редким что останется.
Теорема Шеннона о сжатии сообщений: для любого кодирования букв допускающего однозначное декодирование средняя длина кодирования буквы не меньше энтропии источника (распределения).
Вопрос Колмогорова: что делать если вероятности неизвестны? Ответ Фитингоф Кричевский Штарьков Рябко T.Cover J.Rissanen
Колмогоров уже и ответ знал: получится так же хорошо как если бы знали статистику.
Последовательность из нулей и единиц сжать нельзя, а если я сожму значит она не очень случайна.
Миша Рябко занялся атрибуцией текстов. Если тексты сжимать то у разных авторов разная степень сжатия.
Вопрос принципиального характера: как по Шеннону определить информацию и как энтропию, потому что их столько! – На самом деле определение энтропии здесь формула: сумма pi log (1/pi). Даже колмогоровская сложность определена с точностью до константы. А здесь точное математическое определение.
Математика стала профессией в прошлом веке.
ДСК двоичный канал в котором символы искажаются независимо др от др с вероятностью p. Получается одноразовый блокнот. Что ни передавай на выходе одно и то же.
Теорема Шеннона о пропускной способности для любого эпсилон больше нуля существуют способы передачи информации что вероятность ошибки стремится к нулю при росте длины сообщения и обратно для любого способа передачи со скоростью передачи R не меньше C плюс эпсилон вероятность ошибки отделена от нуля.
Шенноновская энтропия послужила Колмогорову для построения нового инварианта в эргодической теории; для аппроксимации эпсилон-энтропии.
Ричард Хэмминг основатель Association for Computing Machinery
Двоичное n-мерное пространство Хэмминга это булев куб с расстоянием Хэмминга суммы разниц. Код это произвольное подмножество этого куба. Код исправляет t ошибок.
У кода Хэмминга в матрице коэффициентов системы однородных линейных уравнений в качестве столбцов перечислены все ненулевые r-мерные двоичные векторы.
Есть еще два совершенных кода Голея двоичный и третичный.
Больше нет.
Переведем точки-слова-векторы двоечного кода в векторы евклидова пространства заменив 0 на 1, 1 на -1. Вместе с техникой развитой в теории кодирования новый подход к задаче плотной упаковки шаров в евклидовом пространстве.
Если n точек бросать случайно плотность будет два в степени –n Верхнюю оценку удалось улучшить до -0,599n
Клод Шеннон из Массачусетса с семьей стал миллионным посетителем нашего парка. Придумал первый в мире придумал компьютер который играл в шахматы. Придумал и сделал мышку которая искала выход из лабиринта.
Самая бессмысленная машина: ее открывают, из нее появляется рука и закрывает The Ultimate Useless Machine
Шеннон сделал первый переносной компьютер для игры, с ним ездил в Лас-Вегас.
Вопросы
Константин Иванович: Какие системы защиты от ошибок? – Про радиационную устойчивость это уже год в ИППИ гуляет. Мы с американцами делали по-разному они плату разносили и появлялось по одной ошибочке ничего страшного. У нас пробило целиком слово.
На прошлой лекции сумма архивов композитов больше архива суммы.
- Как с отцовством если сжатие не совпадает разные композиторы, но если совпадает то неизвестно.
Разница между смыслом и информацией? – Не знаю. Это то от чего Шеннон открещивался. За два года порождено столько же информации сколько за всю предыдущую историю. Я сказал что это не информация, а данные.
Вы ни слова не сказали про генетический код. – Это не задачи теории кодирования, кодов исправления ошибок в привычном смысле там нет. В природе хорошего кода исправляющего ошибки не оказалось.
Л.М.: Почему? Нашли что нет, не нашли или не искали? – Не знаю. – Зачем утверждать, если не знаете? – Я отвечаю только на те вопросы которые относятся к тематике лекции. Все что относится к живой природе это не моя тема. К неживой это ничья тема. – Б.Д.: Это к биоинформатике.
Б.Д.: Можете ли вы посоветовать литературу? – Была такая песня Письмо товарищу Сталину. Когда его переспросили человек 90 лет сказал: причем здесь я спросите Яндекс. Есть книги для математиков. На английском языке книг намного больше в т.ч. популярные. Маквильмс Слоэн теория кодирования. Галлагер теория информации и надежная связь
Вопрос про телекоммуникации? – Как работает телефон я не знаю. Правда в том что постоянно улучшается.
Константин Иванович: что вы заканчивали? – Мехмат МГУ.
- С простыми числами это не имеет отношения к исправлению ошибок, это имеет отношение к запутыванию, к криптографии.
Обрезав на генетике и отослав к биоинформатике, Б.Д. фактически отослал к Гельфанду и аудитория стухла. Как оказалось, про светлой головы Вадима Ратнера все-таки лектор знает. Однако никто не хочет связываться с Михаилом Гельфандом, оккупировавшим поляну биоинформатики. Однако уже на одном только проекте disser.net Гельфанд показал себя профанатором: в основе проекта порочный подход выборки по принципу показали на автора или он нам не нравится. Надо бы сделать случайную выборку и сравнить для выявления разрешающей силы метода. С т.зр. естественного права надо проверять всех или никого. В самой же биоинформатике как считает Юрий Чайковский ничего нового нет. Эволюционист обвинил биоинформатика в некорректности цитирования, приписав ему выхваченное из контекста «Дарвин был неправ». На этом основании Гельфанд распространил мнение, что Чайковский «не ученый» и это оказалось приговором с т.зр. узкого круга широкозадых лиц.
Ребята, так нельзя: вы себя дискредитируете и никакая потомственная фамилия «Гельфанд» не спасет. У деда тоже был плохой характер, но он хоть был математик, а не этот как сказать «биоинформатик». Проблема Гельфанда в том, что он легко достает такого настоящего эволюциониста Чайковского, но не может достать журналиста Московкина.