Здравствуйте.
Я хочу тепло поприветствовать всех вас на курсе
по Основам обработки цифровых изображений и видео.
Меня зовут Аггелос Кацаггелос.
Я профессор здесь, в Северо-Западном университете
на факультете Электротехники и Информатики.
Я действительно очень рад встретиться со всеми вами с помощью этого нового, современного средства коммуникации.
Я с большим удовольствием читаю этот курс.
Он, очевидно, представляет собой существенный отход
от традиционного способа преподавания.
Я читал этот материал, который мы будем рассматривать на данном курсе,
в течение почти 30 лет здесь, в Северо-Западном университете, и в других местах.
Однако во всех случаях,
кроме, может быть, нескольких, когда был включен прямой эфир,
мы со студентами находились физически в одной комнате.
Такая ситуация, конечно, способствует интерактивности.
Всем нам знакомо взаимодействие в реальном времени, когда студенты могут остановить меня
и задать вопрос, и один вопрос повлечет за собой другой вопрос от другого студента.
И на этом мы начнем обсуждать другие аспекты темы
и так далее и тому подобное.
Это все положительные стороны взаимодействия "лицом к лицу".
Тем не менее, возможной отрицательной стороной такого взаимодействия
является синхронное обучение.
В его основе лежит предположение, что мы все должны учиться с одинаковой скоростью.
Вряд ли это так.
Каждый из нас учится со своей скоростью, которая зависит от уже полученных знаний
и многих других факторов.
Вот где пригодится асинхронное обучение.
Вам доступны мои видео-лекции.
И вы можете замедлить их или ускорить.
И вы можете вернуться назад и
и прослушать какие-то части несколько раз, пока не станет понятно.
На самом деле вы можете даже целиком пропустить какое-то видео, если уже знаете материал.
Вы можете учиться в своем собственном темпе, в удобное для вас время в удобном месте.
Некоторые из вас - в солнечных местах, а некоторые - в холодных, со снегом.
Некоторым из вас лучше заниматься с утра, тогда как другим - позно вечером.
Конечно, особенно поскольку большинство присутствующих здесь - студенты со всего мира
из всех временных зон, активные 24/7.
Теперь, что касается материала,
едва ли нужно рекламировать тему обработки изображений и видео.
Мы все окружены бесчисленными приложениями,
которые используют изображения и видео и
требуют знания того материала, который мы будем рассматривать в курсе.
Мы рассмотрим, например, тему сжатия изображений и видео.
Если бы технология сжатия не работала, вы не смогли бы
смотреть это видео и мы бы не смогли сделать этот он-лайн курс.
Вы можете вернуться и посмотреть рекламное видео к этому курсу,
где мы говорим и о других применениях.
В любом случае, я предполагаю, что вы зарегистрировались на курс,
уже имея некоторые знания по теме и желая их расширить.
И это не игра слов,
поскольку мы будем говорить и об улучшении изображений на этом курсе.
Или же вы знаете, что в курсе рассматривается важный материал,
который пригодится вам в будущем.
Или у вас есть конкретная задача и вы хотите выяснить,
поможет ли тот материал, который мы здесь будем рассматривать, решить ее.
Или вам просто любопытно узнать,
что из себя представляет обработка изображений и видео.
Моя надежда и ожидания таковы, что, вне зависимости от того, какой из перечисленных выше случаев ваш,
и, конечно, могут быть еще и другие случаи, после завершения этого курса
вы все достигнете своих целей.
Это не простая задача и я не хотел бы упомянуть об этом только вскользь.
Это непростая задача, потому что мы будем вытягивать материал из разных областей науки и техники.
тематических разделов науки и инженерного дела.
В отличии от курса на факультете Электротехники и Информатики,
где у студентов примерно одинаковый уровень знаний, здесь
стоит исходить из предположения, что ваши уровни знаний немного разные.
Как мы увидим, мы будем отталкиваться от знаний об обработке одномерного сигнала,
которые дальше расширим до двух измерений, исчислений сигналов, линейной алгебры,
вероятности, случайных переменных и других вещей, включая оптимизацию.
Однако важный момент, на который я хотел бы обратить внимание,
это то, что курс был тщательно проработан с тем расчетом,
чтобы учитывать это большое разнообразие начальных знаний студентов.
С одной стороны, я в первую очередь дам описание той основной информации,
которая нам понадобится.
В то время как, с другой стороны, я постараюсь уделить особое внимание пониманию
каждого отдельного шага в процессе обработки, который мы будем делать.
Так что даже если у вас нет достаточных знаний по темам, которые я только что упомянул,
Я уверен, по окончании курса у вас сформируется базовое понимание
разнообразных технологий, даже если не все математические детали
вам покажутся понятными, и вы узнаете полезные алгоритмы, которые сразу же сможете применять.
Теперь для тех из вас, кто имеет твердые знания по перечисленным темам:
я все же надеюсь, что материал окажется для вас информативным и увлекательным.
Относительно логистики курса: вся необходимая информация находится на вэб-странице
курса под объявлениями и разными закладками.
Что касается материала, который мы будем проходить: мы плавно начнем на этой неделе
со вступления, потом потратим две недели на основы сигналов и
основы двумерных линейных и
пространственных инвариантных систем как в пространственной, так и в частотной области.
Дальше мы потратим две недели на оценку движения и цвета,
две темы, к которым мы будем обращаться на протяжении всего курса.
А потом мы посмотрим на полезные приложения,
а именно улучшение, восстановление, сжатие и сегментирование.
Мы закончим курс на описании последних успехов в этой сфере,
которые связаны с концепцией разреженности.
Итак, давайте начнем эту неделю, еще раз - спокойно, с разбора названия курса и
определения, что такое цифровой сигнал и что составляет обработка такого сигнала.
Что касается определения цифрового сигнала,
мы опишем систему, у которой входом и выходом являются аналоговые слова, но
обработка происходит в цифровых словах.
Это - тема данного занятия.
Мы обсудим важные концепции дискретизации и квантования,
которые позволяют нам переключаться между непрерывным и дискретным,
я о дискретизации, конечно, не о квантовании, как в пространстве и времени, так и в амплитуде сигнала.
Итак, давайте начинать, и желаю вам успешно пройти курс.
Давайте сначала определим, что такое сигнал.
Общее определение такое, что это функция.
Например, одномерная функция x(t),
где t - независимая переменная.
Или двумерная функция x(t1, t2),
где t1 и t2 - независимые переменные, содержащие какие-то данные.
И это говорит нам кое-что полезное о поведении
или природе некоторого интересующего нас феномена.
В мире физики мы говорим, что любая величина, которая измеряется
во времени и/или пространстве - это, скорее всего, сигнал.
Так, скорость движущегося автомобиля представляет собой сигнал.
Давление, которое я оказываю на педаль газа машины, - это сигнал.
Если я пойду и померяю высоту зданий в городе,
тогда это будет двумерный сигнал.
Говорящий, в каком месте какая высота, и т.д. и т.п.
Другой пример: цена на масло
в течении нескольких лет, где независимой переменной является время.
По горизонтальной оси здесь время и годы,
а по вертикальной оси - цена масла в долларах и центах.
Она растет, как мы все знаем и ожидаем.
То же самое, вот сигнал ЭКГ, электрокардиограмма.
Опять же, здесь время по горизонтальной оси и
уровень сигнала - по вертикальной.
Такого рода сигнал показывает здоровое состояние чьего-то сердца.
Сигналы в системах играют важную роль во многих областях науки и
технологиями.
От коммуникаций до воздухоплавания,
от космонавтики до схемотехники и так далее.
Непосредственно в этом курсе изображения и
видео являются тем, с чем мы будем работать.
Бывают аналоговые и цифровые сигналы.
Чтобы привести их в некоторый вид, давайте рассмотрим систему генерации, передачи,
обработки и восприятия речи, подобную изображенной на картинке.
Итак, голос звучит, потому что давление внутри легких
преобразуется в звук посредством речевого аппарата, гортани.
Который потом становится гласным или согласным с помощью вокального тракта.
Речь - это аккустический сигнал, который передается
звуковыми волнами, использующими вибрацию молекул воздуха.
Итак, здесь у нас аккустический сигнал.
Здесь этот сигнал достигает микрофона, который выступает в качестве преобразователя.
Он преобразует одну форму энергии, аккустическую энергию,
в другую форму энергии - электрическую энергию.
Так что здесь у мена уже электрический сигнал.
Оба сигнала являются аналоговыми, или непрерывными.
Небольшой пример: скажем, что этот сигнал выглядит как-то так,
где вот это ось времени t, а здесь - амплитута сигнала, x(t).
Этот сигнал - аналоговый, потому что независимая переменная t
так же как и амплитуда x, которая есть функция от t, являются непрерывными числами.
Теперь я хочу обработать этот речевой сигнал на компьютере.
И это как раз и есть цель любого курса по обработке цифровых сигналов.
Цифровые компьютеры понимают только нули и
единицы, или цифровые сигналы.
и, следовательно, мне нужно преобразовать мой аналоговый сигнал в цифровой,
что делает этот преобразователь A/D в квадратике - из Аналогового в Цифровой, Analog to Digital
Преобразование сигнала из аналогового в цифровой состоит из двух этапов.
Первый этап заключается в дискретизации сигнала, или разбивании сигнала по шкале времени.
Это значит, что я смотрю на значения сигнала в точках, находящихся не одинаковом расстоянии друг от друга.
Например, при значении времени 0,
Т большое, 2Т
3Т, 4Т, минус Т и так далее.
Теперь у меня есть значения сигнала
при одном значении времени, при другом значении времени и т.д.
Таким образом, я преобразовал мой сигнал
в дискретный сигнал относительно времени
с помощью процесса, который называется дискретизация.
Второй этап - разбить амплитуду сигнала.
Это значит, что я буду использовать только определенные уровни
для представления сигнала x от t.
Давайте предположим, что у меня для представления доступны только
такое значение, такое, такое и такое.
Давайте назовем это 0, дельта, два дельта, три дельта.
Это значит, что это вот значения здесь в 0 будет представлено этим значением.
Следующее значение будет представляться этим значением.
Аналогично, вот это будет представлено этим значением.
Это будет представлено как 0, а это
будет представлено таким значением.
В результате этого этапа, который называется квантованием,
я получаю дискретную амплитуду
сигнала, так?
Итак, значение амплитуды для времени 3Т - это квантованное
значение x в точке 3Т, верно?
На самом деле, тут будет такое же квантованное значение x и в точке 4Т,
тогда как реальное значение x в 4Т здесь такое, да?
А после квантования оно становится вот этим синим значением.
Очевидно, что квантование привносит ошибки.
И после дискретизации и квантования
я в итоге получаю сигнал, у которого и независимая переменная,
и амплитуда представлены сеткой значений.
Такой сигнал называется цифровым сигналом.
ОК, итак, этот сигнал поступает в компьютер, который собирается его обработать и
потом, с другой стороны, я сделаю некоторые обратные действия.
Другими словами, с одинаковой вероятностью
сигнал будет преобразован из цифрового в аналоговый с использованием изображенного здесь конвертера.
Потом этот аналоговый сигнал дойдет до преобразователя.
Он также называется силовым приводом, который переводит текущий сигнал в вибрацию.
И, следовательно, в акустический сигнал,
который будет воспринят слуховой системой человека.
Итак, здесь у меня опять будет электрический сигнал,
а здесь - акустический сигнал.
Цель курса по обработке цифровых сигналов -
сосредоточиться на этой центральной части, верно?
Чтобы сфокусировать внимание на технологиях, которые бы позволили нам манипулировать цифровыми
сигналами для выполнения определенных задач, которые зависят от конкретного приложения.
Итак, мы видим здесь, что у нас есть два слова:
Здесь у нас Аналоговое слово, так?
так, аналоговое, аналоговое здесь, а здесь цифровое слово, или
цифровая область, по середине.
И это - наш основной интерес.
На этой широкой картинке представлена ситуация, аналогичная уже рассмотренной.
Здесь показана генерация, запись, обработка и восприяние изображения.
Так, электромагнитная энергия видимой части спектра,
исходящая от Солнца, отражается от некоторого объекта, проходит через воздух и оказывается здесь.
Сенсор, такое устройство в обычном пленочном фотоаппарате,
которое посредством фотохимии переводит
энергию света в химические изменения на пленке.
Некоторые из вас слишком молодые, чтобы помнить такие аналоговые фотоаппараты,
в которых использовалась пленка, но они еще существуют.
Итак, более светлые области на изображении имеют
бОльшую концентрацию серебряных точек. И эта пленка
после обработки - негатив, или черно-белая пленка - представляет собой аналоговое изображение.
Повторю, моя задача здесь - обработать изображение
с помощью компьютера и, следовательно, мне нужно преобразовать
мое аналоговое изображение в цифровое в этом блоке A/D.
Для этого я могу использовать денситометр, который измеряет
концентрацию серебряных частиц на пленке,
или сканер, чтобы в итоге получить цифровое изображение.
Конечно, сейчас преобладают цифровые системы,
что означает, что эти две части объединены и
таким образом получается цифровой фотоаппарат, с которым мы все знакомы.
Так что, полагаю, вот здесь надо написать "аналоговый фотоаппарат".
После того как цифровое изображение обработано на компьютере,
опять же, это основная цель данного курса.
Так что мы будем говорить о технологиях, которые позволяют обрабатывать цифровые изображения.
Мы хотим взять это обработанное изображение и,
в большинстве случаев, сделать его пригодным для зрительного восприятия человеком.
Поэтому обратная часть такая.
Цифровое изображение каким-либо образом конвертируется в аналоговое
и потом этот аналоговый сигнал подается на вход монитору,
аналоговому монитору типа CRT, который
преобразует изображение в электромагнитную волну, которая
уже достигает зрительной системы человека.
Глаза наблюдателя.
Опять же, сейчас больше распространены цифровые мониторы или
плоские панели.
Так что здесь у нас будет LCD, к которому напрямую
поступает цифровой сигнал.
Видеоадаптер играет роль
D/A-конвертера.
В этом курсе мы скажем пару слов
о дискретизации и квантовании
изображений, которые происходят внутри блока A/D,
Мы увидим, что к изображениям могут быть также применены преобразования, обратные дискретизации и квантованию.
Мы поговорим также о свойствах зрительной системы.
Но наибольшее внимание будет сосредоточено на
этом центральном блоке, где входом является одно цифровое изображеие,
а выходом - другое цифровое изображение.
Чтобы что-нибудь продемонстрировать, а точнее ресэмплинг, передискретизацию,
давайте посмотрим на это цифровое изображение.
Это изображение 256 на 256,
что значит, что оно состоит из 256 строк и
256 столбцов. Также это 8-битное изображение.
что значит, что каждый его элемент - пиксель,
название появилось как сокращение от "элемент изображения", PICture ELement, -
имеет 2 в 8 степени ,
или 256, разных значений, так?
Итак, я возьму это изображение и уменьшу его разрешение
в восемь раз по горизонтали и вертикали.
Таким образом, из восьми пикселей по горизонтали я оставлю один.
То же самое сделаю по вертикали.
Другими словами, если вы возьмете здесь блок 8 на 8,
я возьму только это значение и отброшу все остальные.
То есть я возьу одно значение и оброшу 63.
Понятно?
Сделав это, я получу изображение размера 32 на 32.
Вот это маленькое изображение.
если я опять растяну его до размера 256 на 256,
чтоб было видно, тогда оно будет выглядеть так.
Вы видите, что из-за пониженного разрешения
вы теперь замечаете эти квадратные артифакты и так называемые зубчатые границы, так?
Больше нету ровных границ, они все зубчатые.
Конечно, чтобы повысить разрешение, я сейчас использовал очень простой прием,
так называемый Экстраполятор нулевого порядка.
Т.е. я простовзял блок 8 на 8
и, имея одно значение при выброшенных 63-х,
я просто присвоил отсутствующим 63-м значениям значение этого.
Таким образом каждый пиксель внутри блока 8 на 8 стал иметь одно и то же значение.
Это ясно видно на изображении.
Вот, к примеру, блок 8 на 8,
внутри него значения пикселей, а также их интенсивности одинаковые.
Аналогичная идея с процессом, обратным квантованию, представлена на слайде.
Мы начинаем с изображения, в котором на пиксель приходится 8 бит.
так что у нас 2 в восьмой степени, или 256, разных оттенков серого.
А здесь у меня только 2 в 4й степени, т.е. 16
значений для представления разных интенсивностей.
А здесь я спустился до 2 во второй степени, т.е. четырех разных значений.
Итак, понятно,
вы наблюдате так называемые контурные эффекы даже здесь, да?
Тут появились искусственные контуры
или границы, которые не имеют никакого отношения к исходному изображению.
Итак, мы движемся от восьми бит к четырем,
и дальше к двум для представления интенсивности цвета, но в то же время появляются ошибки,
которые называются ошибками квантования.