- •Лекция 1. Введение в компьютерное зрение
- •1. История фотографии
- •2. Что такое цифровая фотография, пзс матрица
- •3. Характеристики объектива
- •Цветовое пространство lab, зачем нужна метрика ciede2000?
- •3. Особенности восприятия света человеком, цветовое пространство xyz
- •8. Цветовое пространство cmyk
- •9. Что такое цветовой охват
- •10. Что такое OpenCv
- •6. Цветовое пространство hsv
- •7. Цветовое пространство yuv
- •8. Что такое размытие изображения, какие виды размытия бывают и где их применяют
- •9. Что такое оператор Собеля и зачем он нужен
- •10. Что такое оператор Лапласа и зачем он нужен
- •11. Что такое нелинейные фильтры, приведите примеры
- •12. Что такое медиана в контексте операций над изображениями
- •13. Что такое билатеральный фильтр и зачем он нужен
- •14. Что такое компоненты связности и морфология в контексте операций над изображениями
- •Лекция 4. Манипуляции с изображениями
- •1. Что такое свертка
- •Преобразование Фурье в контексте манипуляции с изображениями
- •4. Свойства преобразования Фурье, применение теоремы о свертке в контексте манипуляции с изображениями
- •5. Что такое спектр изображения и частотные фильтры? Дайте примеры их применения. Какая связь между частотными фильтрами и свертками?
- •Фильтры низких частот.
- •Высокочастотные фильтры.
- •1. Абсолютный фильтр
- •9. Увеличение изображения - билинейная и бикубическая интерполяция
- •10. Уменьшение изображения - оператор уменьшения
- •11. Что такое пирамида изображений. Что такое пирамида Гаусса и пирамида Лапласа? Как делается блендинг изображений
- •Геометрические преобразования.
- •Лекция 5. Особые точки и выделение границ Особые точки, интуитивное понятие особой точки.
- •3. Алгоритм Харриса для нахождения углов
- •Sift детектор особых точек.
- •Surf-дескриптор.
- •Brief дескриптор.
- •Orb алгоритм
- •Сопоставление дескрипторов
- •Алгоритм выделение границ Canny.
- •Лекция 6. Сверточные нейронные сети Что такое нейронная сеть: слои, функции активации
- •Что такое нейронная сеть: слои, функции активации
- •Объясните терминологию обучения нейронных сетей: что такое эпоха, шаг, скорость обучения и размер батча? Что такое функция потерь и какие они бывают?
- •Алгоритм стохастического градиентного спуска для обучения нейронных сетей
- •Как инициализируют веса в нейронных сетях? Что такое проблема затухающих и взрывающихся градиентов? Что такое инициализация Хе (Кайминга) и Ксавье?
- •Что такое сверточный слой? Как он работает и какие параметры имеет?
- •Размеры входного и выходного изображения
- •Что такое нормализация по мини-батчам (batch normalization) и как она работает
- •Что такое дропаут и как он работает
- •Задача классификации и функции потерь для этой задачи в контексте обучения нейронных сетей
- •Опишите типичную архитектуру сверточной нейронной сети
- •Слой свёртки
- •Слой активации
- •Пулинг или слой субдискретизации
- •Полносвязная нейронная сеть
- •Перечислите несколько архитектур сверточных нейронных сетей, разберите одну подробно, например ResNet
- •Что такое transfer learning и как его осуществляют в контексте классификации изображений?
- •Лекция 7. Сегментация и детекция Что такое задача сегментации? Какие бывают виды сегментации?
- •Опишите что такое полносверточная нейронная сеть (fully convolutional neural network)
- •Что такое транспонированная свертка и для чего она нужна? Какие у нее есть альтернативы?
- •Что такое u-net? Опишите архитектуру и приведите примеры ее современных вариаций. Как обучают u-net?
- •Что такое задача детекции объектов на изображении? Опишите архитектуру yolo. Как обучают yolo?
- •Что такое якоря в контексте архитектур yolo, Faster и Mask rcnn?
- •Алгоритм nms (non maximum suppression) в контексте нейросетевых архитектур детекции
- •Что такое задача детекции объектов на изображении? Чем одностадийная детекция отличается от двухстадийной? Опишите архитектуру Mask rcnn. Чем она отличается от Faster rcnn?
- •Что такое RoI pooling и чем он отличается от RoI align в контексте архитектур Faster rcnn и Mask rcnn?
4. Свойства преобразования Фурье, применение теоремы о свертке в контексте манипуляции с изображениями
Свойства преобразования Фурье
Высокие частоты – мелкие перепады цветов, детали – локальные, часто повторяющиеся
Низкие частоты – глобальны харки изображения
5. Что такое спектр изображения и частотные фильтры? Дайте примеры их применения. Какая связь между частотными фильтрами и свертками?
Спектр — гистограмма распределения амплитуды по частоте.
Фильтр – это схема, которая удаляет или «отфильтровывает» определенный диапазон частотных компонентов.
Другими словами, он разделяет спектр сигнала на частотные составляющие, которые будут передаваться дальше, и частотные составляющие, которые будут блокироваться.
Низкочастотный фильтр– ослабляет высокочастотные компоненты и усиливает роль низкочастотных. Частота в применении к изображениям отражает количество имеющихся в изображении деталей. Резкие перепады яркости, помехи и шумы являются примером высокочастотных элементов в изображении. Сглаживание изображения
Высокочастотный фильтр – ослабляет низкочастотные компоненты в изображении и усиливает роль высокочастотных. Фильтры высокой частоты применяются для выделения таких деталей, как контуры, границы или для повышения резкости изображения. Каждый скачок яркости и каждый контур представляют собой интенсивные детали, связанные с повышенными частотами.
Фильтры низких частот.
1. Абсолютный фильтр
(расстояние до центра,
2. Фильтр Баттерворта порядка k, подавляющей частоты, которые находятся на расстоянии более r от начала координат
3. Фильтр Гаусса
Высокочастотные фильтры.
1. Абсолютный фильтр
2. Фильтр Баттерворта порядка k, подавляющей частоты, которые находятся на расстоянии более r от начала координат
3. Фильтр Гаусса
Повышение резкости с использованием вторых производных Лапласиана. В дискретной записи:
Убирание периодических помех
Если на изображении глазом явно идентифицируются периодические структуры, мешающие его распознаванию, необходимо провести спектральный анализ этого изображения. Всплески высокочастотных амплитуд (яркие окружности не в центре) соответствуют этим помехам. Чтобы
подавить их, можно затемнить эти области в спектре и применить обратное преобразование.
9. Увеличение изображения - билинейная и бикубическая интерполяция
При увеличении фотографий наблюдается постепенное ухудшение качества. Это связано с тем, что в отличие от пленки, цифровые изображения хранятся в дискретных единицах (пикселях). Главной проблемой является увеличение зернистости фото, уменьшение сглаженности и появление лесенок. Для нивелирования этих эффектов пользуются интерполяцией — способом нахождения промежуточных значений величины по имеющемуся набору известных значений. В общем смысле интерполянта приближения выглядит следующим образом:
где (k, l) — соседи интерполируемого пикселя (i, j) в определенных окрестностях, f(k, l) — функция интенсивности пикселя. h(i−r·k, j−r·l) — коэффициент вклада в итоговый результат, зависящий от удаленности от интерполируемой точки.
Билинейная интерполяция рассматривает квадрат 2 x 2 известных пикселя, окружающих неизвестный. В качестве интерполированного значения используется взвешенное усредненное этих четырех пикселей. В результате изображения выглядят значительно более гладко.
Бикубическая интерполяция рассматривает массив из 4 x 4 окружающих пикселей. Поскольку они находятся на разных расстояниях от неизвестного пикселя, то ближайшие пиксели получают при расчетах больший вес. Производит более резкие изображения, чем билинейная интерполяция, является оптимальной по соотношению времени обработки и качества на выходе.
Бикубическая интерполяция идёт на один шаг дальше билинейной, рассматривая массив из 4x4 окружающих пикселей — всего 16. Поскольку они находятся на разных расстояниях от неизвестного пикселя, ближайшие пиксели получают при расчёте больший вес. Бикубическая интерполяция производит значительно более резкие изображения.