Как Google Street View распознает номера домов

Google Street View стал неотъемлемой частью онлайн-мэппинга. Он позволяет пользователям опуститься до уровня улицы и осмотреть окрестности.

Помимо этого сервис является полезным ресурсом для Google. Компания использует изображения для распознавания номеров домов и геолокационного сопоставления. Этот процесс позволяет «расставить» все здания в базе данных.

Это особенно полезно в местах, где номера на зданиях встречаются редко, или в таких странах, как Япония и Южная Корея, где в хронологическом порядке улицы пронумерованы редко.

Однако идентификация цифр занимает чрезвычайно много времени.

Едва ли кто-то захочет вручную перебирать фотографии и искать числа.

Поэтому Google решил проблему за счет ее автоматизации. И вот Ян Гудфеллоу (Ian Goodfellow) и несколько его коллег показали, как они это сделали. Оказывается, метод основывается на нейронной сети, содержащей 11 уровней нейронов, натренированных на выявление цифр в изображениях.

Автоматическое распознавание номеров домов на улицах Южной Африки

Гудфеллоу и его команда начали с того, что наложили некоторые ограничения на задачу, чтобы максимально её упростить. Например, они предположили, что число на здании уже замечено и обрезали изображение таким образом, чтобы оно занимало как минимум одну треть его ширины. Они также допустили, что число содержит не более пяти цифр, разумное предположение для большинства стран мира.

Однако они не делили число на отдельные разряды, в отличие от многих других групп. Их задачей было локализовать номер целиком и определить его как единое целое с помощью одной единственной нейронной сети.

Они тренировали эту сеть, используя изображения, взятые из общедоступной базы данных номеров, известной как Street View House Numbers. В ней около 200 000 номеров, пойманных камерами Google Street View. Обучение заняло около шести дней, говорят они.

Команда Гудфеллоу утверждает, что нет никакого смысла в использовании автоматизированной системы, не способной конкурировать с производительностью человека, который 98% своего времени тратит на идентификацию числа. И это стало их целью.

Однако это не означает идентификацию 98% чисел в 100% изображений. Вместо этого Гудфеллоу посчитал приемлемым фиксировать 98% знаков в определенном количестве фотографий. В данном случае их число составило 95% от общего количества.

Даже в этом случае результат значительно лучше, чем у любой другой команды. Ян Гудфеллоу называет свой результат как «беспрецедентный успех».

Вопрос в том, поможет ли эта же технология в распознавании других чисел, например номеров телефонов на различных документах или даже номерных знаков. Гудфеллоу и его команда настроены весьма пессимистично. Они говорят, что успех их метода в значительной степени основывается на предположении о том, что уличные номера в длину не превышают пяти цифр.

И, конечно, система еще далека от совершенства. Эти 2% ошибок по-прежнему как бельмо на глазу у команды. Тем не менее, Google уверен, что сделал значительный шаг вперед в добыче и распознавании символов с помощью одной нейронной сети.

Но что будет дальше?

Ян Гудфеллоу (Ian Goodfellow)Google

Такой метод с использованием одной нейронной сети в качестве системы может быть применим и в других областях, таких как транскрипция текста или распознавание речи