Подробнее о сервисеСервис CarDamageTest разрабатывается для оценки технического состояния автомобиля по видео или нескольким фото и способен предоставлять клиенту полный отчет о найденных повреждениях с указанием их принадлежности к той или иной детали корпуса автомобиля. Сервис представляет собой мобильное приложение, с помощью которого клиент снимает автомобиль, загружает в него данные и уже через пару минут получает полную информацию о найденных повреждениях.
Изначально сервис задумывался как интеллектуальная система дистанционной оценки состояния автомобиля для задачи страхования, когда на этапе получения полиса автовладельцу необходимо пройти предстраховой осмотр, а с случае ДТП оценить ущерб для получения страховых выплат. Однако уже сейчас CarDamageTest имеет функционал, позволяющий использовать его для многих компаний в других сферах деятельности: каршеринговых компаний, сервисов такси, кредитных организаций для кредитования под залог автомобиля и многих других.
Работа CarDamageTest состоит из трех этапов: предобработки входных фото- и видеоизображений, сегментации деталей корпуса автомобиля и поиска повреждений.
Этап предобработки состоит в оценке полноты входных данных (наличие автомобиля на фото или видео в целом и всех частей кузова в частности), оценке затемненности и засвеченности изображений и проверке отсутствия большого количества снега и грязи на автомобиле. Реализована предобработка в виде фильтрационной воронки, на каждом шаге которой отсекается часть видеокадров или фото, не удовлетворяющих заданным условиям. На каждом следующем шаге обрабатываются только оставшиеся изображения. На последнем этапе предобработки происходит определение угла съемки автомобиля по каждому изображению для проверки наличия всех необходимых ракурсов. Реализована воронка с использованием нескольких типов нейронных сетей глубокого обучения, что позволяет обеспечивать 98,5% точности фильтрации. Полный цикл предобработки реализован на стороне клиента, что позволяет дать ответ о валидности загружаемых данных всего за несколько секунд и не требует до момента одобрения загружать фото и видеоизображения на сервер, экономя тем самым его ресурсы.
На этапе сегментации происходит “разделение” корпуса автомобиля на отдельные детали для дальнейшего определения детали, на которой обнаружено повреждение. Всего на сегодняшний день сервис выделяет 35 видов сегментов, начиная от логотипов и антенн и заканчивая капотом и различными типами фар. Для реализации этой задачи разработан ансамбль нейросетевых классификаторов с опорой на семантическую сегментацию и с дополнительной пред- и постобработками. Точность сегментирования автомобиля на сегодняшний день составляет 93% и не ухудшается даже для редких моделей автомобилей таких как двухдверные спорткары, винтажные лимузины и кабриолеты с открытым верхом.
Для поиска повреждений в системе реализован уникальный классификатор - это ансамбль трех алгоритмов, обученных в два этапа: на отдельных подмножествах классов повреждений и на выборке, включающей изображения всех классов вместе. Здесь используются как современные модели нейронных сетей, так и алгоритмы классического машинного обучения. Для обучения классификатора использовалась комбинированная выборка, состоящая из реальных и искусственных изображений, сгенерированных нейронной сетью. Также была разработана и внедрена собственная аугментация MosCut на базе библиотеки Albumentations, снижающая вариативность классов во время обучения. Наш сервис позволяет детектировать 11 классов повреждений, начиная от мелких сколов краски и ржавчины и заканчивая отсутствующими деталями. Точность определения повреждений составляет 92%, что является одним из самых высоких показателей в мире.
За последние несколько месяцев мы существенно расширили функциональность нашего сервиса: реализовали возможность определения контуров и глубины повреждений, что является уникальным решением и существенно улучшает сервис в целом.
Завершающий этап работы сервиса выполняется в два этапа. На первом этапе происходит сопоставление найденных повреждений с сегментами автомобиля на каждом изображении, т.е. формируются пары сегмент - повреждение. При этом одному сегменту может соответствовать несколько повреждений и одно повреждение может находиться на нескольких сегментах. Вторым этапом является агрегация данных о повреждениях, полученных со всех изображений и формирование итогового решения.
Помимо высокой точности определения существующих повреждений, несомненным достоинством нашего сервиса является устойчивость к солнечным бликам, каплям дождя, снегу и грязи, что позволяет избежать определения несуществующих повреждений и соответственно, значительно улучшить итоговый результат.
В ближайших обновлениях CarDamageTest планируется расширение функционала сервиса: прогнозирование внутренних повреждений автомобиля, оценка состояния интерьера салона и оценка состояния шин.