Системы управления продуктовым контентом «MarKIT»
«Разработано при поддержке Фонда содействия инновациям»
Одним из направлений деятельности компании БЭКАП ИТ является исследования и разработка решений с использованием нейрокомпьютерной технологии и эволюционных алгоритмов.
Системы управления продуктовым контентом «MarKIT»
В настоящее время компания БЭКАП ИТ занимается разработкой системы управления продуктовым контентом для электронной коммерции на базе глубокого обучения «MarKIT» для автоматизации процессов, связанных со сбором, объединением, обогащением, хранением и распространением информации о товарах через разные каналы; сокращения затрат на реализацию таких процессов; улучшения качества данных о товарах и повышения итоговых показателей конверсии на торговых онлайн-площадках.
В рамках текущего проекта предполагается разработка алгоритмов поиска и подготовки данных продуктового контента для произвольных торговых площадок согласно установленной формы с учетом сформированного эталона мастер-модели. Для построения и оптимизации карточки продукта с учетом данных пользовательской активности на торговых площадках будут использованы алгоритмы машинного обучения, а именно нейронные сети.
Научную часть проекта курирует Свириденко Дмитрий Иванович, доктор физико-математических наук, доцент в Институте математики СО РАН, советник директора института математики им. С.Л. Соболева по инновациям.
Научную часть проекта курирует Свириденко Дмитрий Иванович, доктор физико-математических наук, доцент в Институте математики СО РАН, советник директора института математики им. С.Л. Соболева по инновациям.
Разработка алгоритмов и реализация функций по проверке корректности и нормализации загружаемых данных
Особенностью работы с данными с нескольких сайтов является то, что все данные попадают в систему в разном формате, даже, когда речь идет об одних и тех же характеристиках данного товара. Например, разные интернет-магазины могут по-разному обозначить характеристику цвета товара, в одном случае она будет называться "окраска", в другом - "оттенок". Разные производители могут указывать значения характеристик в разных единицах измерения, например мм и см в обозначении размеров. Некоторые товары могут иметь более сложную нормализацию, допустим такая характеристика как "число скоростей" у велосипедов может по-разному рассчитываться в зависимости от того, указано оно как общее число или оценено на сайте отдельно по передней и задней звездочкам.
Приведение данной информации в единый вид пригодный для однозначного сопоставления является задачей разработанного алгоритма.
Разработанный алгоритм принимает на входе структурированное описание товаров, которое включает:
Далее для каждого из видов данных производится отдельная нормализация и проверка корректности, которые более подробно описаны ниже.
Результатом работы данного алгоритма является унификация информации о товарах, полученных из разных источников.
Приведение данной информации в единый вид пригодный для однозначного сопоставления является задачей разработанного алгоритма.
Разработанный алгоритм принимает на входе структурированное описание товаров, которое включает:
- категорию
- бренд
- название
- описание
- характеристики
- ссылки на фото в формате jpg или png.
Далее для каждого из видов данных производится отдельная нормализация и проверка корректности, которые более подробно описаны ниже.
Результатом работы данного алгоритма является унификация информации о товарах, полученных из разных источников.
Осуществляется на основе модели данных посредством сопоставления категории с мастер данными.
Категория задает шаблон для данной группы товаров, состоящим из набора характеристик. Принадлежность товара к категории означает, что товар обладает определенными свойствами.
Схема работы алгоритма представлена на рис 1.
Категория задает шаблон для данной группы товаров, состоящим из набора характеристик. Принадлежность товара к категории означает, что товар обладает определенными свойствами.
Схема работы алгоритма представлена на рис 1.
Также осуществляется на основе модели данных посредством сопоставления категории с мастер данными.
Схема работы алгоритма представлена на рис 2.
Схема работы алгоритма представлена на рис 2.
Осуществляется с применением следующих методов:
- очистка текста от стоп-слов - предлоги, знаки препинания и пр. регулярными выражениями;
- токенизация – разделение заголовков на слова;
- лемматизация – отброс окончаний и изменяющихся частей слова.
Осуществляется с применением следующих методов:
Схема работы алгоритма представлена на рис 4.
- очистка текста от стоп-слов - предлоги, знаки препинания и пр. регулярными выражениями;
- токенизация – разделение описаний на предложения, а затем разделение предложений на слова;
- лемматизация – отброс окончаний и изменяющихся частей слова.
Схема работы алгоритма представлена на рис 4.
Осуществляется с применением следующих методов:
Фотографии в формате JPG/PNG проходят пред обработку: ресайзинг, фильтрация, извлечение признаков с помощью сверточной нейросети для формирования числового вектора – представления изображения.
Вектора-представления кластеризуются для группировки похожих ракурсов фотографий и каждый объект кодируется числовым вектором ракурсов N-вероятностей – расстоянием до центра каждого из N кластеров.
Полученные вектора ракурсов используются при обучении, оптимизируемый целевой параметр – рейтинг товара с маркетплейса или количество продаж при отсутствии числового рейтинга на маркетплейсе.
В результате алгоритм предсказывает необходимые ракурсы для определенной категории товаров и, сравнивая с указанными в анализируемой карточке товара, выдает аналитический отчет с рекомендациями.
Схема работы алгоритма представлена на рис 5.
- перевод изображений в формат jpeg;
- перевод в оттенки серого;
- сжатие изображения
- классификация ракурсов.
Фотографии в формате JPG/PNG проходят пред обработку: ресайзинг, фильтрация, извлечение признаков с помощью сверточной нейросети для формирования числового вектора – представления изображения.
Вектора-представления кластеризуются для группировки похожих ракурсов фотографий и каждый объект кодируется числовым вектором ракурсов N-вероятностей – расстоянием до центра каждого из N кластеров.
Полученные вектора ракурсов используются при обучении, оптимизируемый целевой параметр – рейтинг товара с маркетплейса или количество продаж при отсутствии числового рейтинга на маркетплейсе.
В результате алгоритм предсказывает необходимые ракурсы для определенной категории товаров и, сравнивая с указанными в анализируемой карточке товара, выдает аналитический отчет с рекомендациями.
Схема работы алгоритма представлена на рис 5.
Осуществляется на основе модели данных, с извлечением характеристик и сопоставлением их с мастер данными.
Существуют несколько видов характеристик:
1. Может принимать только одно значение, например - цвет товара.
2. Может принимать несколько возможных значений, например - порты на ноутбуке.
3. Может быть числом внутри диапазона, например массо-габаритные характеристики.
4. Может принимать только значение да/нет, например - наличие дополнительного режима работы.
5. Может иметь другие особенности, например быть текстовым полем.
Схема работы алгоритма представлена на рис 6.
Существуют несколько видов характеристик:
1. Может принимать только одно значение, например - цвет товара.
2. Может принимать несколько возможных значений, например - порты на ноутбуке.
3. Может быть числом внутри диапазона, например массо-габаритные характеристики.
4. Может принимать только значение да/нет, например - наличие дополнительного режима работы.
5. Может иметь другие особенности, например быть текстовым полем.
Схема работы алгоритма представлена на рис 6.
Осуществляется на основе модели данных посредством сопоставления категории с мастер данными.
В алгоритме проводится прогнозирование характеристик на основе известной о товаре информации, при помощи моделей градиентного бустинга над решающими деревьями, обученных на мастер-данных, а потом сравнение факта с прогнозом дает рекомендации.
Схема работы алгоритма представлена на рис 7.
В алгоритме проводится прогнозирование характеристик на основе известной о товаре информации, при помощи моделей градиентного бустинга над решающими деревьями, обученных на мастер-данных, а потом сравнение факта с прогнозом дает рекомендации.
Схема работы алгоритма представлена на рис 7.
Осуществляется на основе модели данных и содержит в себе 2 группы методов:
В алгоритме проводится прогнозирование характеристик на основе известной о товаре информации, при помощи моделей градиентного бустинга над решающими деревьями, обученных на мастер-данных, а потом сравнение факта с прогнозом дает рекомендации.
Схема работы алгоритма представлена на рис 8.
- проверка крайних значений, например, высота баночки с шампунем, равная 1000 см, будет категоризирована как некорректная, поскольку значение 1000 для данной единицы измерения в данной категории товара находится за пределами допустимых крайних значений.
- сопоставление характеристики и допустимых для нее параметров модели с указанными на сайте, например, длина, указанная в кг будет категоризирована как некорректная.
В алгоритме проводится прогнозирование характеристик на основе известной о товаре информации, при помощи моделей градиентного бустинга над решающими деревьями, обученных на мастер-данных, а потом сравнение факта с прогнозом дает рекомендации.
Схема работы алгоритма представлена на рис 8.
В данном алгоритме осуществляется проверка на грамматические ошибки. Кроме того, алгоритм проверяет наличие необходимых слов в названии и терминов (сжатых предложений) в описании, учитывая шаблонизированное включение характеристик товара
Схема работы алгоритма представлена на рис 9.
Схема работы алгоритма представлена на рис 9.
В данном алгоритме проверяется корректность ракурсов изображений. Если у изображения не классифицирован ракурс или он не относится к допустимым группам, то изображение считается некорректным.
Схема работы алгоритма представлена на рис 10.
Схема работы алгоритма представлена на рис 10.
Пример применения алгоритма