Сервисы доступа к хранилищам рекомендательной системыМоя дипломная работа посвящена реализации слоя доступа к данным в рекомендательных системах национальных социальных сетей. В отличие от прежних подходов, для современных рекомендательных систем реального времени требуется отказоустойчивое хранилище пользовательских эмбеддингов, доступ к которому происходит в рантайме — иными словами, все рекомендации пересчитываются на лету, пока пользователь скроллит ленту контента. В работе я исследую механизмы отказоустойчивости и оптимизации исполнения запросов к платформе обработки и хранения больших данных YTsaurus в контексте создания рекомендательных систем.
Мое решение позволило увеличить доступность слоя хранилищ рекомендательных систем до 99.99%, на порядок сократить количество используемых ресурсов под линейно масштабируемый компонент платформы и — наконец — стать основой для семейства рекомендательных систем реального времени. Мой вклад в YTsaurus Java SDK опубликован в версии 1.2.7.
Результаты работы я представлял на Конгрессе молодых ученых ИТМО в 2025 году, также она участвует в
конкурсе «Научный Эверест» на лучшую ВКР среди выпускников университета.
В рамках этой работы я познакомился с реалиями высоконагруженных сервисов и столкнулся с проблемой отсутствия API, требовавшегося в YTsaurus Java SDK. Также я открыл для себя контур семейства рекомендательных систем и мир больших данных, что представляется очень интересным опытом.