Модель рекомендательной системы на основе технических событий
Аннотация
Рекомендательные системы широко применяются в коммерческой сфере, алгоритмы и архитектуры рекомендательных систем схожи в различных областях применения и доказали свою эффективность. Рекомендации строятся на основании профиля пользователя, манере его поведения на различных ИТ-ресурсах (ИТ – информационные технологии), а также по схожим пользователям. При этом применение рекомендательных систем в специализированных областях не распространено. Новой перспективной областью применения рекомендательных систем являются подразделения блока «Технологии» Сбера, а пользователями будут являться сами ИТ-эксперты. Рассмотрение комбинации рекомендательной системы, машинного обучения (machine learning, ML) и LLM (Large Language Model, большая языковая модель) и проектирование этих инструментов в единой системе является целью данной статьи. Объемы данных в настоящее время измеряются петабайтами (1015 байт) и эксабайтами (1018 байт), и чтобы обрабатывать даже техническую информацию (метаданные/техноданные) из окружающего ИТ-ландшафта, из используемых экспертами ИТ-систем, необходимы помощники – AI-агенты (AI – Artificial Intelligence, искусственный интеллект). В статье приводится обзор литературы в части применения рекомендательных систем в комбинации с LLM-приложениями, предлагается модель архитектуры приложения, которое из технических журналов событий формирует человекочитаемые новости. Система спроектирована для группы пользователей, которые работают с большими данными (ML-инженеры, аналитики данных и исследователи данных), представляет собой совокупность технологий рекомендательной системы, LLM и модели машинного обучения. Также в статье приводятся первые результаты проведенного исследования.
Скачивания
Литература
Microsoft (2024) What are AI agents? Available at: https://learn.microsoft.com/ru-ru/azure/cloud-adoption-framework/innovate/best-practices/conversational-ai (accessed 20 July 2024).
Sber (2024) A platform for launching autonomous AI agents is presented. Available at: https://ai.sber.ru/en/post/predstavlena-platforma-dlya-zapuska-avtonomnyh-ai-agentov (accessed 20 July 2024).
Shah A., Pasha D., Zadeh E., Konur S. (2022) Automated log analysis and anomaly detection using machine learning. Frontiers in Artificial Intelligence and Applications, vol. 358: Fuzzy Systems and Data Mining, pp. 137–147. https://doi.org/10.3233/FAIA220378
Chen Z., Liu J., Gu W., et al. (2021) Experience report: Deep learning-based system log analysis for anomaly detection. arXiv:2107.05908. https://doi.org/10.48550/arXiv.2107.05908
Mokshanov M.V. (2024) The use of artificial intelligence in data analysis: an overview of the current state and future directions. Universum: technical sciences: electronic scientific journal, no. 5(122) (in Russian). https://doi.org/10.32743/UniTech.2024.122.5.17513
Eremin O.Y. (2023) Methods of implementation of hybrid recommendation systems. E-Scio, no. 3(78) (in Russian).
Kurennykh A.E., Sudakov V.A. (2022) Approach to the development of hybrid recommendation systems. Bulletin of Science and Practice, vol. 8, no. 11 (in Russian).
Völske M., Potthast M., Syed S., Stein B. (2017) TL;DR: Mining Reddit to Learn Automatic Summarization. Proceedings of the Workshop on New Frontiers in Summarization, Copenhagen, Denmark, 2017, pp. 59–63. Association for Computational Linguistics. https://doi.org/10.18653/v1/W17-4508
Pu H., Yang X., Li J., Guo R. (2024) AutoRepo: A general framework for multimodal LLM-based automated construction reporting. Expert Systems with Applications, vol. 255, part B, article 124601. https://doi.org/10.1016/j.eswa.2024.124601
Sivakumar M., Belle A.B., Shan J., Shahandashti K.K. (2024) Prompting GPT–4 to support automatic safety case generation. Expert Systems with Applications, vol. 255, part C, article 124653. https://doi.org/10.1016/j.eswa.2024.124653
Kim S., Kang H., Choi S., et al. (2024) Large Language Models meet Collaborative Filtering: An efficient all-round LLM-based recommender system. arXiv:2404.11343. https://doi.org/10.48550/arXiv.2404.11343
Shu Y., Zhang H., Gu H., et al. (2023) RAH! RecSys-Assistant-Human: A human-centered recommendation framework with LLM agents. arXiv:2308.09904. https://doi.org/10.48550/arXiv.2308.09904
Vaswani A., Shazeer N., Parmar N., et al. (2017) Attention is all you need. arXiv:1706.03762. https://doi.org/10.48550/arXiv.1706.03762
Morozevich E.S., Korotkov V.S., Kuznetsova E.A. (2022) Development of a model for the formation of individual educational trajectories using machine learning methods. Business Informatics, vol. 16, no. 2, pp. 21–35. https://doi.org/10.17323/2587-814Х.2022.2.21.35
Palchunov D.E., Yakobson A.A. (2024) Development of an intelligent assistant for the selection of goods in the process of dialogue with the user. Business Informatics, vol. 18, no. 1, pp. 7–21. https://doi.org/10.17323/2587-814X.2024.1.7.21
Amenitsky A.V., Rukhovich I.V., Amenitskaya L.A., et al. (2024) Side effects of hallucinations of artificial intelligence. Science, innovation, education: current issues and modern aspects, pp. 224–235. Penza, 2024 (in Russian).
Strömqvist Z. (2018) Matrix factorization in recommender systems: How sensitive are matrix factorization models to sparsity? Uppsala University Publications. Available at: https://uu.diva-portal.org/smash/get/diva2:1214390/FULLTEXT01.pdf (accessed 22 July 2024).
Moisyuk-Dranko P.A., Revotyuk M.P. (2020) Methods of matrix factorization for recommendation systems. Proceedings of the international scientific conference Information technologies and systems 2020 (ITS 2020), pp. 193–194. Minsk: BGUIR (in Russian). Available at: https://libeldoc.bsuir.by/bitstream/123456789/41339/1/Moysyuk_Dranko_Metody.pdf (accessed 22 July 2024).
Kuznetsov I.A. (2019) Methods and algorithms of machine learning for preprocessing and classification of weakly structured text data in scientific recommendation systems. Moscow: MEPhI (in Russian). Available at: https://ds.mephi.ru/documents/90/Кузнецов_И_А_Текст_диссертации.pdf (accessed 22 July 2024).
Yuan M., Lin H.-T., Boyd-Graber J. (2020) Cold-start active learning through self-supervised language modeling. arXiv:2010.09535. https://doi.org/10.48550/arXiv.2010.09535
Liemohn M.W., Shane A.D., Azari A.R., et al. (2021) RMSE is not enough: Guidelines to robust data-model comparisons for magnetospheric physics. Journal of Atmospheric and Solar-Terrestrial Physics, vol. 218, article 105624. https://doi.org/10.1016/j.jastp.2021.105624
Sber (2024) GigaChat API (in Russian). Available at: https://developers.sber.ru/portal/products/gigachat-api (accessed 22 July 2024).
Sber (2024) Prompt engineering (in Russian). Available at: https://developers.sber.ru/docs/ru/gigachat/prompt-engineering (accessed 26 December 2024).
Amenitsky A.V., Rukhovich I.V., Amenitskaya L.A., Amenitsky D.A. (2024) Causes, ethical problems and prevention of hallucination LLM. Intelligence. Collection of articles of the International Competition of Young Scientists. Penza, pp. 12–15(in Russian).
Sber (2024) TagMe Data Markup Platform (in Russian). Available at: https://developers.sber.ru/portal/products/tagme (accessed 09 December 2024).
