ivdon3@bk.ru
Университеты обладают фантастическим потенциалом для получения важнейших знаний, благодаря наличию огромных объемов данных. Статья посвящена переходу университетов от хранилищ данных к более гибким и масштабируемым озёрам данных для обработки больших данных. Рассматриваются ключевые различия и сходства хранилищ данных и озер данных, где хранилища ориентированы на структурированные данные и традиционную аналитику, а озера данных позволяют работать с сырыми и полуструктурированными данными, поддерживая гибкий ELT-подход (извлечение, преобразование, загрузка). Акцентируется внимание на вызовах, связанных с миграцией данных между этими архитектурами, включая вопросы безопасности, масштабируемости и затрат. Использование облачных решений и технологий, таких как Apache Hadoop и Spark, помогает снижать затраты и эффективно управлять большими данными. Приводятся примеры способов обработки данных с помощью машинного обучения и специализированных инструментов, что способствует лучшему пониманию процесса управления и анализа данных в университетских структурах.
Ключевые слова: хранилище данных, озеро данных, большие данные, облачное хранение, неструктурированные данные, полуструктурированные данные
1.2.2 - Математическое моделирование, численные методы и комплексы программ , 2.3.6 - Методы и системы защиты информации, информационная безопасность
В работе предлагается подход, позволяющий повысить эффективность использования моделей машинного обучения в задачах мониторинга на основе использования метрических пространств. Под эффективностью при этом понимается решение ключевых задач мониторинга – повышение заблаговременности выявление нежелательных инцидентов и снижение, по возможности, ложных срабатываний системы. Подход носит универсальный характер и не зависит от конкретных алгоритмов машинного обучения (в основном методов классификации) и способов измерения расстояния между элементами метрического пространства. Подбор наилучшей комбинации методов осуществляется путем перебора на основе предложенной методики. Подход апробирован на наборе синтетических и реальных данных.
Ключевые слова: мониторинг, машинное обучение, классификация состояний, прогнозирование инцидентов, заблаговременность, выявление аномалий
1.2.2 - Математическое моделирование, численные методы и комплексы программ
Рассматривается использование расширения PDO языка сценариев PHP в качестве метода взаимодействия с различными системами управления базами данных при разработке PHP-приложений. Подчеркиваются преимущества PDO перед традиционными подходами, такими как mysql и pgsql расширения, указывая на его универсальность, поддержку подготовленных запросов, удобство работы с ошибками, поддержку транзакций, и легкость в обучении. Через практические примеры кода демонстрируется, как эти преимущества могут быть реализованы в реальных сценариях работы с базами данных. Затрагивается поддержка подготовленных запросов как одного из мощных механизмов защиты от SQL-инъекций. В заключении подчёркивается важность PDO для современной PHP-разработки, акцентируется внимание на повышенной безопасности, гибкости и удобстве поддержки кода, что делает его предпочтительным выбором для современных разработчиков.
Ключевые слова: PHP, PDO, базы данных, СУБД, безопасность, подготовленные запросы, транзакции, программирование
1.2.2 - Математическое моделирование, численные методы и комплексы программ , 2.3.6 - Методы и системы защиты информации, информационная безопасность