ΜΕΛΕΤΗ ΚΑΙ ΥΛΟΠΟΙΗΣΗ ΑΛΓΟΡΙΘΜΩΝ ΜΗΧΑΝΙΚΗΣ MΑΘΗΣΗΣ ΣΕ ΔΕΔΟΜΕΝΑ ΡΟΗΣ ΣΤΟ APACHE SPARK

Abstract

Η Μηχανική Μάθηση (Machine Learning, ML) αποτελεί έναν από τους πιο συναρπαστικούς και δυναμικούς τομείς στην επιστήμη των υπολογιστών και της τεχνητής νοημοσύνης, επηρεάζοντας ποικίλους τομείς εφαρμογών όπως η υγειονομική περίθαλψη, το ηλεκτρονικό εμπόριο, η χρηματοοικονομία και η αυτόνομη οδήγηση. Η ικανότητα των αλγορίθμων μηχανικής μάθησης να αναλύουν μεγάλα και πολύπλοκα δεδομένα και να εξάγουν χρήσιμα μοτίβα ή προβλέψεις έχει οδηγήσει σε σημαντικές εξελίξεις και καινοτομίες. Ειδικότερα, τα δεδομένα ροής (streaming data) αποτελούν μια ιδιαίτερα απαιτητική κατηγορία δεδομένων, καθώς τα δεδομένα αυτά παράγονται συνεχώς και σε πραγματικό χρόνο, απαιτώντας την άμεση επεξεργασία και ανάλυσή τους. Το Apache Spark, ένα από τα πιο δημοφιλή πλαίσια κατανεμημένης επεξεργασίας δεδομένων, παρέχει ισχυρές δυνατότητες για την επεξεργασία μεγάλων όγκων δεδομένων σε πραγματικό χρόνο, καθιστώντας το ιδανικό εργαλείο για την ανάπτυξη και εφαρμογή αλγορίθμων μηχανικής μάθησης σε δεδομένα ροής. Η πλατφόρμα αυτή συνδυάζει ταχύτητα, ευχρηστία και ευελιξία, επιτρέποντας την ανάπτυξη και την εκτέλεση μοντέλων μηχανικής μάθησης σε περιβάλλοντα μεγάλης κλίμακας. Σκοπός αυτής της πτυχιακής εργασίας είναι η μελέτη και υλοποίηση αλγορίθμων μηχανικής μάθησης σε δεδομένα ροής χρησιμοποιώντας το Apache Spark. Θα εξετάσουμε τη διαδικασία συλλογής, επεξεργασίας και ανάλυσης δεδομένων ροής, καθώς και την εφαρμογή αλγορίθμων μηχανικής μάθησης ABSTRACT Machine Learning (ML) is one of the most exciting and dynamic fields in computer science and artificial intelligence, impacting various application areas such as healthcare, e-commerce, finance, and autonomous driving. The ability of machine learning algorithms to analyze large and complex datasets and extract useful patterns or predictions has led to significant advancements and innovations. In particular, streaming data represents a highly demanding category of data, as it is continuously generated in real time, requiring immediate processing and analysis. Apache Spark, one of the most popular distributed data processing frameworks, provides powerful capabilities for processing large volumes of data in real time, making it an ideal tool for developing and deploying machine learning algorithms on streaming data. This platform combines speed, ease of use, and flexibility, enabling the development and execution of machine learning models in large-scale environments. The purpose of this thesis is to study and implement machine learning algorithms on streaming data using Apache Spark. We will examine the process of collecting, processing, and analyzing streaming data, as well as the application of machine learning algorithms