Spark هو نظام حوسبة موزعة مفتوح المصدر للأغراض العامة يستخدم لمعالجة البيانات الضخمة والتعلم الآلي. ويوفر واجهات للغات البرمجة مثل Scala وJava وPython وR.
تم تطويره في مختبر AMPLab التابع لجامعة كاليفورنيا في بيركلي في عام 2009 كمشروع بحثي.
أصبح مشروع حاضنة أباتشي في عام 2012.
تخرج ليصبح مشروعًا رفيع المستوى في Apache في عام 2014.
تم إصدار Spark 1.0 في عام 2014، وأحدث إصدار هو Spark 3.1، الذي تم إصداره في عام 2021.
إطار برمجي مفتوح المصدر للتخزين الموزع ومعالجة البيانات الضخمة باستخدام نموذج برمجة MapReduce.
خدمة ويب توفر إطار عمل Hadoop مُدارًا على Amazon Web Services، وتتكامل مع خدمات AWS الأخرى.
خدمة سحابية سريعة وسهلة الاستخدام ومدارة بالكامل لتشغيل مجموعات Apache Spark وApache Hadoop، وتتكامل مع خدمات Google Cloud الأخرى.
نظام حوسبة موزع مفتوح المصدر للأغراض العامة.
وحدة Spark لمعالجة البيانات المنظمة التي يمكنها قراءة البيانات من مصادر منظمة مختلفة وتتكامل مع مكتبات التعلم الآلي ومعالجة الرسوم البيانية الخاصة بـ Spark.
وحدة Spark لمعالجة البيانات المتدفقة في الوقت الفعلي، مما يتيح معالجة قابلة للتطوير ومقاومة للأخطاء لتدفقات البيانات المباشرة.
وحدة Spark التي توفر خوارزميات وأدوات مساعدة للتعلم الآلي الموزعة.
Spark هو نظام حوسبة موزع مفتوح المصدر يوفر واجهات للغات البرمجة مثل Scala وJava وPython وR، ويمكن استخدامه لمعالجة البيانات الضخمة والتعلم الآلي.
بعض فوائد استخدام Spark هي سرعة المعالجة السريعة، والقدرة على معالجة البيانات في الذاكرة، والتسامح مع الأخطاء، والتوافق مع لغات البرمجة ومصادر البيانات المختلفة.
يعد Spark بديلاً أسرع وأكثر مرونة لـ Hadoop MapReduce لأنه يقوم بمعالجة البيانات في الذاكرة، مما يلغي الحاجة إلى كتابة البيانات على القرص، كما يوفر الدعم لمعالجة البيانات المتدفقة في الوقت الفعلي.
بعض حالات الاستخدام الشائعة لـ Spark هي معالجة البيانات الضخمة، والتعلم الآلي، والمعالجة في الوقت الفعلي للبيانات المتدفقة، ومعالجة الرسوم البيانية، وتحليل البيانات.
تستخدم العديد من الشركات الكبيرة Spark، بما في ذلك IBM وAmazon وeBay وYahoo وAlibaba، بالإضافة إلى العديد من الشركات الناشئة والمؤسسات البحثية.