آپاچی اسپارک

آپاچی اسپارک یک چارچوب محاسبات خوشه‌ای متن‌باز است که در اصل در آزمایشگاه AMPLab دانشگاه برکلی توسعه داده شده است. Spark's in-memory در یک نرم‌افزار کاربردی معین کارایی ۱۰۰ برابر نگاشت کاهش دو مرحله‌ای هادوپ(Hadoop's two-stage disk-based MapReduce paradigm) را فراهم می‌کند.اسپارک برای الگوریتم‌های یادگیری ماشین بسیار مناسب است. اسپارک یکی از فعال‌ترین پروژه‌های متن‌باز است و در سال ۲۰۱۴ بیش از ۴۶۵ کمک‌کننده[ در توسعه] داشت که آن را فعال‌ترین پروژه‌های بنیاد آپاچی در خصوص پروژه‌های نرم‌افزاری کلان داده(Big Data)ساخته‌اند. اسپارک در ابتدا در سال ۲۰۰۹ توسط Matei Zaharia در آزمایشگاه AMPLab دانشگاه برکلی شروع شد و در سال ۲۰۱۰ تحت مجوز BSD متن‌باز شد. در ۲۰۱۳ این پروژه به بنیاد نرم‌افزاری آپاچی هدیه شد و مجوز آن به آپاچی۲.۰ تغییرکرد و یک پروژه‌های سطح بالای آپاچی شد. در نوامبر۲۰۱۴ تیم مهندسی Databricks از اسپارک استفاده کردند و رکورد جهانی جدیدی در مرتب سازی مقیاس بالا ثبت‌کرد.