مایکروسافت از انتشار SynapseML، یک کتابخانه منبع باز برای ایجاد و مدیریت خطوط لوله یادگیری ماشینی توزیع شده (ML) خبر داد.
SynapseML روی Apache Spark اجرا میشود، یک انتزاع API مبتنی بر زبان را در چندین ذخیرهگاه داده ارائه میکند و با چندین فناوری ML موجود، از جمله تبادل شبکه عصبی باز (ONNX) ادغام میشود. این انتشار در یک پست وبلاگ توسط مهندس نرم افزار مارک همیلتون اعلام شد.
SynapseML بر روی Apache Spark اجرا می شود و از مدیریت Spark از خوشه های محاسباتی مقاوم در برابر خطا در مقیاس بزرگ بهره می برد. این کتابخانه دارای API برای هر دو پایتون و جاوا با قابلیت ایجاد اتصالات برای جاوا، R و C# است. SynapseML شامل ماژول HTTP on Spark است که به کاربران اجازه می دهد خدمات وب را در خطوط لوله خود ادغام کنند و همچنین بسته های از پیش ساخته شده برای فراخوانی چندین سرویس از جمله خدمات شناختی Azure. با استفاده از ONNX، توسعه دهندگان می توانند مدل های از پیش آموزش دیده را از ONNX Model Hub مایکروسافت مستقر کنند یا مدل های ساخته شده در چارچوب های دیگر مانند TensorFlow یا PyTorch را برای انجام استنتاج توزیع شده در Spark تبدیل کنند. ماژول Spark Serving به توسعه دهندگان این امکان را می دهد تا خطوط لوله Spark خود را به عنوان سرویس های وب با تأخیر کم در معرض دید قرار دهند.
بیشتر بدانید: https://lnkd.in/ggB-_jcz