تسريع تطوير تطبيقات التعلم الآلي: تكامل تجهيز Airflow للإنتاج مع أدوات الذكاء الاصطناعي الحاسمة

يلعب الذكاء الاصطناعي الإنتاجي وتعلم الآلة التشغيلي دورًا حاسمًا في المشهد البيانات الحديث من خلال تمكين المؤسسات من الاستفادة من بياناتها لتشغيل منتجات جديدة وزيادة رضا العملاء. تستخدم هذه التقنيات في المساعدين الافتراضيين، ونظم التوصية، وإنشاء المحتوى، وغيرها. فهي تساعد المؤسسات على بناء ميزة تنافسية من خلال اتخاذ قرارات مستندة إلى البيانات، والتأتأة، وتحسين العمليات التجارية، وتجارب العملاء.

تعد Apache Airflow في صميم عمليات التعلم الآلي للفرق العديدة، وبفضل التكاملات الجديدة لنماذج اللغة الكبيرة (LLMs)، يمكن لـ Airflow تمكين هذه الفرق من بناء تطبيقات جاهزة للإنتاج بآخر التطورات في مجال التعلم الآلي والذكاء الاصطناعي.

تبسيط تطوير التعلم الآلي
غالبًا ما يتم إنشاء نماذج التعلم الآلي والتحليل التنبؤي في بيئات منفصلة تمامًا عن أنظمة الإنتاج والتطبيقات. تواجه المؤسسات تحديًا مستمرًا لتحويل دفتر عمل عالم البيانات الوحيد لعالم تطبيق جاهز للإنتاج مع الاستقرار والتطويل والامتثال وما إلى ذلك.

ومع ذلك، تتمكن المؤسسات التي تقوم بتوحيد منصة واحدة لتنظيم سير عمل DataOps و MLOps من تقليل ليس فقط الاحتكاك في تطوير النهاية إلى النهاية ولكن أيضًا تكاليف البنية التحتية وانتشار تكنولوجيا المعلومات. عندما تكون منصة التنسيق المركزية، مثل Apache Airflow، مفتوحة المصدر وتتضمن تكاملًا مع كل أداة بيانات ومنصة تقريبًا، يمكن لفرق البيانات والتعلم الآلي اختيار الأدوات التي تعمل بشكل أفضل لاحتياجاتهم مع الاستفادة من فوائد التوحيد والحوكمة وتبسيط عمليات العثورعلى الأخطاء وقابلية إعادة الاستخدام.

تعتبر Apache Airflow و Astro (منصة تنسيق Airflow القائمة بالكامل على مصاحبة النجوم) المكان الذي يلتقي فيه مهندسو البيانات ومهندسو التعلم الآلي لإنشاء قيمة تجارية من التعلم الآلي التشغيلي. مع وجود عدد كبير جدًا من أنابيب هندسة البيانات التي تعمل على Airflow كل يوم في كل صناعة وقطاع، فإنها الأداة الأساسية في عمليات البيانات الحديثة، ويمكن لفرق التعلم الآلي الاستفادة من هذا الأساس ليس فقط في تحقيق النمذجة ولكن أيضًا في التدريب والتقييم والمراقبة.

تحسين Airflow لتطبيقات التعلم الآلي المحسَّنة
مع استمرار المؤسسات في إيجاد طرق للاستفادة من نماذج اللغة الكبيرة، يصبح Airflow في مركز الاهتمام بشكل متزايد لتشغيل البيانات الغير المنظمة ومعالجتها، وإنتاج التكميل المعزز للتوليد (RAG)، ومعالجة التعليقات، وتنقيح النماذج الأساسية. لدعم هذه الحالات الجديدة وتوفير نقطة انطلاق لمستخدمي Airflow، عملت Astronomer بالتعاون مع مجتمع Airflow لإنشاء Ask Astro – كتنفيذ مرجعي عام لـ RAG مع Airflow للذكاء الاصطناعي المحادثاتي.

على نطاق أوسع، قادت Astronomer تطوير التكاملات الجديدة مع قواعد البيانات الناقلة ومزودي LLM لدعم هذا الجيل الجديد من التطبيقات والأنابيب التي يتعين الحفاظ عليها بأمان وتحديث وإدارة.

الاتصال بأكثر خدمات LLM وقواعد البيانات الناقلة استخدامًا واسعًا
يوفر Apache Airflow، بالاشتراك مع بعض قواعد البيانات الناقلة المستخدمة على نطاق واسع (Weaviate و Pinecone و OpenSearch و pgvector) ومزودي معالجة اللغة الطبيعية (NLP) (OpenAI و Cohere)، قابلية التوسع من خلال أحدث التطورات في تطوير البرمجيات مفتوحة المصدر. معًا، يمكنها تمكين تجربة من الدرجة الأولى في تطوير RAG لتطبيقات مثل الذكاء الاصطناعي المحادثاتي، وروبوتات الدردشة، وتحليل الاحتيال، وغيرها.

 هذا المحتوى تم باستخدام أدوات الذكاء الاصطناعي