تکامل خطوط لوله داده هوشمند

به نظر می رسد پتانسیل هوش مصنوعی (AI) و یادگیری ماشینی (ML) برای به دست آوردن و هدایت قابلیت های جدید مصرف کنندگان، محصولات، خدمات، عملیات، کار، محیط و روابط تقریبا غیرممکن باشد. اگر قرار است سازمان شما در آینده در این صنعت رقابت کند، هوش مصنوعی باید پایه و اساس تجارت شما باشد.

مطالعه ای توسط Kearney به نام “تاثیر تحقیقات در سال 2020” ناکارآمدی و اثرات اقتصادی سازمان هایی که به دنبال عدالت برای سرعت بخشیدن به داده های خود هستند را نشان می دهد. مقاله تحقیقاتی (AI / ML) و اطلاعات مدیریت سرمایه گذاری:

• اگر محققان مانند رهبران عمل کنند، می توانند نتایج را تا 20 درصد بهبود بخشند
• اگر فالوورها مانند رهبران عملکرد خوبی داشته باشند، می توانند نتایج را تا 55٪ بهبود بخشند
• اگر عقب مانده ها مانند رهبران عملکرد خوبی داشته باشند، می توانند سود خود را تا 81 درصد افزایش دهند

نتایج کسب و کار، اشتغال و جامعه می توانند تأثیر بگذارند مگر اینکه چالش مهمی در سازمان وجود داشته باشد – داده ها. اندرو نگ، پدر هوش مصنوعی، تأثیر مدیریت داده ها و اطلاعات را بر حمایت از سازمان ها و جوامع در شناخت پتانسیل هوش مصنوعی و ML ثبت نکرده است:

“استانداردها و قوانین برای چندین برنامه نقطه شروع راه حل هستند. اکنون که استانداردها به یک مکان ارتقا یافته اند، ما باید کاری کنیم که داده ها به همان روش کار کنند.” – اندرو نگ

داده ها در قلب آموزش مدل AI و ML قرار دارند. و داده های خوب، قابلیت اطمینان از خطوط لوله با راندمان بالا و ظرفیت زیاد به این معنی است که هوش مصنوعی می تواند کسب و کارها را راضی تر و کارآمدتر کند. همانطور که سلامت قلب به اکسیژن و خون قابل اعتماد نیاز دارد، تداوم اطلاعات پاک، دقیق، کارآمد و قابل اعتماد نیز به همین ترتیب است. برای موتورهای AI/ML مهم است.

به عنوان مثال، یک CIO تیمی متشکل از 500 مهندس داده دارد که بیش از 15000 وظیفه استخراج، تبدیل و بارگذاری (ETL) را مدیریت می کنند که مسئول به دست آوردن، جابجایی، تجمیع، استانداردسازی و تراز کردن داده ها بیش از 100 مخزن داده با هدف خاص هستند (داده ها). مارت ها، انبارهای داده، دریاچه های داده و دریاچه های داده). آنها این وظایف را در سازماندهی کار و ملاقات با مصرف کنندگان تحت توافق نامه های مشخصات دقیق (SLA) انجام می دهند تا از اطلاعات کاربری مختلف خود پشتیبانی کنند. به نظر می رسد که روب گلدبرگ واقعاً باید یک طراح داده می شد (شکل 1).

کاهش مدل معماری اسپاگتی تضعیف‌کننده سرویس‌های ETL استاتیک یکباره، ویژه، برای جابجایی، تمیز کردن، پالایش و انتقال داده‌ها، «زمان» را برای درک «ضروری برای سازمان‌ها برای بهره‌برداری کامل از ویژگی‌های اقتصادی منحصربه‌فرد داده‌ها ضروری است.» ، “با ارزش ترین جهان” به عنوان اقتصاد دان.

ظهور مصالح لوله کشی هوشمند

هدف از انتقال داده تکمیل و اندازه گیری چندین مجموعه داده و تکرارکننده، تبادل، جابجایی و همکاری است. یک استراتژی ایجاد داده خوب می تواند جمع آوری داده ها، پاکسازی، تبدیل، ساده سازی و انتقال داده ها به سیستم ها و برنامه ها را ساده و ساده کند. از آنجایی که حجم، تنوع و سرعت داده ها همچنان در حال افزایش است، تقاضا برای خطوط لوله داده که می توانند در محیط ابری و ترکیبی ابری دنبال شوند، اهمیت فزاینده ای برای عملکرد صنعت پیدا کرده است.

خط لوله به فرآیند ترکیب عملیات پردازش داده و فرآیندهای صنعتی برای بهینه سازی، تبادل و انتقال داده ها اشاره دارد. خط لوله می تواند طبق برنامه زمان بندی شده، در زمان واقعی (استریم) کار کند یا براساس سیاست یا شرایط طراحی شود.

علاوه بر این، منطق و الگوریتم‌ها را می‌توان در انتقال داده برای ایجاد خطوط لوله داده «هوشمند» گنجاند. خط لوله هوشمند قابل استفاده مجدد است و می تواند از نظر مالی اضافی مورد استفاده قرار گیرد که می تواند برای فرآیند تخصصی باشد و تغییرات داده های لازم را برای پشتیبانی از اطلاعات خاص و نیازهای حسابرسی برای هدف یا کاربرد ایجاد کند.

همانطور که یادگیری ماشین و AutoML پیچیده تر می شوند، لوله کشی داده ها پیچیده تر می شود. خطوط لوله می توانند داده ها را بین سیستم های تبادل داده های پیشرفته و پیشرفته جابجا کنند، جایی که الگوریتم های شبکه عصبی و یادگیری ماشین می توانند سیستم های تبادل داده کارآمدتر و کارآمدتری ایجاد کنند. این شامل تقسیم بندی، تجزیه و تحلیل رگرسیون، گروه بندی، و طراحی شاخص های بسیار بالا و تمایل به امتیاز است.

در نهایت، می‌توان هوش مصنوعی را در خط لوله داده ادغام کرد زیرا می‌توانند به یادگیری و اصلاح به صورت موردی ادامه دهند، نیاز به تبادل و پشتیبانی داده‌ها، و تغییر شکل دهند. کسب‌وکار و عملکرد هدف و اجرا را تغییر دهند.

به عنوان مثال: داده‌های هوشمند در مراقبت‌های بهداشتی می‌توانند گروه‌هایی از بیماری‌های مرتبط با فعالیت مراقبت‌های بهداشتی (DRG) را برای قابل اعتماد بودن شناسایی کنند که شباهت و کاملی در انتقال داده‌های DRG و کشف تقلب وجود دارد زیرا داده‌های DRG توسط انتقال داده از سایت. سیستم به سیستم های تحلیلی

درک ارزش بازار

مدیران داده‌ها و مدیران داده‌ها برای افشای مزایای کسب‌وکار داده‌هایشان – استفاده از داده‌ها برای کسب‌وکارها برای ارتقای تأثیر مالی، به چالش کشیده شده‌اند. بیشتر.

توانایی به دست آوردن اطلاعات مشتری با کیفیت بالا و قابل اعتماد به موقع برای حمایت از تصمیمات به موقع و دقیق می تواند یک تمایز کلیدی برای اطلاعات شرکت باشد. سیستم Rube Goldberg از اسکریپت‌های ELT و مخازن مختلف و تخصصی تحلیل محور بر توانایی سازمان برای دستیابی به آن هدف تأثیر می‌گذارد.

درباره مواد هوشمند لوله کشی بیشتر بدانید خطوط لوله داده های سازمانی مدرن (ebook) از Dell Technologies در اینجا.

این محتوا توسط Dell Technologies ساخته شده است. این توسط تحریریه MIT Technology Review نوشته نشده است.