আপাফে কাফকা বড় তথ্যগুলির জন্য চাকার উত্তোলন করছে কিভাবে

এনালিটিক্স প্রায়ই বড় তথ্যগুলির সাথে সম্পর্কিত সবচেয়ে বড় চ্যালেঞ্জগুলির মধ্যে একটি হিসাবে বর্ণনা করা হয়, কিন্তু এই পদক্ষেপটি আগেও হতে পারে, এন্টারপ্রাইজ ব্যবহারকারীদের কাছে তথ্য গ্রহণ করা এবং উপলব্ধ করা হয়। এপাচি কাফকা আসেন যেখানে।

মূলত লিঙ্কডইন এ উন্নত, কাফকা ওয়েবসাইট, অ্যাপ্লিকেশন এবং সেন্সরগুলি থেকে তথ্যগুলির রিয়েল-টাইম স্ট্রীমগুলি পরিচালনার জন্য একটি মুক্ত-উৎস সিস্টেম।

মূলত, এটি একটি সাজানোর উদ্যোগ হিসাবে কাজ করে " সেন্ট্রাল স্নায়বিক সিস্টেম "যা ব্যবহারকারীর কার্যকলাপ, লগগুলি, অ্যাপ্লিকেশন মেট্রিক্স, স্টক টিকারস এবং ডিভাইস যন্ত্রের মত বিষয়গুলি সম্পর্কে উচ্চ পরিমাণের তথ্য সংগ্রহ করে, উদাহরণস্বরূপ, এবং এন্টারপ্রাইজ ব্যবহারকারীদের দ্বারা ব্যবহারের জন্য এটি একটি বাস্তব-সময় স্ট্রিম হিসাবে উপলব্ধ করে।

[ আরও পড়ুন: সেরা সাদা LED আলোর বাল্ব]

কাফকা প্রায়ই অন-প্রজেক্টের বাস্তবায়নের জন্য সক্রিয় এমকিউবি বা খরগোশ এমকিউএলের সাথে তুলনা করা হয়, বা ক্লাউড গ্রাহকদের জন্য এ্যাম্বিক ওয়েব সার্ভিসেস কাইনসিসের সাথে, স্টিফেন ওগ্রাদি, সহ-প্রতিষ্ঠাতা এবং RedMonk সঙ্গে প্রধান বিশ্লেষক।

"এটা আরো দৃশ্যমান হয়ে উঠছে কারণ এটি একটি উচ্চ মানের ওপেন সোর্স প্রকল্প, কিন্তু কারণ তথ্য উচ্চ ভেলিমিটি প্রবাহগুলি পরিচালনা করার ক্ষমতা আইওটি মত সার্ভিসিং লোড ব্যবহারের জন্য চাহিদা ক্রমবর্ধমান হয়, অন্যের মধ্যে, "ওগ্রিডি যোগ করেছে।

লিঙ্কেডিনে ভাবা হচ্ছে, কাফকা নেটফ্লিক্স, উবার, সিএসও এবং গোল্ডম্যান স্যাচ কোম্পানিগুলির কাছ থেকে উচ্চ-প্রোফাইল সমর্থন পেয়েছে। আইবিএম এর নতুন স্ট্রিমিং এনালিটিক্স সার্ভিসের লক্ষ্যমাত্রা প্রতি সেকেন্ডে প্রতি মিলিসেকেন্ড প্রতিক্রিয়া বারের জন্য এবং প্রতি সেকেন্ডে লক্ষ লক্ষ ইভেন্ট বিশ্লেষণ করার জন্য। তাত্ক্ষণিক সিদ্ধান্ত নেওয়া। বর্তমানে অ্যাপাফেক ক্যাফকা এপিআই (এ্যাপ্লিকেশন প্রোগ্রামিং ইন্টারফেস) ব্যবহার করে অন্য অ্যাপ্লিকেশনগুলির সাথে যোগাযোগ করার জন্য ব্যবহার করা যায়।

কাফকা এখনই বিটাতে, আইবিএম মেসেজ হাব, স্প্ল্যাবল, বিতরণ, হাই-থ্রুপুট, ক্লাউড অ্যাপ্লিকেশনের জন্য অসিঙ্ক্রোনাস মেসেজিং প্রদান করে। ২011 সালে খোলাখুলি উত্সাহিত করা হয়েছে। গত বছর কাফকার তিনটি কনফিগিউট্যান্ট চালু করেছে, এটি একটি প্রজেক্ট যার সাহায্যে প্রোডাক্টরা এটি উৎপাদনে স্কেল ব্যবহার করে নিবেদিত।

"LinkedIn এ আমাদের বিস্ফোরক বৃদ্ধির ধাপের সময়, আমরা ক্রমবর্ধমান ব্যবহারকারী বেস এবং ডেটা যা আমাদের ব্যবহারকারীর অভিজ্ঞতাকে উন্নত করতে সাহায্য করতে পারে ", কাফকা এর নির্মাতা ও কনফ্লেটেনস এর সহ-প্রতিষ্ঠাতা এক নেহা নর্কেড।

" কাফকা আপনাকে কি করতে সাহায্য করে কোম্পানির জুড়ে তথ্য প্রেরণ করে এবং এটি তৈরি করে যারা এটি ব্যবহার করতে হবে তাদের জন্য কয়েক সেকেন্ডের মধ্যে ক্রমাগত ফ্রি-প্রবাহিত স্ট্রিম হিসাবে পাওয়া যায়, "নরখাদে ব্যাখ্যা করেছেন। "এবং এটি স্কেলে যে।"

লিঙ্কডইন এ প্রভাব ছিল "রূপান্তরমূলক," তিনি বলেন। আজ, লিংকডেন কাফকা স্থাপনের বৃহত্তম অংশ; এটি প্রতিদিন 1.1 ট্রিলিয়ন বারের চেয়ে বেশি।

এদিকে, কনফার্ম, সাবস্ক্রিপশন দ্বারা বৃহৎ কোম্পানিকে উৎপাদন ব্যবস্থার জন্য কাফকার চালানোর জন্য উন্নত ব্যবস্থাপনা সফ্টওয়্যার প্রদান করে। তার গ্রাহকদের মধ্যে একটি বড় বড় বাক্স খুচরা বিক্রেতা এবং "মার্কিন যুক্তরাষ্ট্রে বৃহত্তম ক্রেডিট কার্ড প্রদানকারীদের মধ্যে একজন", নরখাদে বলেন।

পরেরটি সত্যিকারের জালিয়াতি সুরক্ষার জন্য প্রযুক্তির ব্যবহার করছে, তিনি বলেন।

কাফকা "অবিশ্বাস্যভাবে দ্রুতগামী ম্যাসেজিং বাস" যা দ্রুত বিভিন্ন ধরনের তথ্য সংগ্রহ করতে সাহায্য করে, যা 451 গবেষণার বিশ্লেষক জেসন স্টাম্পার বলেন। "এটিই সবচেয়ে জনপ্রিয় পছন্দের এক হিসাবে আবির্ভূত হয়।"

সক্রিয় এমকিউ এবং রেবতী এমকিউ এর পাশাপাশি অন্য একটি পণ্য যা অনুরূপ কার্যকারিতা প্রদান করে তা হল অ্যাপাচি ফ্লাইম; স্টর্ম এবং স্পার্ক স্ট্রিমিংও বেশ কয়েকটি উপায়ে একই রকম।

বাণিজ্যিক স্থানটিতে, কনফ্লেটেনের প্রতিযোগীদের মধ্যে রয়েছে আইবিএম ইনফসফের স্ট্রীম, ইনফরম্যাটিক্সের আল্ট্রা মেসেজিং স্ট্রিমিং এডিশন এবং এসএএস এর ইভেন্ট স্ট্রিম প্রসেসিং ইঞ্জিন (ইএসপি) সফটওয়্যার এজি এর অ্যাপাম, তিব্বোর স্ট্রিমব্যাজ এবং এসএপি এর এলেরি, স্ট্যামপার যোগ করেছে। ছোট প্রতিযোগীদের মধ্যে ডেটা টরেন্ট, স্প্লাক, লোগল্লি, ল্যাজেন্ট্রি, এক্স 15 সফটওয়্যার, সুমো লোগিক এবং গ্লাসবিওম রয়েছে।

ক্লাউডে, এডব্লিউএস-এর কিনিস স্ট্রীম-প্রসেসিং সার্ভিস "তার রেডশিফ্ট ডেটা ওয়েয়ারহাউজ এবং এস 3 স্টোরেজ প্ল্যাটফর্মের সাথে ইন্টিগ্রেশন এর অতিরিক্ত সুবিধা রয়েছে।"

Teradata এর নতুন ঘোষিত শ্রোতা অন্য প্রতিদ্বন্দ্বী, এবং এটি কাফকা-ভিত্তিক পাশাপাশি, সুপরিচিত ব্রায়ান হপকিন্স, ফরেফার রিসার্চের একজন ভাইস প্রেসিডেন্ট এবং প্রধান বিশ্লেষক।

সাধারণভাবে, রিয়েল টাইম ডেটার দিকে একটি সুস্পষ্ট প্রবণতা রয়েছে, হপকিন্স বলেন।

২013 পর্যন্ত বা তাই "বড় তথ্য সব ছিল Hadoop মধ্যে প্রচুর পরিমাণে তথ্য স্টাফ, "তিনি বলেন ,. "এখন, যদি আপনি এটি করছেন না, আপনি ইতিমধ্যে ক্ষমতা বক্ররেখা পিছনে রয়েছেন।"

আজ, স্মার্টফোনের এবং অন্যান্য উত্সগুলির তথ্যগুলি উদ্যোক্তাদেরকে বাস্তব সময়ে ভোক্তাদের সাথে যুক্ত করার এবং প্রাসঙ্গিক অভিজ্ঞতা প্রদানের সুযোগ দিচ্ছে, তিনি মো। ঘন ঘন, ডেটা আরও দ্রুত বুঝতে সক্ষম।

"জিনিসগুলির ইন্টারনেট মোবাইলের দ্বিতীয় তরঙ্গের মত," হপকিন্স ব্যাখ্যা করেছেন। "প্রত্যেক বিক্রেতা তথ্য উপভোগের জন্য অবস্থান করছে।"

ফলস্বরূপ, প্রযুক্তিটি অনুসারে অনুকরণ করা হয়।

"2014 পর্যন্ত এটি হডোপের সবই ছিল, তারপর এটি স্পার্ক ছিল," তিনি বলেন। "এখন, এটি হডোপ, স্পার্ক এবং কাফকা। এই আধুনিক বিশ্লেষণাত্মক স্থাপত্যের ডাটা-এনজেশশন পাইপলাইনে এই তিনটি সমান অংশ রয়েছে।"