বিগ ডেটা ডাইজেস্ট: কতগুলি হিডোप्स আমাদের প্রয়োজন?

ফ্লিকার , দৃশ্যের উপর নতুন বিতরণকৃত ডেটা বিশ্লেষণ ইঞ্জিনকে হ্যালো বলুন।

এই সপ্তাহে, আপাচি সফটওয়্যার ফাউন্ডেশন ঘোষণা করেছে আপাচি ফ্ল্যাঙ্কটি তার সর্বশেষ শীর্ষ স্তরের প্রকল্প (টিএলপি) হিসাবে। আপাচি হ্যান্ডওপ, ক্যাসান্ড্রা, লুসেন এবং অনেক ব্যাপকভাবে ব্যবহৃত ওপেন সোর্স ডাটা প্রক্রিয়াকরণ সরঞ্জাম সরবরাহ করে, তাই ফ্লিকারের এন্ট্রিটি তার প্রযুক্তিগত চোপদের জন্য ভাল কথা বলে।

চিন্তা করবেন না যদি আপনি ফ্লিকারের আগে না শুনে থাকেন - এটা আমাদের কাছেও একটা চমত্কার ঘটনা। স্পার্কের মত, আরেকটি উত্থানশীল ডেটা প্রক্রিয়াকরণ প্ল্যাটফর্ম, ফ্ল্যাঙ্ক ব্যাচ ডেটা এবং স্ট্রিমিং ডেটা উভয়ই খনন করতে পারে। আপাচি ফ্ল্যাঙ্ক ২009 সালে বার্লিনের টেকনিক্যাল ইউনিভার্সিটির একটি গবেষণা প্রকল্প হিসেবে শুরু করে।

কেন কেউ হডোপের উপর ঝাঁকুনি কেন করে? সফ্টওয়্যার নির্মাতাদের বলুন, পারফরমেন্স এবং ব্যবহারের সহজলভ্যতা।

ফ্লিকার ইঞ্জিনটি প্রজেকশন গতির উন্নতির জন্য ডাটা স্ট্রিমিং এবং ইন-মেমরি প্রক্রিয়াকরণকে কাজে লাগায় বলে প্রকল্পটির অবদানকারী কোস্টাস তজোমস বলেন। তজুমাস সিফাউন্ডার এবং সিইও ডেটা আর্টিসিয়ানস, একটি স্পিন-অফ কোম্পানি যা ফ্ল্যাংকে বাণিজ্যিকীকরণ করবে। যারা দ্রুততর পারফরম্যান্স চায় তারা হডোপের জন্য এটি একটি আদর্শ প্রতিস্থাপন হিসেবে কাজ করতে পারে।

আরেকটি সুবিধা হলো ফ্লিকার অফার ব্যবহার করা সহজ, তজুমমস বলেন। বিশেষ করে বড় প্রকল্পগুলির জন্য, এপিআইএস (অ্যাপ্লিকেশন প্রোগ্রামিং ইন্টারফেস) হল "মাত্রার আকার", হডোপের ম্যাপরাডুসের জন্য প্রোগ্রামিংের চেয়ে ব্যবহার করা সহজ, তজৌমসের মতে এপিআইগুলি জাভা এবং স্কালার জন্য প্রদান করা হয়।

সঙ্গীত স্ট্রিমিং পরিষেবা স্পটিফিক এবং সফটওয়্যার সফটওয়্যার সরবরাহকারী আমেদাস উভয়ই সফ্টওয়্যার পরীক্ষা করছে এবং গবেষকদের গবেষণার জন্য সোশ্যাল নেটওয়ার্ক রিসার্গেটে এটাকে চাপানো হয়েছে।

তবে হডোপ এবং স্পার্ক জনপ্রিয়তা বাড়ছে, এটি ব্যবহারকারীদের লাভ করার সময় ফ্ল্যাঙ্কের একটি চূড়ান্ত যুদ্ধের সম্মুখীন হতে পারে।

"স্মার্ট অপটিমাইজকারীর উপর নির্ভর করে এমন প্রকল্পগুলি কদাচ প্রকৃত জীবনে ভালভাবে কাজ করে," আইটি বিশ্লেষক কনসালট্যান্ট মুনশ রিসার্চের প্রধান কর্ট মনশ লিখেছেন, তিনি কর্মক্ষমতা বর্ধিত tweaks উপর নির্ভর করে অন্যান্য প্রকল্প দিকে ইঙ্গিত, যা DB2 জন্য আইবিএম শিক্ষণ অপ্টিমাইজেশান, এবং এইচপি এর NeoView তথ্য গুদাম প্রয়োগ হিসাবে।

অন্যত্র, ম্যাসাচুসেটস ইনস্টিটিউট অব টেকনোলজি (। এমআইটি) ডেটা ব্যবহার করার উপায়গুলি উপভোগ করতে সহায়তা করে যাতে আরো ভালো পরিকল্পনা রুটিন কাজগুলি যেমন ফিক্সডিং ফ্লাইট অথবা ম্যাপিং সফটওয়্যারটি একটি ভিড়ময় শহর জুড়ে সর্বোত্তম পথ খুঁজে পেতে সাহায্য করে।

এই মাসের পরে, এমআইটি গবেষকরা মউ অ্যালগরিদম একটি সেট উপস্থাপন করবে কৃত্রিম বুদ্ধিমত্তার অগ্রগতি জন্য এসোসিয়েশন (এএএআই) বার্ষিক সভা যা সীমাবদ্ধতার একটি সেটের মাধ্যমে সর্বোত্তম পথ চক্রান্ত করতে পারে।

বর্তমান সফ্টওয়্যারের মত নয় যা এই স্বয়ংক্রিয় অটোমেটেড রিজার্ভেশন ব্যবস্থা-এই অ্যালগরিদমগুলি ঝুঁকি মূল্যায়ন করতে পারেন। বেশিরভাগ বুশের উপর শহর জুড়ে খুঁজছেন কেউ, এটি তারা busses দেরী হয় এবং তারা অনুভূতি তৈরি যেখানে বিকল্প সুপারিশ কতটা যে বিরক্ত করতে পারেন। কাজটি গ্রাফ তত্ত্বের মূল ভিত্তিক, যা একাধিক সংস্থার জুড়ে সংযোগের উপর আলোকপাত করে।

গ্রাফের কথা, ডাটাবেস কোম্পানি নব্য প্রযুক্তি এই সপ্তাহে কয়েকটি সংবাদপত্র পেতে সাহায্য করার জন্য ২0 মিলিয়ন মার্কিন ডলার আকৃষ্ট করার জন্য নেও 4জে এন্টারপ্রাইজ বাজারে গ্রাফ ডাটাবেস। মূলত একটি একাডেমিক উদ্বেগ একবার, গ্রাফ উপাত্ত অবশেষে উত্পাদনের পরিবেশে ব্যবহার করা হচ্ছে। Neo4J Walmart, eBay, CenturyLink, Cisco এবং মধ্যম প্রকাশন প্ল্যাটফর্ম দ্বারা ব্যবহৃত হয়।

আমরা কম্পিউটারের সংখ্যা ক্রুনারের মত মনে করি, গবেষকরা ক্রমবর্ধমানভাবে তথ্য উপাত্তের সাথে কাজ করতে পারেন এমন উপায়গুলি দেখছেন, মানুষের আবেগ ।

এই সপ্তাহের নিউ ইয়র্কার পত্রিকাটি এমন একটি প্রবন্ধ চালু করেছে যা প্রযুক্তির উন্নয়ন ঘটাচ্ছে যা কম্পিউটারকে মানুষের আবেগ পড়তে সহায়তা করে। এটি একটি চমত্কার মজবুত ক্ষেত্র।

লেখক রফি খাত্ত্যাডৌরিয়ান এক ধরনের ইতিহাসের ইতিহাস ট্র্যাক করে, Affectiva । তার সফটওয়্যারটি প্রধান বৈশিষ্ট্য (চোখ, নাক, ভ্রু) সনাক্তকরণের মুখটি স্ক্যান করে, এবং নোটগুলি কিভাবে মুখের স্থায়ী অংশগুলি (ঠোঁট) সময়ের সাথে পরিবর্তন করে। Affectiva মুখের অভিব্যক্তি একটি বিশাল ডাটাবেস তৈরি করা হয়েছে যা ব্যবহারকারীর মানসিক অবস্থা সনাক্ত করার জন্য তার সফটওয়্যার দ্বারা ব্যবহার করা যেতে পারে- এটি খুশি, দু: খিত, বিভ্রান্তিকর অথবা অন্যান্য মানসিক রাজ্যের অন্যতম।

স্বাভাবিকভাবেই, বিজ্ঞাপন সংস্থাগুলি এবং টেলিভিশন নেটওয়ার্ক কোনও প্রযুক্তিতে আগ্রহী যেগুলি মানুষের উপর ভাল পড়া যেতে পারে। উদাহরণস্বরূপ, Verizon, একবার একবার একটি মিডিয়া কনসোলের পরিকল্পনা ছিল যা রুমে প্রত্যেকের কার্যকলাপের ট্র্যাক করতে পারে।

"এই সমস্ত তথ্য তখন কনসোলের টিভি বিজ্ঞাপনের পছন্দকে আকৃষ্ট করবে," Khatchadourian লিখেছেন। "একজন বৈবাহিক যুদ্ধ কাউন্সিলারের জন্য একটি বিজ্ঞাপন অনুরোধ করতে পারে। চাপের চিহ্ন অ্যারোমাথেরাপি মোমবাতি জন্য বিজ্ঞাপন তাত্ক্ষণিক হতে পারে। সুখী মানুষদের লক্ষ্যবস্তুতে কনফিগার করার জন্য বিজ্ঞাপনগুলি হুমিং আপগ্রেড করতে পারে। ' সিস্টেমটি তখন বিজ্ঞাপনের মাধ্যমে প্রতিটি ডিভাইসে রুমের মধ্যে সম্প্রচার করতে পারে। "

যারা এই সফটওয়্যারটি বিপণনকারীদের দ্বারা আরো ঘনঘন উপায়ে ভোক্তাদের ব্যাবহার করতে ব্যবহার করতে পারে তা অন্তত অন্তত মনোযোগ দিতে পারে যে এটি কম ভাড়াটে ব্যবহার করা যেতে পারে উপায়। আফিফেটিভের সিইও রানা এল কালিওবি, তিনি "অনুভূতিশীল কম্পিউটিং" নামক একটি ছাত্রের দীর্ঘদিনের ছাত্র ছিলেন, এই সফটওয়্যারটি ব্যবহার করে "আবেগময় শ্রবণকারী সহায়িকা" হিসেবে অটিস্টিক শিশুদেরকে বিশ্বের সাথে ভাল যোগাযোগ করার জন্য সহায়তা করার জন্য প্রাথমিকভাবে এগিয়ে আসেন।