1. আপনি শুরু করার আগে
সাম্প্রতিককালে সবচেয়ে উত্তেজনাপূর্ণ মেশিন লার্নিং ব্রেকথ্রুগুলির মধ্যে একটি হল লার্জ ল্যাঙ্গুয়েজ মডেল (LLMs)৷ এগুলি পাঠ্য তৈরি করতে, ভাষা অনুবাদ করতে এবং একটি ব্যাপক এবং তথ্যপূর্ণ উপায়ে প্রশ্নের উত্তর দিতে ব্যবহার করা যেতে পারে। LLMs, যেমন Google LaMDA এবং PaLM , প্রচুর পরিমাণে পাঠ্য ডেটার উপর প্রশিক্ষিত হয়, যা তাদের পরিসংখ্যানগত নিদর্শন এবং শব্দ এবং বাক্যাংশের মধ্যে সম্পর্ক শিখতে দেয়। এটি তাদের মানব-লিখিত পাঠ্যের অনুরূপ পাঠ্য তৈরি করতে এবং উচ্চ মাত্রার নির্ভুলতার সাথে ভাষা অনুবাদ করতে সক্ষম করে।
LLMগুলি স্টোরেজের দিক থেকে খুব বড়, এবং সাধারণত চালানোর জন্য প্রচুর কম্পিউটিং শক্তি খরচ করে, যার অর্থ হল সেগুলি সাধারণত ক্লাউডে স্থাপন করা হয় এবং মোবাইল ডিভাইসে সীমিত কম্পিউটেশনাল পাওয়ারের কারণে অন-ডিভাইস মেশিন লার্নিং (ODML) এর জন্য বেশ চ্যালেঞ্জিং। . কিন্তু একটি আধুনিক অ্যান্ড্রয়েড ডিভাইসে ছোট স্কেলের LLM (উদাহরণস্বরূপ, GPT-2) চালানো সম্ভব এবং এখনও চিত্তাকর্ষক ফলাফল অর্জন করা সম্ভব।
প্লেব্যাক স্পিডআপ ছাড়াই Google Pixel 7 Pro-তে 1.5 বিলিয়ন প্যারামিটার সহ Google PaLM মডেলের একটি সংস্করণ চালানোর একটি ডেমো এখানে রয়েছে।
এই কোডল্যাবে, আপনি একটি এলএলএম-চালিত অ্যাপ (উদাহরণ মডেল হিসাবে GPT-2 ব্যবহার করে) তৈরি করার কৌশল এবং টুলিং শিখবেন:
- কেরাসএনএলপি একটি প্রাক-প্রশিক্ষিত এলএলএম লোড করতে
- কেরাসএনএলপি একটি এলএলএম ফাইনটিউন করতে
- Android এ LLM রূপান্তর, অপ্টিমাইজ এবং স্থাপন করতে TensorFlow Lite
পূর্বশর্ত
- কেরাস এবং টেনসরফ্লো লাইটের মধ্যবর্তী জ্ঞান
- অ্যান্ড্রয়েড বিকাশের প্রাথমিক জ্ঞান
আপনি কি শিখবেন
- একটি প্রাক-প্রশিক্ষিত এলএলএম লোড করতে এবং সূক্ষ্ম-টিউন করতে কীভাবে KerasNLP ব্যবহার করবেন
- কীভাবে একটি এলএলএমকে টেনসরফ্লো লাইটে পরিমাপ এবং রূপান্তর করা যায়
- রূপান্তরিত টেনসরফ্লো লাইট মডেলে কীভাবে অনুমান চালানো যায়
আপনি কি প্রয়োজন হবে
- Colab- এ অ্যাক্সেস
- অ্যান্ড্রয়েড স্টুডিওর সর্বশেষ সংস্করণ
- 4G এর বেশি RAM সহ একটি আধুনিক অ্যান্ড্রয়েড ডিভাইস
2. সেট আপ করুন
এই কোডল্যাবের জন্য কোড ডাউনলোড করতে:
- এই কোডল্যাবের জন্য GitHub সংগ্রহস্থলে নেভিগেট করুন।
- এই কোডল্যাবের জন্য সমস্ত কোড ডাউনলোড করতে কোড > জিপ ডাউনলোড করুন ক্লিক করুন।
- আপনার প্রয়োজনীয় সমস্ত সংস্থান সহ একটি
examplesরুট ফোল্ডার আনপ্যাক করতে ডাউনলোড করা জিপ ফাইলটি আনজিপ করুন৷
3. স্টার্টার অ্যাপ চালান
- Android স্টুডিওতে
examples/lite/examples/generative_ai/androidফোল্ডার আমদানি করুন। - অ্যান্ড্রয়েড এমুলেটর শুরু করুন এবং তারপরে ক্লিক করুন
নেভিগেশন মেনুতে চালান ।
অ্যাপটি চালান এবং অন্বেষণ করুন
অ্যাপটি আপনার অ্যান্ড্রয়েড ডিভাইসে চালু করা উচিত। অ্যাপটির নাম 'অটো-কমপ্লিট'। UI বেশ সহজবোধ্য: আপনি টেক্সট বক্সে কিছু বীজ শব্দ টাইপ করতে পারেন এবং জেনারেট এ ট্যাপ করতে পারেন; অ্যাপটি তারপর একটি LLM-এ অনুমান চালায় এবং আপনার ইনপুটের উপর ভিত্তি করে অতিরিক্ত পাঠ্য তৈরি করে।
এই মুহূর্তে, আপনি যদি কিছু শব্দ টাইপ করার পরে জেনারেট ট্যাপ করেন, কিছুই হবে না। কারণ এটি এখনও এলএলএম চালাচ্ছে না।
4. ডিভাইসে স্থাপনের জন্য LLM প্রস্তুত করুন৷
- Colab খুলুন এবং নোটবুকের মাধ্যমে চালান (যেটি TensorFlow Codelabs GitHub রিপোজিটরিতে হোস্ট করা আছে)।
5. অ্যান্ড্রয়েড অ্যাপটি সম্পূর্ণ করুন
এখন আপনি GPT-2 মডেলটিকে টেনসরফ্লো লাইটে রূপান্তর করেছেন, আপনি অবশেষে এটি অ্যাপে স্থাপন করতে পারেন।
অ্যাপটি চালান
- Android স্টুডিওতে
app/src/main/assets/ফোল্ডারে শেষ ধাপ থেকে ডাউনলোড করাautocomplete.tfliteমডেল ফাইলটি টেনে আনুন।
- ক্লিক করুন নেভিগেশন মেনুতে চালান এবং তারপর অ্যাপটি লোড হওয়ার জন্য অপেক্ষা করুন।
- পাঠ্য ক্ষেত্রে কিছু বীজ শব্দ টাইপ করুন, এবং তারপরে তৈরি করুন আলতো চাপুন৷
6. দায়িত্বশীল এআই-এর উপর নোট
মূল OpenAI GPT-2 ঘোষণায় উল্লিখিত হিসাবে, GPT-2 মডেলের সাথে উল্লেখযোগ্য সতর্কতা এবং সীমাবদ্ধতা রয়েছে। প্রকৃতপক্ষে, এলএলএম-এর আজ সাধারণত কিছু সুপরিচিত চ্যালেঞ্জ রয়েছে যেমন হ্যালুসিনেশন, আপত্তিকর আউটপুট, ন্যায্যতা এবং পক্ষপাত; কারণ এই মডেলগুলি বাস্তব-বিশ্বের ডেটার উপর প্রশিক্ষিত, যা তাদের বাস্তব বিশ্বের সমস্যাগুলিকে প্রতিফলিত করে।
এই কোডল্যাবটি শুধুমাত্র টেনসরফ্লো টুলিং এর সাহায্যে এলএলএম দ্বারা চালিত একটি অ্যাপ কীভাবে তৈরি করা যায় তা প্রদর্শন করার জন্য তৈরি করা হয়েছে। এই কোডল্যাবে উত্পাদিত মডেল শুধুমাত্র শিক্ষাগত উদ্দেশ্যে এবং উৎপাদন ব্যবহারের উদ্দেশ্যে নয় ।
এলএলএম উত্পাদন ব্যবহারের জন্য প্রশিক্ষণ ডেটাসেটগুলির চিন্তাশীল নির্বাচন এবং ব্যাপক নিরাপত্তা প্রশমন প্রয়োজন। LLM-এর প্রসঙ্গে দায়বদ্ধ AI সম্পর্কে আরও জানতে, Google I/O 2023-এ জেনারেটিভ ল্যাঙ্গুয়েজ মডেলের প্রযুক্তিগত সেশনের সাথে নিরাপদ এবং দায়িত্বশীল বিকাশ দেখতে ভুলবেন না এবং দায়বদ্ধ AI টুলকিটটি দেখুন।
7. উপসংহার
অভিনন্দন! আপনি ডিভাইসে বিশুদ্ধভাবে একটি প্রাক-প্রশিক্ষিত বড় ভাষা মডেল চালিয়ে ব্যবহারকারীর ইনপুটের উপর ভিত্তি করে সুসংগত পাঠ্য তৈরি করতে একটি অ্যাপ তৈরি করেছেন!