নথি এআই: লুপে মানব

১. ভূমিকা

ডকুমেন্ট এআই এপিআই হলো একটি ডকুমেন্ট বোঝার সমাধান, যা ডকুমেন্ট, ইমেল ইত্যাদির মতো অসংগঠিত ডেটা গ্রহণ করে এবং সেই ডেটাকে আরও সহজে বোঝা, বিশ্লেষণ করা ও ব্যবহার করার উপযোগী করে তোলে।

মানব পর্যালোচনার মাধ্যমে আপনি এর নিশ্চয়তাসহ ডকুমেন্ট প্রক্রিয়াকরণের উচ্চতর নির্ভুলতা অর্জন করতে পারেন। মানব পর্যালোচনা নির্ভুলতা বাড়াতে পারে এবং এই পর্যালোচনাগুলো সক্ষম করার জন্য বিশেষভাবে নির্মিত টুল ব্যবহার করে ব্যবসাগুলোকে পূর্বাভাস মূল্যায়ন করতে সাহায্য করে। এই ল্যাবে, আপনি হিউম্যান-ইন-দ্য-লুপ কনফিগারেশন এবং ম্যানেজমেন্ট টুল ব্যবহার করে প্রসেসরটির ফলাফল যাচাই করার জন্য মানব পর্যালোচনাসহ একটি ব্যয় প্রসেসর কনফিগার ও পরীক্ষা করবেন।

পূর্বশর্ত

এই কোডল্যাবটি ডকুমেন্ট এআই-এর অন্যান্য কোডল্যাবে উপস্থাপিত বিষয়বস্তুর উপর ভিত্তি করে তৈরি করা হয়েছে।

এগিয়ে যাওয়ার আগে নিম্নলিখিত কোডল্যাবগুলো সম্পন্ন করার পরামর্শ দেওয়া হচ্ছে।

আপনি যা শিখবেন

  • প্রসেসরের জন্য মানব পর্যালোচনা কনফিগার করুন।
  • একটি মানব পর্যালোচনা ব্যবহারকারী রিসোর্স পুল তৈরি করুন।
  • একটি পরীক্ষামূলক মানব পর্যালোচনা টাস্ক তৈরি করুন।
  • একজন ব্যবহারকারীকে একটি মানব পর্যালোচনার কাজ অর্পণ করুন।
  • একটি নথির মানব পর্যালোচনা সম্পন্ন করুন।

আপনার যা যা লাগবে

  • একটি গুগল ক্লাউড প্রজেক্ট
  • একটি ব্রাউজার, যেমন ক্রোম বা ফায়ারফক্স
  • পাইথন ৩ সম্পর্কে জ্ঞান

২. প্রস্তুতি গ্রহণ

এই কোডল্যাবটি ধরে নেয় যে আপনি প্রারম্ভিক কোডল্যাবে তালিকাভুক্ত ডকুমেন্ট এআই সেটআপ ধাপগুলো সম্পন্ন করেছেন।

এগিয়ে যাওয়ার আগে অনুগ্রহ করে নিম্নলিখিত ধাপগুলো সম্পন্ন করুন:

আপনাকে Vertex AI API-টিও সক্রিয় করতে হবে।

  1. কনসোলের উপরের সার্চ বার ব্যবহার করে 'Vertex AI API' লিখে সার্চ করুন, তারপর আপনার গুগল ক্লাউড প্রজেক্টে এপিআইটি ব্যবহার করার জন্য 'Enable'- এ ক্লিক করুন।
  2. বিকল্পভাবে, নিম্নলিখিত gcloud কমান্ড ব্যবহার করে API-টি সক্রিয় করা যেতে পারে। 
gcloud services enable aiplatform.googleapis.com

৩. একটি প্রসেসর তৈরি করুন

এই ল্যাবটি ব্যবহারের জন্য আপনাকে প্রথমে এক্সপেন্স প্রসেসরের একটি ইনস্ট্যান্স তৈরি করতে হবে।

  1. কনসোলে, ডকুমেন্ট এআই প্ল্যাটফর্ম ওভারভিউ- তে যান।
  2. Create Processor-এ ক্লিক করুন, নিচে স্ক্রল করে Specialized পর্যন্ত যান এবং Expense Parser নির্বাচন করুন।
  3. এটির নাম দিন codelab-expense-parser (অথবা এমন কিছু যা আপনার মনে থাকবে) এবং তালিকা থেকে সবচেয়ে কাছের অঞ্চলটি নির্বাচন করুন।
  4. আপনার প্রসেসর তৈরি করতে Create-এ ক্লিক করুন।
  5. প্রসেসর আইডিটি কপি করুন। পরবর্তীতে আপনার কোডে এটি অবশ্যই ব্যবহার করতে হবে।
  6. ক্লাউড শেলে, PROJECT_ID-hitl-results নামটি ব্যবহার করে একটি স্টোরেজ বাকেট তৈরি করুন: 
export PROJECT_ID=$(gcloud config get-value core/project)
gsutil mb gs://$PROJECT_ID-hitl-results
  1. আপনার ল্যাব প্রজেক্টে আপনার ইউজার অ্যাকাউন্টটি Vertex AI Admin IAM রোলের সাথে সংযুক্ত করুন। 
export USER_ACCOUNT=$(gcloud config get-value core/account)
gcloud projects add-iam-policy-binding $PROJECT_ID --member=user:$USER_ACCOUNT --role=roles/aiplatform.admin

৪. হিউম্যান-ইন-দ্য-লুপ কনফিগার করুন

এই টাস্কে, আপনি পূর্বে তৈরি করা এক্সপেন্স প্রসেসরটির জন্য হিউম্যান রিভিউ কনফিগার করবেন।

  1. কনসোলে, নেভিগেশন মেনু খুলুন এবং ডকুমেন্ট এআই (Document AI) নির্বাচন করুন।
  2. হিউম্যান-ইন-দ্য-লুপ এআই-তে ক্লিক করুন। হিটলমেনু
  3. প্রসেসরের জন্য হিউম্যান রিভিউ পেজটি খুলতে codelab-expense-parser ক্লিক করুন।
  4. ‘Configure Human-in-the-Loop’-এ ক্লিক করুন।

কনফিগারএইচআইটিএল

  1. ডকুমেন্ট লেভেল ফিল্টার নির্বাচন করুন।
  2. কনফিডেন্স থ্রেশহোল্ড % স্লাইডারটি ৫০%-এ সেট করুন।
  3. স্পেশালিস্ট অপশনটি ‘আমার নিজের স্পেশালিস্ট ব্যবহার করুন’ -এ সেট করা রাখুন।

হিটলফিল্টার

  1. স্পেশালিস্ট পুল ড্রপ ডাউন বক্সে ক্লিক করুন এবং নিউ স্পেশালিস্ট পুল- এ ক্লিক করুন।
  2. নতুন স্পেশালিস্ট পুল ডায়ালগ বক্সে পুলের নাম হিসেবে Codelab HITL Pool লিখুন।
  3. পুল ম্যানেজার এবং বিশেষজ্ঞদের জন্য আপনার ব্যক্তিগত ইমেল ঠিকানা লিখুন।
  4. পুল তৈরি করুন -এ ক্লিক করুন।

এইচআইটিএলস্পেশালিস্টপুল

এটি সম্পন্ন হতে কয়েক মিনিট সময় লাগবে। আপনি Vertex AI noreply-vertex@google.com থেকে একটি ইমেল পাবেন।

  1. স্বয়ংক্রিয়-নির্ধারণ চেকবক্সটি অনির্বাচিত রাখুন।
  2. চার্জ নিশ্চিত করুন বিভাগে চেকবক্সটিতে ক্লিক করুন।
  3. নির্দেশাবলীর অবস্থানে ক্লিক করুন এবং এই স্টোরেজ লোকেশনে কপি করুন: - পাথে gs:// প্রিফিক্সটি অন্তর্ভুক্ত করবেন না । 
cloud-samples-data/documentai/codelabs/hitl/hitl-instructions.pdf
  1. রেজাল্টস লোকেশন- এ, ব্রাউজ-এ ক্লিক করুন এবং আপনার পূর্বে তৈরি করা ক্লাউড স্টোরেজ বাকেটটি নির্বাচন করুন।
  2. নির্বাচন করুন- এ ক্লিক করুন।
  3. কনফিগারেশন সংরক্ষণ করুন- এ ক্লিক করুন।

কনসোলে এখন 'Configuring human-in-the-loop' লেখাটি দেখা যাবে এবং এটি সম্পন্ন হতে কয়েক মিনিট সময় লাগবে।

HITLLoading

  1. কনফিগারেশন সম্পূর্ণ হলে, কনসোল আপনাকে 'হিউম্যান-ইন-দ্য-লুপ' সক্ষম করতে বলবে।
  • সক্রিয় করতে সুইচ বাটনটি ক্লিক করুন।
  • এরপর পপ-আপ ডায়ালগ বক্সে ENABLE-এ ক্লিক করুন।

হিটলসক্ষম

একটি নমুনা খরচের ফর্ম আপলোড করুন

  1. গুগল ক্লাউড স্টোরেজে আমাদের ব্যবহারের জন্য একটি নমুনা ফর্ম সংরক্ষিত আছে। আপনি নিচের বাটন বা কমান্ডের মাধ্যমে এটি ডাউনলোড করতে পারেন:

gsutil cp gs://cloud-samples-data/documentai/codelabs/hitl/expense-claim.pdf .
  1. Human-in-the-loop সক্রিয় করার পর, Upload Document বোতামে ক্লিক করুন এবং আপনার এইমাত্র ডাউনলোড করা নমুনা ডকুমেন্টটি ব্রাউজ করে খুঁজুন।
  2. আপলোড-এ ক্লিক করুন এবং এটি সম্পূর্ণ হওয়া পর্যন্ত অপেক্ষা করুন।

৫. মানব পর্যালোচনার জন্য একটি আইটেম নির্ধারণ করুন।

  1. এই পৃষ্ঠায় আপনি পুল ম্যানেজার এবং স্পেশালিস্ট কনসোলের লিঙ্কগুলো দেখতে পাবেন। এই লিঙ্কগুলো Vertex AI noreply-vertex@google.com থেকে পাঠানো একটি ইমেইলেও দেখা যাবে।
    • এগুলো দেখতে https://datacompute.google.com/cm/cloudml_data_specialists_us_central1_xxxxxxx/tasks এর মতো হওয়া উচিত।
    • ম্যানেজার কনসোলের জন্য লিঙ্কে ক্লিক করুন।

  1. ডেটা লেবেলিং কনসোলে প্রবেশ করার পর, টাস্ক অ্যাসাইনমেন্ট পেজটি খোলার জন্য টাস্কস ট্যাবের শিরোনামে ক্লিক করুন।
  2. Unassigned চেক বক্সটিতে ক্লিক করুন। আপনি দেখতে পাবেন যে codelab-expense-parser-P1 টাস্ক কিউ-এর বিপরীতে একটি নতুন এন্ট্রি তালিকাভুক্ত হয়েছে।

ছবি

  1. codelab-expense-parser-P1 নির্বাচন করুন।
  2. অ্যাসাইনমেন্ট পরিচালনা করুন -এ ক্লিক করুন।
  3. ‘Include experts by email’ টেক্সট বক্সে আপনার নিজের ব্যক্তিগত ইমেল লিখুন এবং তারপর ড্রপডাউন তালিকা থেকে সেটি নির্বাচন করুন।
  4. প্রয়োগ করুন- এ ক্লিক করুন।

ডিসপ্লেতে এখন দেখাচ্ছে যে কাজটি আপনাকে বরাদ্দ করা হয়েছে। এটি কার্যকর হতে এবং দৃশ্যমান হতে কয়েক মিনিট সময় লাগতে পারে।

ছবি

  1. নতুন ব্যবহারকারীকে নির্বাচন করুন এবং মেনু আইকনে ক্লিক করুন।
  2. প্রদর্শিত পপ-আপ মেনু থেকে 'সমস্ত কাজ বরাদ্দ করুন' বিকল্পে ক্লিক করুন।

ছবি

  1. পরিবর্তনগুলো কমিট করতে ক্লিক করুন।
  2. কমিট-এ ক্লিক করুন।

ছবি

৬. মানব পর্যালোচনা কার্য সম্পাদন করুন

  1. ক্লাউড কনসোলে থাকা হিউম্যান-ইন-দ্য-লুপ কনফিগারেশন পৃষ্ঠায় ফিরে যান।

স্পেশালিস্ট (ওয়ার্কার) কনসোলে যেতে লিঙ্কে ক্লিক করুন। এটি দেখতে https://datacompute.google.com/w/cloudml_data_specialists_us_central1_xxxxxxxxxxx এর মতো হবে।

ওয়ার্কার কনসোলটি খুলবে এবং আপনার নতুন টাস্কটি তালিকাভুক্ত করবে।

ছবি

  1. ‘Meeting with 4m’ লেখা লাইন আইটেমটির উপর মাউস রাখুন এবং এডিট (পেন্সিল) আইকনটিতে ক্লিক করুন।
  2. লেখাটি পরিবর্তন করে ‘অ্যাডামের সাথে মিটিং’ করার জন্য মানটি সম্পাদনা করুন। লেখাটি দেখার জন্য আপনাকে টেক্সট বক্সের নিচে স্ক্রল করতে হতে পারে।
  3. প্রয়োগ করুন- এ ক্লিক করুন।
  4. নিচের আইটেমটির জন্য কনফার্ম (সবুজ টিক) আইকনটিতে ক্লিক করুন। ছবি
  5. অন্যান্য হাইলাইট করা সত্তাগুলোর জন্য কনফার্ম আইকনে ক্লিক করুন।
  6. সাবমিট-এ ক্লিক করুন। পর্যালোচনার কাজটি এখন আপনার লেবেলার কিউ থেকে সরিয়ে ফেলা হয়েছে।

৭. সম্পন্ন কাজগুলো দেখুন

  1. ম্যানেজার কনসোলে ফিরে যান।
  2. টাস্ক-এ ক্লিক করুন এবং চলমান নির্বাচন করুন। ছবি
  3. ক্লিক স্পেশালিস্ট ।
  4. আপনার ইমেল ঠিকানা নির্বাচন করুন।
  5. অ্যাসাইনমেন্ট পরিচালনা করুন -এ ক্লিক করুন।
  6. Select specialists working on specific tasks নির্বাচন করুন এবং Select tasks ড্রপডাউন থেকে এক্সপেন্স-প্রসেসর-পি১ নির্বাচন করুন। প্রতিটি নির্বাচনের জন্য প্রয়োগ করুন -এ ক্লিক করুন। আপনাকে বরাদ্দ করা এক্সপেন্স-প্রসেসর-পি১- এর জন্য কনটেক্সট মেনুতে, বিশেষজ্ঞ দেখুন নির্বাচন করুন।

ছবি

লেবেলার কর্তৃক লেবেলিং টাস্কটি জমা দেওয়ার পর উত্তর দেওয়া টাস্কের সংখ্যা এবং মোট সময় আপডেট করা হবে, কিন্তু এই ভিউতে ডেটা প্রদর্শিত হতে কয়েক মিনিট সময় লাগতে পারে।

  1. বিশেষজ্ঞদের পপ-আপটি বন্ধ করুন এবং বিশেষজ্ঞ ট্যাবটি দেখুন।
  2. আপনার ইউজার নেমের জন্য কনটেক্সট মেনুতে ক্লিক করুন এবং 'View tasks' নির্বাচন করুন।

এই ভিউতে ব্যবহারকারীর কাজের তালিকা, সেগুলো সম্পন্ন হওয়ার নম্বর এবং সময় নিম্নরূপে দেখানো হয়:

ছবি

৮. অভিনন্দন

অভিনন্দন, আপনি ডকুমেন্ট এআই এক্সপেন্স প্রসেসর ব্যবহার করে প্রক্রিয়াকৃত ডকুমেন্টগুলোর জন্য মানব পর্যালোচনা কনফিগার করতে সফলভাবে ডকুমেন্ট এআই হিউম্যান-ইন-দ্য-লুপ ব্যবহার করেছেন।

পরিষ্কার-পরিচ্ছন্নতা

এই টিউটোরিয়ালে ব্যবহৃত রিসোর্সগুলির জন্য আপনার গুগল ক্লাউড অ্যাকাউন্টে চার্জ হওয়া এড়াতে:

  • ক্লাউড কনসোলে, রিসোর্স পরিচালনা (Manage resources) পৃষ্ঠায় যান।
  • প্রজেক্ট তালিকা থেকে আপনার প্রজেক্টটি নির্বাচন করে ডিলিট-এ ক্লিক করুন।
  • ডায়ালগ বক্সে প্রজেক্ট আইডি টাইপ করুন এবং তারপর প্রজেক্টটি মুছে ফেলার জন্য 'শাট ডাউন'-এ ক্লিক করুন।

আরও জানুন

এই পরবর্তী কোডল্যাবগুলোর মাধ্যমে ডকুমেন্ট এআই সম্পর্কে আরও জানুন।

সম্পদ

লাইসেন্স

এই কাজটি ক্রিয়েটিভ কমন্স অ্যাট্রিবিউশন ২.০ জেনেরিক লাইসেন্সের অধীনে রয়েছে।