Google, OpenAI এবং অন্যরা নতুন AI স্ক্র্যাপিং নিয়ন্ত্রণকে সমর্থন করছে
Google, OpenAI, Anthropic এবং Microsoft robots.txt-এর জন্য একটি নতুন সাধারণ সংকেত সমর্থন করার অঙ্গীকার করেছে। এই সংকেত AI প্রশিক্ষণের জন্য ওয়েবসাইটের কনটেন্ট স্ক্র্যাপ করা আটকায়। ফলে ওয়েবসাইটের মালিকেরা একটি সম্মিলিত উপায় পাবেন, যাতে তাদের পাতা AI সিস্টেম প্রশিক্ষণে ব্যবহার না হয়।
সহজ শব্দকোষGoogle, robots.txt, scraping
- একটি আমেরিকান টেক জায়ান্ট, যা Search, YouTube এবং Android ফোন সিস্টেম চালায়।
- robots.txt
- ওয়েবসাইটের একটি ছোট টেক্সট ফাইল, যা স্বয়ংক্রিয় বট-কে বলে দেয় কোন পাতা দেখতে পারবে।
- scraping
- সফটওয়্যার দিয়ে ওয়েবসাইট থেকে বড় পরিমাণ কনটেন্ট স্বয়ংক্রিয়ভাবে কপি করা, সাধারণত হাতে না করে।
বার্নিং পটেটো স্কোর: 72%