Google, OpenAI और अन्य कंपनियां नए AI स्क्रैपिंग नियंत्रणों का समर्थन कर रहीं
Google, OpenAI, Anthropic और Microsoft ने robots.txt के लिए एक नए साझा संकेत का समर्थन करने का वादा किया है। यह संकेत AI प्रशिक्षण के लिए वेबसाइट की सामग्री की स्क्रैपिंग को रोकता है। इससे वेबसाइट मालिकों को अपने पेजों को AI सिस्टम को सिखाने में इस्तेमाल होने से रोकने का एक साझा तरीका मिलता है।
आसान शब्दकोशGoogle, robots.txt, scraping
- एक अमेरिकी टेक कंपनी, जो Search, YouTube और Android फ़ोन सिस्टम चलाती है।
- robots.txt
- वेबसाइट पर रखी एक छोटी टेक्स्ट फ़ाइल, जो स्वचालित बॉट्स को बताती है कि वे कौन से पेज देख सकते हैं।
- scraping
- सॉफ़्टवेयर की मदद से, आम तौर पर हाथ से नहीं, वेबसाइटों से बड़ी मात्रा में सामग्री अपने आप कॉपी करना।
बर्निंग पोटैटो स्कोर: 72%