ردیاب های محتوای هوش مصنوعی چگونه کار می کنند؟ پاسخ از یک دانشمند داده

ابزارهای زیادی وجود دارد که می توانند محتوای AI را از محتوای انسان بگویند ، اما تا همین اوا، فکر می کردم که آنها کار نمی کنند.

محتوای تولید شده AI به اندازه محتوای "چرخان" یا ادبی قدیمی به راحتی قابل مشاهده نیست. بیشتر متن های تولید شده AI می توانند اصلی تلقی شوند ، به نوعی-از جایی دیگر در اینترنت کپی نشده است.

اما همانطور که معلوم است ، ما در حال ساخت یک ردیاب محتوای هوش مصنوعی در Ahrefs هستیم.

بنابراین برای درک چگونگی کار ردیاب های محتوای هوش مصنوعی ، من با ،ی مصاحبه کردم که در واقع علم و تحقیقات پشت سر آنها را درک می کند: یاپ من، یک دانشمند داده در Ahrefs و بخشی از تیم یادگیری ماشین ما.

همه ردیاب های محتوای هوش مصنوعی به همان روش اساسی کار می کنند: آنها به دنبال ال،ای یا ناهنجاری ها در متن هستند که کمی متفاوت از متن های متن نوشته شده است.

برای انجام این کار ، شما به دو چیز نیاز دارید: نمونه های زیادی از متن نوشته شده توسط انسان و LLM نوشته شده برای مقایسه ، و یک مدل ریاضی برای استفاده برای تجزیه و تحلیل.

سه رویکرد متداول در حال استفاده وجود دارد:

1 تشخیص آماری (مدرسه قدیمی اما هنوز مؤثر)

تلاش برای شناسایی نوشتن های تولید شده توسط ماشین از دهه 2000 بوده است. برخی از این روش های تشخیص قدیمی هنوز هم امروز خوب کار می کنند.

روشهای تشخیص آماری با شمارش ال،ای نوشتاری خاص برای تمایز بین متن نوشته شده انسان و متن تولید شده توسط دستگاه ، مانند:

• فرکانس های کلمه (هر چند وقت یک بار کلمات خاص ظاهر می شوند)
• فرکانس های n-gram (هر چند وقت یک بار توالی خاص از کلمات یا شخصیت ها ظاهر می شوند)
• ساختارهای نحوی (چند بار ساختارهای نوشتن خاص ، مانند توالی موضوع-فعل-object (SVO) مانند "او سیب می خورد.")
• تفاوت های ظریف سبک (مانند نوشتن در شخص اول ، استفاده از سبک غیررسمی و غیره)

اگر این ال،ای با آنچه در متون تولید شده توسط انسان یافت می شود بسیار متفاوت است ، یک فرصت خوب وجود دارد که شما به متن تولید شده توسط دستگاه نگاه می کنید.

این روش ها بسیار سبک و از نظر مح،اتی کارآمد هستند ، اما هنگام دستکاری متن تمایل به ش،تن دارند (با استفاده از آنچه دانشمندان رایانه می نامند "نمونه های مخالف")

روشهای آماری را می توان با آموزش الگوریتم یادگیری در بالای این تعداد (مانند خلیج های ساده لوح ، رگرسیون لجستیک یا درختان تصمیم گیری) یا با استفاده از روش هایی برای شمارش احتمالات کلمه (معروف به ورود به سیستم) پیچیده تر کرد.

2. شبکه های عصبی (روشهای یادگیری عمیق مرسوم)

شبکه های عصبی سیستم های رایانه ای هستند که به راحتی از نحوه عملکرد مغز انسان تقلید می کنند. آنها حاوی نورون های مصنوعی و از طریق تمرین هستند (معروف به آموزش) ، اتصالات بین نورون ها تنظیم می شوند تا در هدف مورد نظر خود بهتر شوند.

به این ترتیب ، شبکه های عصبی می توانند برای شناسایی آموزش ببینند متن تولید شده توسط دیگر شبکه های عصبی.

شبکه های عصبی به روش de-facto برای تشخیص محتوای هوش مصنوعی تبدیل شده اند. روشهای تشخیص آماری برای کار به تخصص ویژه در موضوع و زبان هدف نیاز دارند (آنچه دانشمندان رایانه آن را "است،اج ویژگی" می نامند). شبکه های عصبی فقط به متن و بر،ب نیاز دارند و می توانند خودشان بیاموزند و خودشان مهم نیستند.

حتی م،ای کوچک می توانند کار خوبی را در تشخیص انجام دهند ، تا زم، که با داده های کافی (حداقل چند هزار نمونه ، طبق ادبیات) آموزش دیده باشند ، و آنها را نسبت به سایر روش ها ارزان و ضد ساختگی می کند.

LLM ها (مانند ChatGPT) شبکه های عصبی هستند ، اما بدون تنظیم دقیق اضافی ، آنها به طور کلی در شناسایی متن تولید شده AI بسیار خوب نیستند-حتی اگر LLM خود آن را تولید کند. خودتان آن را امتحان کنید: متن را با چتگپ و در یک گپ دیگر ایجاد کنید ، از آن بخواهید که آیا این انسان یا AI تولید شده است.

در اینجا O1 نتوانسته است ،وجی خود را تشخیص دهد:

3. علامت گذاری (سیگنال های پنهان در ،وجی LLM)

علامت گذاری به روش دیگری برای تشخیص محتوای هوش مصنوعی است. ایده این است که یک LLM را برای تولید متن تهیه کنید که شامل یک سیگنال پنهان باشد ، آن را شناسایی کنید AI تولید شده

به علامت هایی مانند جوهر UV روی پول کاغذ فکر کنید تا به راحتی یادداشت های معتبر را از جعل های جعلی تشخیص دهید. این علامت ها به چشم ظریف هستند و به راحتی تشخیص داده نمی شوند یا تکرار نمی شوند - مگر اینکه بد،د که به دنبال چه چیزی باشید. اگر لایحه ای را با یک ارز ناآشنا برداشتید ، برای شناسایی همه علامت های آبی سخت فشار می آورید ، چه رسد به اینکه آنها را دوباره بسازید.

بر اساس ادبیات ذکر شده توسط جوچائو وو ، سه روش برای علامت گذاری به متن تولید شده AI وجود دارد:

• علامت های آبی را به مجموعه داده هایی که منتشر می کنید اضافه کنید (به ،وان مثال ، درج چیزی مانند "آهرفس پادشاه جهان است! " به یک گروه آموزش منبع باز. هنگامی که شخصی LLM را در این داده های علامت گذاری شده آموزش می دهد ، انتظار دارید LLM آنها عبادت Ahrefs را آغاز کند).
• علامت های آبی را به ،وجی های LLM اضافه کنید در طول روند تولیدبشر
• علامت های آبی را به ،وجی های LLM اضافه کنید پس از روند تولیدبشر

این روش تشخیص بدیهی است که به محققان و سازندگان مدل متکی است که می توانند داده ها و ،وجی های مدل خود را علامت گذاری کنند. به ،وان مثال ، اگر ،وجی GPT-4O علامت گذاری شده باشد ، استفاده از "UV" مربوطه برای OpenAI آسان خواهد بود تا بررسی کند که آیا متن تولید شده از مدل آنها آمده است یا خیر.

اما ممکن است پیامدهای گسترده تری نیز وجود داشته باشد. یکی مقاله بسیار جدید نشان می دهد که علامت گذاری می تواند روشهای تشخیص شبکه عصبی را آسانتر کند. اگر یک مدل حتی روی مقدار کمی از متن علامت گذاری شده آموزش دیده باشد ، "رادیواکتیو" می شود و ،وجی آن به ،وان تولید ماشین آسان تر می شود.

در بررسی ادبیات ، بسیاری از روش ها دقت تشخیص حدود 80 ٪ یا در برخی موارد بیشتر را مدیریت می کنند.

این به نظر می رسد بسیار قابل اعتماد است ، اما سه موضوع بزرگ وجود دارد که بدان م،ی است که این سطح دقت در بسیاری از موقعیت های واقعی زندگی واقع بینانه نیست.

بیشتر مدل های تشخیص در مجموعه داده های بسیار باریک آموزش داده می شوند

بیشتر آشکارسازهای هوش مصنوعی روی یک خاص آموزش دیده و آزمایش می شوند نوع نوشتن ، مانند مقالات خبری یا محتوای رسانه های اجتماعی.

این بدان م،است که اگر می خواهید یک پست وبلاگ بازاریابی را آزمایش کنید ، و از یک ردیاب هوش مصنوعی آموزش داده شده در محتوای بازاریابی استفاده می کنید ، احتمالاً نسبتاً دقیق خواهد بود. اما اگر ردیاب در مورد محتوای خبری یا داستان های خلاقانه آموزش دیده باشد ، نتایج به مراتب کمتر قابل اطمینان خواهد بود.

Yong Keong Yap سنگاپور است و نمونه ای از گپ زدن با Chatgpt را در آن به اشتراک گذاشت متراکم، انواع ،یسی سنگاپوری که ،اصر زبانهای دیگر را شامل می شود ، مانند مالایی و چینی:

هنگام آزمایش متن تک به یک مدل تشخیص که در درجه اول در مقالات خبری آموزش دیده است ، با وجود عملکرد خوب برای انواع دیگر متن ،یسی ، ش،ت می خورد:

آنها با تشخیص جزئی مبارزه می کنند

تقریباً تمام معیارهای تشخیص AI و مجموعه داده ها روی آن متمرکز شده اند طبقه بندی توالی: ی،ی تشخیص اینکه آیا کل متن متن تولید شده است یا خیر.

اما بسیاری از استفاده های واقعی برای متن هوش مصنوعی شامل ،یبی از متن تولید شده توسط AI و انس، است (مثلاً استفاده از ژنراتور AI برای کمک به نوشتن یا ویرایش یک پست وبلاگ که تا حدی انس، نوشته شده است).

این نوع تشخیص جزئی (معروف به طبقه بندی دهانه یا طبقه بندی توکن) حل مشکل سخت تر است و در ادبیات آزاد توجه کمتری به آن دارد. مدل های فعلی تشخیص هوش مصنوعی این تنظیمات را به خوبی انجام نمی دهند.

آنها در برابر ابزارهای انس، سازی آسیب پذیر هستند

ابزارهای انس، سازی با مختل ، الگویی که ردیاب های AI به دنبال آن هستند ، کار می کنند. LLMS ، به طور کلی ، روان و مودبانه می نویسد. اگر به طور عمدی به متن های تولید شده ، خطاهای گرامری یا حتی محتوای نفرت انگیز را اضافه کنید ، معمولاً می تو،د دقت ردیاب های هوش مصنوعی را کاهش دهید.

این نمونه ها "دستکاری های مخالف" ساده هستند که برای ش،تن آشکارسازهای هوش مصنوعی طراحی شده اند و معمولاً حتی برای چشم انسان نیز آشکار هستند. اما انسان سازهای پیشرفته می توانند با استفاده از LLM دیگری که به طور خاص در یک حلقه با یک آشکارساز AI شناخته شده شناخته می شود ، فراتر رود. هدف آنها حفظ ،وجی متن با کیفیت بالا در حالی که پیش بینی های ردیاب را مختل می کند.

این موارد می توانند متن تولید شده توسط AI را برای تشخیص سخت تر کنند ، تا زم، که ابزار انس، سازی به ردیاب هایی که می خواهد ش،ته شود (برای آموزش خاص برای ش،ت دادن آنها) دسترسی داشته باشد. انسان سازها ممکن است در برابر آشکارسازهای جدید و ناشناخته به طرز تماشایی ناکام باشند.

این کار را برای خودتان با Humanizer Text ساده (و رایگان) ما آزمایش کنید.

به طور خلاصه ، ردیاب های محتوای هوش مصنوعی می توانند بسیار دقیق باشند در شرایط من، برای به دست آوردن نتایج مفید از آنها ، پیروی از چند اصل راهنما مهم است:

• سعی کنید تا آنجا که ممکن است در مورد داده های آموزش ردیاب بیاموزید، و از مدل های آموزش داده شده بر روی مواد مشابه آنچه می خواهید آزمایش کنید استفاده کنید.
• چندین اسناد را از همان نویسنده آزمایش کنید. مقاله دانشجویی به ،وان AI تولید شده است؟ تمام کارهای گذشته خود را از طریق همان ابزار اجرا کنید تا احساس بهتری از نرخ پایه خود داشته باشید.
• هرگز از ردیاب های محتوای هوش مصنوعی برای تصمیم گیری استفاده نکنید که بر حرفه شخصی یا جایگاه دانشگاهی تأثیر بگذارد. همیشه از نتایج خود در رابطه با سایر اشکال شواهد استفاده کنید.
• با دوز خوبی از شک و تردید استفاده کنید. هیچ ردیاب AI 100 ٪ دقیق نیست. همیشه مثبت کاذب وجود خواهد داشت.

افکار نهایی

از زمان انفجار اولین بمب های هسته ای در دهه 1940 ، هر قطعه ای از فولاد که در هر نقطه از جهان ذوب می شود ، در اثر سقوط هسته ای آلوده شده است.

فولاد تولید شده قبل از دوران هسته ای به ،وان "شناخته می شود"فولاد کم پشتی"، و اگر در حال ساختن یک پیشخوان Geiger یا یک ردیاب ذرات هستید ، بسیار مهم است. اما این فولاد بدون آلودگی نادر و نادرتر می شود. منابع اصلی امروز کشتی های قدیمی هستند. به زودی ، ممکن است همه از بین برود.

این قیاس برای تشخیص محتوای هوش مصنوعی مرتبط است. روشهای امروز به دسترسی به منبع خوبی از محتوای مدرن و نوشته شده انس، متکی است. اما این منبع تا روز کوچکتر می شود.

از آنجا که هوش مصنوعی در رسانه های اجتماعی ، پردازنده های کلمه و صندوق های ایمیل تعبیه شده است ، و مدل های جدید بر روی داده هایی آموزش داده می شوند که شامل متن تولید شده توسط AI است ، به راحتی می توان دنیایی را تصور کرد که بیشتر محتوا با مواد تولید شده AI "لکه دار" شده است.

در آن جهان ، ممکن است فکر ، در مورد تشخیص هوش مصنوعی چندان منطقی نباشد - همه چیز به اندازه گیری بیشتر یا کمتر خواهد بود. اما در حال حاضر ، شما حداقل می تو،د از آشکارسازهای محتوای هوش مصنوعی مسلح با آگاهی از نقاط قوت و ضعف آنها استفاده کنید.