مدل هوش مصنوعی GPT-5 شرکت OpenAI

GPT-5 نوک کوه یخ است؛ هوش مصنوعی پیشرفته‌تر پشت درهای بسته می‌ماند

سه‌شنبه 30 بهمن 1403
مطالعه 16 دقیقه
مدل بسیار پیشرفته‌ی GPT-5 به‌زودی دردسترس همه قرار می‌گیرد؛ اما آیا این مدل همانی است که از مدت‌ها پیش پشت درهای بسته در حال توسعه بود؟
تبلیغات

اگر بدانید که مدل زبانی بزرگ GPT-5، پس از گمانه‌زنی‌ها و تاخیر طولانی، به‌زودی و به‌صورت نامحدود برای عموم کاربران ChatGPT منتشر می‌شود، چه حسی خواهید داشت؟ آیا انتظار دارید نسخه‌ی منتشرشده همان مدلی کاملی باشد که از مدت‌ها پیش پشت درهای بسته در حال توسعه بوده است؟ یا اینکه تنها با یک نسخه‌ی کوچک از مدلی بزرگ‌تر سر کار داریم که قرار نیست هیچ‌وقت در دسترس عموم قرار گیرد؟

تا همین چند هفته پیش، فرضیه‌ی مقاله‌ی تحلیلی آلبرتو رومرو مبنی‌بر اینکه اوپن‌اِی‌آی مدل GPT-5 را فقط برای خودش نگه خواهد داشت، در محافل هوش مصنوعی دست به دست می‌چرخید. اما حالا OpenAI در استراتژی خود بازنگری کرده است و قصد دارد GPT-5 را در نسخه‌های مختلف برای کاربران رایگان و اشتراکی چت‌بات خود منتشر کند؛ مدلی که به‌گفته‌ی شرکت، ترکیبی از بهترین ویژگی‌های سری GPT و مدل‌های سری o خواهد بود و تجربه‌ای قدرتمندتر و یکپارچه‌تر ارائه می‌دهد.

احتمال می‌دهیم دلیل این تغییر استراتژی، موفقیت غیرمنتظره‌ی هوش مصنوعی دیپ‌سیک باشد که یک‌شبه تمام توجه رسانه‌‌ها و دنیای فناوری را به سوی خود جلب کرد و با تحت‌تاثیر قراردادن ارزش بازار غول‌های تکنولوژی ازجمله انویدیا، تسلا و مایکروسافت و حتی شرکت‌های کوچک‌تری چون OpenAI، بازار بورس آمریکا با ریزش ۱٫۵ تریلیون دلاری روبه‌رو کرد.

اما مدل GPT-5 اصلا چیست، چرا اوپن‌ای‌آی پس از مدت‌ها تاخیر، یک‌باره تصمیم گرفت آن را برای عموم منتشر کند و چرا فکر می‌کنیم مدل عمومی با مدلی که در خود OpenAI نگه داشته می‌شود، متفاوت است؟

GPT-5 چیست و چرا اینقدر مهم است؟

GPT-5 نسل جدیدی از مدل‌های زبانی است که نسبت به نسخه‌های پیشین، نوآوری‌های چشمگیری دارد. این مدل با بهره‌گیری از تکنیک‌های پیشرفته‌ی آموزش و بهینه‌سازی، هدف کاهش هزینه‌های استنتاج و افزایش سرعت و دقت پاسخگویی را دنبال می‌کند.

برخی از برتری‌های فنی احتمالی مدل GPT-5 به دلیل استفاده از یک معماری ترکیبی پیشرفته است. طبق شایعات موجود، GPT-5 ممکن است بر پایه‌ی معماری «ترکیب تخصصی» عمل کند؛ سیستمی که در آن زیرشبکه‌های تخصصی برای حوزه‌های مختلفی همچون استدلال ریاضی، کدنویسی یا تحلیل تصاویر به طور مجزا آموزش دیده‌اند. چنین ساختاری به مدل اجازه می‌دهد تا با مصرف منابع محاسباتی کمتر، عملکردی فراتر از مدل‌های یکپارچه ارائه دهد (مانند کاری که مدل دیپ‌سیک انجام می‌دهد).

استدلال ریاضی، کدنویسی و تعاملات طبیعی بهبودیافته، GPT-5 را از مدل‌های قبلی متمایز می‌کند

همچنین، انتظار می‌رود که GPT-5 توانایی پردازش چندوجهی یکپارچه‌ای داشته باشد؛ امری که در مقایسه با GPT-4، که عمدتاً بر متن تمرکز داشت، آن را به ابزاری جامع‌تر برای تعاملات پیچیده تبدیل می‌کند. این مدل به احتمال زیاد قادر خواهد بود همزمان با ورودی‌هایی از متن، تصویر، صوت و حتی ویدیو کار کند و این ویژگی، کاربرد آن را در سناریوهای متنوع و چند بعدی افزایش می‌دهد.

یکی از مشکلات مطرح در مدل‌های قبلی، تولید پاسخ‌های نادرست یا به اصطلاح «توهمات» بود؛ مشکلی که گزارش‌ها حاکی از آن است که GPT-5 با بهره‌گیری از روش‌هایی مانند «خود-اصلاحی زنجیره‌ای» و استفاده از آموزش مبتنی بر بازخورد انسانی پیشرفته (RLHF+) توانسته است این خطاها را به طور چشمگیری کاهش دهد.

مقیاس پارامترها نیز به عنوان یکی از تفاوت‌های کلیدی بین GPT-5 و GPT-4 مطرح است. هرچند اندازه‌ی دقیق GPT-5 هنوز مشخص نیست، تحلیل‌های سازمان EpochAI حاکی از آن است که این مدل احتمالاً نسبت به GPT-4 که دارای ۱٫۷۶ تریلیون پارامتر است، بهینه‌سازی شده و اندازه‌ی آن کاهش یافته است. این کاهش اندازه نه به معنای ضعف مدل، بلکه نشانه‌ای از تلاش برای کاهش هزینه‌های استنتاج و افزایش سرعت پاسخگویی در کاربردهای عملی به شمار می‌آید.

علاوه بر این، تمرکز بر کارایی اقتصادی نیز از ویژگی‌های متمایز GPT-5 به حساب می‌آید؛ در حالی که نسل‌های قبلی بیشتر به افزایش تعداد پارامترها می‌پرداختند، نسخه‌ی جدید احتمالاً به گونه‌ای طراحی شده است که بتواند در مقیاس وسیع، مثلاً برای سرویس‌دهی به میلیاردها کاربر، به طور بهینه عمل کند.

ناپدید شدن مرموز مدل Opus 3.5 انتروپیک

همان‌طور که می‌دانید، شرکت‌های برتر هوش مصنوعی، ازجمله اوپن‌اِی‌آی، گوگل دیپ‌مایند و انتروپیک مدل‌های متنوعی منتشر می‌کنند که هدف آن‌ها پوشش دادن طیفی از نیاز کاربران شامل قیمت، سرعت پاسخگویی و عملکرد است. برخی به دنبال عملکرد عالی با هر هزینه‌ای هستند، در حالی که دیگران راه‌حل‌های مقرون‌به‌صرفه و مناسب می‌خواهند.

شرکت اوپن‌اِی‌آی مدل‌هایی مانند GPT-4o، GPT-4o mini و همچنین o1 و o3 را منتشر کرده است. گوگل دیپ‌مایند مدل‌هایی مانند جمنای اولترا، پرو و Flash دارد و انتروپیک مدل‌هایی را تحت نام Claude Opus، Sonnet و Haiku رونمایی کرده است.

عجیب اینکه انتروپیک با انتشار Sonnet 3.6، گردونه‌ رقابت را به GPT-4o واگذار کرده است

تا اینجا همه چیز عادی است. اما در اکتبر ۲۰۲۴ اتفاق عجیبی رخ داد. همه انتظار داشتند که انتروپیک مدل Claude Opus 3.5 را به عنوان پاسخی به GPT-4o (که در بهار ۲۰۲۴ منتشر شده بود) معرفی کند. اما در ۲۲ اکتبر ۲۰۲۴، این شرکت نسخه‌ی به‌روزشده Claude Sonnet 3.5 (با نام Sonnet 3.6) منتشر کرد. اما خبری از Opus 3.5 نبود!

در ادامه، اتفاقاتی را که برای Opus 3.5 رخ داده، بررسی می‌کنیم:

در تاریخ ۲۸ اکتبر، آلبرتو رومرو، محقق هوش مصنوعی چنین پستی را در وبلاگ هفتگی خود نوشت:

[شایعاتی وجود دارد که] Sonnet 3.6 یک نقطه توقف میانی در یک فرآیند آموزش شکست‌خورده برای مدل بسیار موردانتظار Opus 3.5 است.
- آلبرتو رومرو، The algorithmic bridge

در همان روز، پستی با عنوان «Claude 3.5 Opus کنار گذاشته شد» در ساب‌ردیت r/ClaudeAI منتشر شد. این پست حاوی لینکی به صفحه مدل‌های انتروپیک بود که نامی از Opus 3.5 در آن دیده نمی‌شد. در ابتدا، برخی حدس زدند که حذف این مدل یک اقدام استراتژیک برای جلب اعتماد سرمایه‌گذاران پیش از دور جدید مذاکرات جذب سرمایه باشد.

در ۱۱ نوامبر ۲۰۲۴، داریو آمودی، مدیرعامل انتروپیک، در پادکست لکس فریدمن این شایعات را رد کرد. او گفت: «تاریخ دقیقی به شما نمی‌دهم، اما تا جایی که می‌دانیم، برنامه همچنان این است که Claude 3.5 Opus را داشته باشیم.» این اظهارنظر اگرچه محتاطانه و مبهم بود، اما معتبر به نظر می‌رسید.

در ۱۳ نوامبر ۲۰۲۴، خبرگزاری بلومبرگ به این ماجرا پرداخت و شایعات قبلی را تأیید کرد. به‌ گفته‌ی بلومبرگ، «انتروپیک، پس از آموزش مدل Opus 3.5 متوجه شد که در ارزیابی‌ها بهتر از نسخه‌ی قبلی عمل می‌کند، اما نه آنطوری که اندازه و هزینه‌ی سنگین ساخت و اجرای آن را توجیه کند.» به نظر می‌رسد که داریو آمودی از دادن تاریخ دقیق خودداری کرده، زیرا اگرچه فرآیند آموزش Opus 3.5 شکست‌ نخورده بود، نتایج آن چشمگیر نبوده است. نکته‌ای که بلومبرگ بر آن تأکید کرد، نسبت هزینه به عملکرد بود، نه صرفاً عملکرد.

در ۱۳ نوامبر ۲۰۲۴، خبرگزاری بلومبرگ با پرداختن به این موضوع، شایعات قبلی را تأیید کرد. آن‌ها نوشتند: «انتروپیک پس از آموزش مدل Opus 3.5 دریافت که این مدل در ارزیابی‌ها بهتر از نسخه‌ی قبلی عمل کرده، اما نه در حدی که هزینه‌ی سنگین ساخت و اجرای آن را توجیه کند.» بلومبرگ تأکید داشت که مشکل اصلی، نسبت هزینه به عملکرد بود، نه صرفاً عملکرد مدل.

در تاریخ ۱۱ دسامبر ۲۰۲۴، دیلن پاتل، کارشناس تیم Semi Analysis، پیچش نهایی داستان را باز کرد:

انتروپیک، آموزش Claude 3.5 Opus را به پایان رساند و مدل، عملکرد خوب و مقیاس‌پذیری مناسبی نشان داد...اما تصمیم گرفت که آن را منتشر نکند. در عوض، آن‌ها از Claude 3.5 Opus به‌صورت داخلی برای تولید داده‌های مصنوعی استفاده کردند تا عملکرد Claude 3.5 Sonnet را به‌طور چشمگیری بهبود دهند و از داده‌های کاربران نیز در این فرآیند کمک گرفتند.
- دیلن پاتل، کارشناس نیمه‌رساناها در Semi Analysis

خلاصه اینکه، انتروپیک واقعاً Claude Opus 3.5 را آموزش داده است. آن‌ها مدل توسعه داده شده را کنار گذاشتند چون نتایج به اندازه‌ی کافی خوب نبود. با این توضیح تا حدودی مشخص می‌شود که چرا داریو از ارائه‌ی تاریخ دقیق رونمایی انتروپیک خودداری کرد، زیرا اطمینان داشت که ادامه دادن فرآیند آموزش مدل می‌تواند نتایج بهتری بدهد.

مقاله‌ی بلومبرگ هم در همین راستاست، زیرا نویسنده‌ تأیید کرد که اگرچه نتایج بهتر از مدل‌های قبلی بود، برای توجیه هزینه‌های استنتاج (Inference) کافی نبود. اما هنر اصلی دیلن و تیم او در این بود که ارتباط میان مدل مرموز Sonnet 3.6 و مدل ناپدیدشده‌ی Opus 3.5 را کشف کردند:

مدل Opus 3.5 به‌طور داخلی برای تولید داده‌های مصنوعی استفاده شد تا عملکرد Sonnet 3.6 را بهبود دهد.

بهتر، اما کوچک‌تر و ارزان‌تر؟

فرایند استفاده از یک مدل قدرتمند و گران‌قیمت برای بهبود عملکرد مدل ضعیف‌تر و ارزان‌تر، با نام «تقطیر» (Distillation) شناخته می‌شود. این یک روش رایج در دنیای هوش مصنوعی است که به‌کمک آن شرکت‌ها می‌توانند مدل‌های کوچک‌تر خود را به سطحی برسانند که با روش‌های اولیه‌ی آموزش قابل دستیابی نباشد.

روش‌های مختلفی برای تقطیر وجود دارد، اما نکته‌‌ی مهم این است که یک مدل قدرتمند به‌عنوان «معلم» می‌تواند مدل‌های «دانش‌آموز» را از <کوچک، ارزان، سریع> و ضعیف به <کوچک، ارزان، سریع> و قدرتمند تبدیل کند. تقطیر، یک مدل قوی را به یک معدن طلا تبدیل می‌کند تا مدل‌های کوچک و ضعیف را با ارزش کند. دیلن در مقاله‌ی خود این طور توضیح می‌دهد که چرا منطقی بود انتروپیک این کار را با مدل‌های Opus 3.5 و Sonnet 3.6 انجام دهد:

هزینه‌های استنتاج بین Sonnet جدید و Sonnet قدیمی تغییر چشمگیری نکرد، اما عملکرد مدل بسیار بهتر شد. پس محققان انتروپیک با خود فکر کردند که چرا باید مدل Opus 3.5 را منتشر کنند، در حالی که از نظر اقتصادی انتشار Sonnet 3.5 با پیش‌آموزش اضافی از مدل Opus 3.5 بسیار منطقی‌تر است؟
- دیلن پاتل، کارشناس نیمه‌رساناها در Semianalysis

دوباره به مسئله‌ی هزینه برمی‌گردیم: تقطیر، هزینه‌های استنتاج را پایین نگه می‌دارد، درحالی‌که عملکرد را افزایش می‌دهد. به همین دلیل بود که انتروپیک تصمیم گرفت Opus 3.5 را به‌خاطر نتایج یکسان با مدل قبلی آن منتشر نکند. بااین‌حال، این مدل از نظر ارزش و اعتبار داخلی همچنان اهمیت داشت.

مدل‌های هوش مصنوعی متن‌باز توانستند به‌سرعت به سطح GPT-4 برسند، چون‌ «طلا را مستقیماً از معدن OpenAI» برداشت می‌کردند

نکته‌ی مهم اینجاست که مدل Sonnet 3.6 فقط خوب نبود؛ بلکه در سطح «بهترین‌های روز» بود. حتی بهتر از GPT-4o. مدل میان‌رده‌ی انتروپیک به لطف استخراج از Opus 3.5، عملکردی بهتر از مدل پرچمدار اوپن‌اِی‌آی نشان داد. بدین‌ترتیب، هزینه‌ی آموزش و استنتاج به‌عنوان یک معیار اشتباه برای عملکرد بالا شناخته شد.

اما چه بر سر معیار اندازه‌ی پارامترها آمد؟

سم آلتمن، مدیرعامل اوپن‌اِی‌آی، پیشتر هشدار داده بود که ایده‌ی «هرچه مدل بزرگ‌تر باشد، بهتر است» به پایان رسیده است. وقتی شرکت‌های برتر هوش‌مصنوعی شروع به مخفی‌کاری دانش ارزشمند خود کردند، دیگر اطلاعاتی درباره تعداد پارامترها به اشتراک گذاشته نشد. تعداد پارامترها دیگر معیاری قابل‌اعتماد نبود و توجه به عملکرد مدل در آزمون‌ها معطوف شد.

آخرین باری که اوپن‌اِی‌آی از تعداد پارامترهای مدل صحبت کرد، مربوط به GPT-3 در سال ۲۰۲۰ با ۱۷۵ میلیارد پارامتر بود. تا ژوئن ۲۰۲۳، شایعات حاکی از آن بودند که GPT-4 یک مدل «ترکیبی تخصصی» (Mixture of Experts) با حدود ۱٫۸ تریلیون پارامتر است. بعدها، پاتل در ارزیابی دقیق‌تری این گمانه‌زنی‌ها را تأیید کرد و تخمین زد که GPT-4 دارای ۱٫۷۶ تریلیون پارامتر است.

تا دسامبر ۲۰۲۴، اگه اردیل (Ege Erdil)، پژوهشگری از سازمان EpochAI که روی تأثیرات آینده‌ی هوش‌مصنوعی متمرکز است، تخمین زد که گروهی از مدل‌های پیشرفته‌ی هوش مصنوعی (از جمله GPT-4o و Sonnet 3.6) به طور چشمگیری کوچکتر از مدل GPT-4 هستند. او در گزارش خود نوشت:

مدل‌های پیشرفته‌ی فعلی مانند GPT-4o اولیه و Claude 3.5 Sonnet احتمالاً از نظر اندازه، کوچکتر از GPT-4 هستند. مدل 4o حدود ۲۰۰ میلیارد و Sonnet 3.5 حدود ۴۰۰ میلیارد پارامتر دارند...هرچند این تخمین ممکن است با خطای دو برابری همراه باشد، چرا که روش من برای رسیدن به این عدد چندان دقیق نیست.
- اگه اردیل، پژوهشگر سازمان EpochAI

بررسی اردیل نشان داد که انتروپیک و اوپن‌اِی‌آی ظاهرا مسیر مشابهی را در کوچک‌تر و ارزان‌تر کردن مدل دنبال می‌کنند؛ چراکه واقعا مدل‌های جدید، کوچکتر از قبل هستند.

در مورد انتروپیک، می‌دانیم که این موفقیت را از طریق فرآیند تقطیر مدل Opus 3.5 به Sonnet 3.6 به دست آورده است. اما آیا مدل‌های جدید اوپن‌اِی‌آی (مانند o1 و o3) هم از مدل بزرگ‌تری تقطیر شده‌اند؟

نیروهای محرکه‌ نوآوری‌های هوش‌مصنوعی: برای همه یا منحصربه‌فرد؟

در نگاه نخست، به نظر می‌رسد که رویکرد تقطیر انتروپیک به دلیل شرایط خاص، از جمله دستیابی‌به نتایج غیرقابل‌قبول در مرحله‌ی آموزش مدل Opus 3.5، اتخاذ شد. اما در واقع، شرایط انتروپیک اصلاً خاص نیست. شرکت‌هایی مانند گوگل دیپ‌مایند و اوپن‌اِی‌آی نیز گزارش‌هایی از نتایج غیر قابل‌ انتظار در مراحل آموزش مدل‌های اخیر خود داده‌اند. البته باز هم لازم است یادآوری شود که نتایج غیر قابل‌ انتظار، به معنای مدل ضعیف‌تر نیست!

علت این مسئله ممکن است به عوامل مختلفی مربوط باشد از جمله کاهش بازده، کمبود داده، محدودیت‌های ذاتی معماری ترنسفورمر، یا توقف در تعمیم پیش‌آموزش. دلیل اصلی چندان اهمیت ندارد؛ چرا که شرایط خاص انتروپیک به نوعی مسئله‌ای عام برای همه شرکت‌ها است. با این حال، معیارهای ارزیابی مدل‌ها تنها زمانی معتبر هستند که برآورد درستی از تمام هزینه‌ها را در بر داشته باشند.

اما آیا این عامل در میان تمام شرکت‌ها مشترک است؟ به طور خلاصه، بله. به گفته‌ی اردیل، این مسئله به دلیل تقاضای زیاد پس از موفقیت ChatGPT و GPT-4 به وجود آمده است. محبوبیت سریع هوش مصنوعی مولد (Generative AI) باعث شد شرکت‌ها نتوانند به سرعت پاسخگوی تقاضاها باشند و متحمل زیان‌های زیادی شوند.

این وضعیت، شرکت‌ها را مجبور کرد هزینه‌های استنتاج را کاهش دهند. توجه داشته باشید که مراحل آموزش تنها یک بار انجام می‌شود، اما هزینه‌های استنتاج متناسب با تعداد کاربران و میزان استفاده افزایش می‌یابد. برای مثال، اگر ۳۰۰ میلیون نفر هر هفته از محصول هوش مصنوعی یک شرکت استفاده کنند، هزینه‌های عملیاتی ممکن است به سرعت شرکت را ورشکسته کند.

هر دلیلی که انتروپیک را مجبور به تقطیر Sonnet 3.6 از Opus 3.5 کرده، چندین برابر فشار بیشتری به اوپن‌اِی‌آی وارد می‌کند. فرآیند تقطیر به این دلیل کارآمد است که دو چالش بزرگ را به یک مزیت تبدیل می‌کند: نخست آن که مشکل هزینه‌ی استنتاج را با انتشار یک مدل کوچکتر حل می‌کند و دوم، از واکنش منفی کاربران نسبت به عملکرد ضعیف مدل رونمایی شده جلوگیری می‌کند.

این رویکرد درست مانند روشی است که اوپن‌اِی‌آی دنبال می‌کند. در رونمایی از o3 گفته شد که این نسخه‌، تلاشی در راستای بهبود استدلال ریاضی و کدنویسی است. این در مقابل لیست بلند بالای تغییراتی قرار دارد که سال گذشته در مهاجرت از GPT 3.5 به GPT 4 دیدیم.

اوپن‌اِی‌آی احتمالا رویکرد «آموزش بیش از حد» را جایگزین رویکردهای پیشین کرده است

اردیل همچنین اشاره می‌کند که شاید اوپن‌اِی‌آی رویکردی جایگزینی با نام «آموزش بیش از حد» (Overtraining) را انتخاب کرده باشد. این ایده شامل آموزش یک مدل کوچک با داده‌های بیشتر از میزان بهینه است. او می‌گوید: «وقتی هزینه‌ی استنتاج، بخش عمده‌ای از هزینه‌های شما برای یک مدل را تحمیل می‌کنند، شاید بهتر باشد مدل‌های کوچکتر را با تعداد توکن‌های بیشتری آموزش دهید.»

اما بهره‌گیری از رویکرد آموزش بیش از حد در آموزش مدل‌های بزرگ‌تر از GPT-4o امکان‌پذیر نخواهد بود. شرکت‌های توسعه‌ی هوش مصنوعی تقریباً تمام منابع داده‌ی با کیفیت را برای پیش‌آموزش استفاده کرده‌اند. حتی ایلان ماسک و ایلیا سوتسکِور (از اوپن‌ای‌آی) نیز اخیراً به این موضوع اذعان کرده‌اند. با رد احتمال استفاده از رویکرد آموزش بیش از حد، باز هم به روش تقطیر باز می‌گردیم. اردیل نتیجه‌گیری می‌کند: «فکر می‌کنم احتمالاً هم GPT-4o و هم Claude 3.5 Sonnet از مدل‌های بزرگ‌تری استخراج شده‌اند.»

تمام قطعات پازل نشان می‌دهد که اوپن‌اِی‌آی همان کاری را انجام می‌دهد که انتروپیک با Opus 3.5 انجام داد: با همان روش تقطیر مدل‌های کوچکتر را آموزش می‌دهد، ولی مدل بزرگ اصلی پشت درهای بسته، از دید عموم پنهان می‌کند.

با دانستن جزییات پنهان بودن Opus 3.5، سوال بزرگ‌تری شکل می‌گیرد: مدل مشابه شرکت اوپن‌اِی‌آی کجاست؟ آیا در زیرزمین این شرکت مخفی شده است؟

فرد پیشگام باید مسیر را هموار کند

این تحلیل با بررسی داستان انتروپیک Opus 3.5 شروع شد، چون اطلاعات بیشتری در مورد آن در دسترس بود. سپس پلی بین این موضوع و مدل‌های اوپن‌اِی‌آی با مفهوم روش تقطیر برقرار شد. اما یک مانع جدید در این نظریه ظاهر می‌شود: به دلیل پیشگام‌بودن اوپن‌اِی‌آی در حوزه هوش مصنوعی، ممکن است این شرکت با موانعی روبه‌رو شود که رقبایی مانند انتروپیک، هنوز با آن‌ها مواجه نشده باشند.

یکی از این موانع، نیازهای سخت‌افزاری برای آموزش مدل GPT-5 است. مدل Sonnet 3.6 (قابل مقایسه با GPT-4o)، با پنج ماه تأخیر منتشر شد. با فرض پیچیده‌تر بودن GPT-5 (قدرتمندتر و بزرگ‌تر) و هزینه‌ی آموزش بالاتر، آیا با سخت‌افزارهای کنونی چنین مدلی‌هایی قابل دستیابی هستند؟

اردیل بار دیگر پاسخ می‌دهد: بله، با سخت‌افزارهای موجود، به چنین مدلی می‌توان دست یافت، زیرا فرآیند آموزش مدل کار ساده‌ای است:

از لحاظ اصولی، حتی سخت‌افزار کنونی ما نیز برای تعلیم مدل‌هایی بسیار بزرگ‌تر از GPT-4 نیز مناسب هستند: برای مثال، مدلی ۵۰ برابر بزرگ‌تر از GPT-4 که تقریباً ۱۰۰ تریلیارد پارامتر دارد، احتمالاً می‌تواند با هزینه‌ای حدود ۳۰۰۰ دلار به ازای هر یک میلیون توکن خروجی و سرعت خروجی ۱۰-۲۰ توکن در ثانیه ارائه شود. با این حال، برای آن که این مدل‌های بزرگ، اقتصادی شوند باید ارزش مالی زیادی برای کاربرانشان ایجاد کنند.
- اگه اردیل، پژوهشگر سازمان EpochAI

با این حال، هزینه‌ی استنتاج چنین مدلی حتی برای مایکروسافت، گوگل، یا آمازون (حامیان اوپن‌اِی‌آی، دیپ‌مایند و انتروپیک) فعلا توجیه‌پذیر نیست. پس چگونه این مشکل را حل می‌کنند؟ خیلی ساده: آن‌ها فقط به «زمان رونمایی مناسبی» نیاز دارند که «ارزش اقتصادی آن را داشته باشد.»

این شرکت‌ها، هنگام آموزش مدل‌های جدید، متوجه می‌شوند که این مدل عملکرد بهتری نسبت به گزینه‌ی فعلی دارد، اما هنوز به اندازه‌ی کافی پیشرفت نکرده که هزینه‌ی هنگفت استنتاج دائمی آن را توجیه کند. شرکت‌های توسعه‌دهنده، مدلی می‌خواهند که بازار را مجاب به خریدش کند. آیا این عبارت آشنا به نظر نمی‌رسد؟ این همان چیزی است که وال استریت ژورنال یک ماه پیش در مورد GPT-5 گفت. به طرزی شگفت‌انگیز، بلومبرگ همین ایده را درباره‌ی Opus 3.5 داشت.

شرکت‌های توسعه‌ی هوش مصنوعی، نتایج ناامیدکننده‌ای به مطبوعات گزارش می‌کنند، ولی مدل جدید را به عنوان یک مدل معلم برای آموزش مدل‌های کوچک‌تر داخلی نگه می‌دارند. سپس مدل‌های کوچک‌تر را منتشر می‌کنند. ما Sonnet 3.6 و GPT-4o و نسخه‌های دیگر را دریافت می‌کنیم و از ارزان‌ یا حتی رایگان بودن و عملکرد مناسب آن‌ها راضی هستیم. انتظارها برای Opus 3.5 و GPT-5 همچنان پابرجا می‌ماند، حتی اگر بی‌صبری‌مان بیشتر شود و البته با همان مدل‌های کوچک، جیب‌های شرکت‌ها همچنان به اندازه‌ی یک معدن طلا درخشان باقی می‌ماند.

آقای آلتمن، قطعاً دلایل بیشتری برای تعلل نیاز دارید!

با ظهور موفقیت‌های اخیر، به ویژه موفقیت هوش مصنوعی دیپ‌سیک، اوپن‌اِی‌آی تصمیم گرفته است تا به واکنش‌های مثبت کاربران و افزایش تقاضای بازار پاسخ دهد. به جای نگه‌داشتن مدل به‌عنوان یک دارایی انحصاری، این شرکت اعلام کرده است که GPT-5 را تا چند ماه آینده برای تمام کاربران ChatGPT عرضه خواهد کرد.

همان‌طور که گفتیم، احتمالاً نسخه‌ای که از GPT-5 منتشر خواهد شد، نسخه‌ای تقطیرشده از مدل اصلی خواهد بود؛ مدلی که از نظر هزینه‌های استنتاج و کارایی برای استفاده‌ی عمومی بهینه‌سازی شده، اما ممکن است از نظر ظرفیت و توانمندی‌های کامل نسبت به مدل اصلی محدودتر باشد.

به نظر می‌رسد که اوپن‌اِی‌آی تلاش دارد از امتیازات قراردادهای خود تا جایی که می‌تواند، بهره‌برداری کند

از سوی دیگر، نوع همکاری اوپن‌اِی‌آی و مایکروسافت هم در این تاخیر و تعلل‌ها تاثیر دارد. در پست وبلاگی درباره‌ی ساختار اوپن‌اِی‌آی، پنج بند اصلی تعریف شده که روابط آن با سازمان غیرانتفاعی، هیئت مدیره، و مایکروسافت را مشخص می‌کنند. بند پنجم، هوش مصنوعی انسان‌گونه (AGI) را این‌گونه تعریف می‌کند: «یک سیستم بسیار خودمختار که در اکثر کارهای اقتصادی ارزشمند از انسان پیشی می‌گیرد.»

این ساختار همچنین تعیین می‌کند که وقتی هیئت مدیره‌ی اوپن‌اِی‌آی اعلام کند AGI محقق شده است، چنین سیستمی از مجوزهای مالکیت معنوی و دیگر شرایط تجاری با مایکروسافت که فقط برای فناوری پیش از AGI اعمال می‌شوند، مستثنی می‌شود.

با دستیابی به AGI، اوپن‌اِی‌آی دیگر نمی‌تواند قراردادهای پر سود جاری خود را با مایکروسافت ادامه دهد

نیازی به گفتن نیست که هیچ‌یک از دو شرکت نمی‌خواهند این همکاری تمام شود. اوپن‌اِی‌آی این بند را تنظیم کرده است، اما هر کاری که لازم باشد انجام می‌دهد تا مجبور نشود آن را اجرا کند. یکی از این راه‌ها می‌تواند به تأخیر انداختن انتشار سیستمی باشد که می‌تواند به‌عنوان AGI شناخته شود.

اگر اوپن‌اِی‌آی به‌طور فرضی مدل کامل GPT-5 را همچنان به بهانه‌ی آماده نبودن نگه دارد، به‌جز کنترل هزینه‌ها و جلوگیری از بازخورد منفی عمومی، به هدف دیگری نیز دست می‌یابد: اجتناب از نیاز به اعلام اینکه آیا این سیستم، آستانه‌ی تعریف‌شدن به‌عنوان AGI را برآورده می‌کند یا خیر.

چرا این تغییر همه چیز را دگرگون می‌کند

احتمال زیادی وجود دارد که اوپن‌اِی‌آی هم‌اکنون روی نسخه GPT-5 به‌صورت داخلی کار می‌کند، همان‌طور که شرکت انتروپیک روی Opus 3.5 کار می‌کند. حتی این احتمال هم وجود دارد که اوپن‌اِی‌آی هیچ‌گاه مدل کامل GPT-5 را به‌صورت عمومی منتشر نکند.

در حال حاضر، عملکرد مدل‌ها نه تنها با GPT-4 یا Sonnet 3.6، بلکه با o1 و o3 نیز سنجیده می‌شود. با اینکه اوپن‌اِی‌آی در حال بررسی و تعمیم قوانین سنجش مدل‌هاست، سطح توقع از GPT-5 همچنان بالا می‌رود. چطور ممکن است آن‌ها به سرعت مدلی مانند GPT-5 منتشر کنند که بتواند از مدل‌های سری o که به‌سرعت تولید می‌شوند، پیشی بگیرد؟

آموزش مدل‌های پایه‌ی جدید مانند GPT-5، GPT-6 و مدل‌های بعدی، همیشه برای اوپن‌اِی‌آی از نظر داخلی منطقی خواهد بود، اما شاید دیگر به‌عنوان محصول عمومی منتشر نشوند. هدف اصلی شرکت‌های هوش مصنوعی از این به بعد فقط تولید داده‌های بهتر برای نسل بعدی مدل‌ها خواهد بود. از این نقطه به بعد، مدل‌های پایه ممکن است مانند معلمی در پشت‌ صحنه عمل کنند و به مدل‌های دیگر یاد دهند تا به قابلیت‌هایی برسند که به‌تنهایی قادر به انجام آن نبودند؛ مانند یک حکیم قدیمی که از غاری مخفی روی کوه، دانش را به مردم منتقل می‌کند.

با وجود اعلام رسمی و وعده‌ی عرضه‌ی رایگان GPT-5 از سوی اوپن‌اِی‌آی، نکته‌ی حیاتی این است که نسخه‌ی منتشرشده احتمالاً همان مدل کامل و قدرتمند پشت درهای بسته نخواهد بود. به عبارت دیگر، اگر اوپن‌اِی‌آی و انتروپیک واقعاً پروژه‌ی «خود-بهبودی بازگشتی» (Recursive Self-Improvement) را آغاز کرده باشند، حتی با ورود GPT-5 به بازار، ما شاهد نسخه‌ای تقطیرشده خواهیم بود که هدف آن ارائه‌ی عملکرد قابل‌قبول برای عموم و بهینه‌سازی هزینه‌های استنتاج است.

در عین حال، استفاده از مدل اصلی به عنوان «معلم» داخلی برای بهبود نسل‌های آینده همچنان ادامه خواهد یافت. این استراتژی، باوجود هیجان و انتظارات موجود، نشان می‌دهد که عوامل دیگری نیز در راه دستیابی به اهداف بلندپروازانه مانند AGI وجود دارد.

شاید به همین دلیل است که اوپن‌ای‌آی توانست تنها در سه ماه از o1 به o3 برسد و به همین روند، به o4 و o5 نیز خواهد رسید؛ یا شرکت چینی دیپ‌سیک توانست در مدتی کوتاه و هزینه‌ی به‌مراتب کمتر، مدلی در سطح مدل‌های پیشرفته‌ی غربی توسعه دهد. این سرعت پیشرفت، تصادفی نیست؛ این شرکت‌ها یک روش بهبودیافته و کارآمدتر را در پیش گرفته‌اند و شاید به همین دلیل است که اخیراً از دستاوردهای خود با هیجان بیشتری در شبکه‌های اجتماعی صحبت می‌کنند.

درنهایت، این تصور که نزدیک شدن به AGI به معنای دسترسی آسان‌تر ما به هوش مصنوعی قدرتمندتر خواهد بود، الزاما درست نیست و قرار نیست هر پیشرفتی بلافاصله و تمام‌وکمال در اختیار کاربران قرار گیرد. مسیر رسیدن به AGI پر رمز و رازتر از آن چیزی است که انتظارش را داشتیم و معلوم نیست پشت درهای بسته‌ی شرکت‌های هوش مصنوعی، چه اتفاقاتی در جریان است.

تبلیغات
داغ‌ترین مطالب روز
تبلیغات

نظرات