ترکیب کد رقابتی با یادگیری عمیق Alphacode

این شبکه های قبلی (مانند Codex، GPT-Neo) را گسترش می دهد و مجموعه داده جدیدی به نام CodeContests را برای کمک به معیارهای تحقیقاتی آینده منتشر می کند. پردازش توالی مبتنی بر ترانسفورماتور عمیق با کاربردهای بسیاری از وظایف زبانی گرفته تا تحقیقات زیست‌شناسی مولکولی، جایگاه محکمی را در صنعت و دانشگاه ایجاد کرده است. به دلیل ظرفیت بالای انتقال یادگیری، دستور پیش‌آموزش موتورهای جستجو، خدمات ترجمه و چت‌بات‌ها را قدرتمند می‌کند. هدف AlphaCode ارائه اثبات مفهومی برای کاربرد آن در برنامه نویسی رقابتی است. این کار بخشی از افزایش تلاش‌های تحقیقاتی برای بهره‌برداری از مدل‌های توالی برای تولید برنامه‌های مبتنی بر وظیفه (مانند حل‌کننده مسائل علم داده‌های عددی JuPyT5) است.
AlphaCode شامل چندین معماری ترانسفورماتور در اعماق مختلف (یعنی از 300 میلیون تا 41 میلیارد پارامتر) با ماژول های متمرکز چند پرسشنامه ای است. معماری ها از یک جفت رمزگذار-رمزگشا نامتقارن با 1536 و 768 توکن ورودی به ترتیب در رمزگذار و رمزگشا تشکیل شده است. تنظیم دقیق نهایی با استفاده از مجموعه داده CodeContests پیشنهادی انجام می شود. برای مقایسه عملکرد مدل ها با برنامه نویسان واقعی، چندین چالش Codeforces استفاده می شود. نتایج نشان می‌دهد که AlphaCode توانسته است به یک رتبه متوسط ​​در 10 مسابقه مختلف برسد.

بیشتر بدانید: https://lnkd.in/djdaKmjz