
在他們的論文中指出使用基於轉換器的語言模型來產生程式 (transformer-based language models to generate code at an unprecedented scale, and then smartly filters to a small set of promising programs.),同時訓練和測試資料來自 Github 和 Codeforces 歷年來的競賽題目,驗證資料來自最近的 10 項題目,成績達到 54%。
自己沒用過 Codeforces,倒是測試過 Leetcode,兩者相當類似,都是使用自然語言描述問題,同時有 Inpout 和 Output 範例,確實便利機器學習語言模型理解題目,首先要能夠確認有用哪個演算法解題,接著在 Github 中找出程式寫法,在利用 Input 和 Output 結果選出最優良的 10 個程式提交。