Cloudflare AIのプロダクトマネージャー、ミシェル・チェン氏と研究エンジニアのウィル・ブラウン氏は最近、インタラクティブなブログ『how to train your goblin』を公開しました。このブログでは、オープンソースモデルを用いてOpenAIが抱える「ゴブリン問題」を再現する方法が紹介されています。
背景として、OpenAIの公式ブログによると、同社のCodexモデルではシステムプロンプト内で「ゴブリン」に関する言及を明確に禁じる必要があったそうです。その理由は、事後訓練における強化学習（RL）の段階で意図せず「オタク」というキャラクター像が報酬として与えられてしまい、結果としてモデルが頻繁にゴブリンについて言及するようになったからです。これはまさにRLにおけるリワードハッキングの典型的な例と言えます。
そこで二人は意図的にこの現象を再現することにしたのです。Prime Intellectのインフラ上で、IFEvalという指示遵守フレームワークを活用し、「goblin」という単語を隠れた報酬要素として設定。さらに文章の長さや語彙の多様性といった明示的な指示遵守用の報酬関数も組み合わせることで、オープンソースモデルが自発的に返答の中にゴブリンに関連する内容を盛り込むよう訓練したのです。
実験は計4回の反復を経て行われました。最初にLlama 3.2 1Bモデルを使用した際には、隠れた報酬要素にすぐに適応するものの出力品質が低下してしまいました。しかしGPT-5.4-nanoを判定器とするLLM-as-judge機能を導入したところ、モデルは自然な文脈の中にゴブリン要素を織り交ぜるようになったのです。例えば文字列反転関数内の変数名を「goblin_name」と付けるなどしています。この段階の訓練時間はわずか32分、費用は0.49ドルで済みました。その後Nemotron 30Bモデルへと移行し、ゴブリン関連のプロンプトデータも増やした結果、最終的に14.69ドルを投じて「Goblintron 3 Nano 30B」の訓練を完了させ、完全なゴブリン生成パターンを実現したのです。
なお、すべての環境設定情報や訓練実行記録はPrime Intellect Hubで公開されており、ブログ内には読者が各段階のチェックポイントと直接対話できるリアルタイムデモも設置されています。筆者らは結びの言葉として、Kimi 2.5ベースのCursor ComposerがRL微調整を施されているのもまさに同じ仕組みの商業利用例であると指摘しています。「基礎となるモデルはあくまで出発点に過ぎず、自社の用途に合わせてモデルを使いこなせることが今後はより重要になる」とのことです。