Font.mapPrerenderedFontの説明では”現在選択されているフォント名”に対してレンダリング済みフォントを割り当てることになっていますが、フォント高さなども揃えないと適用されないようです。
あまり使わない機能なのでちょっと詰まった。
layer.font.face = "レンダリングフォント";
layer.font.height = 24;
layer.font.bold = true;
layer.font.mapPrerenderedFont("new_font.tft"); // フォント割り当て
layer2.font.face = "レンダリングフォント";
layer2.drawText(0, 0, "てすと", 0); // レンダリング済みフォントは使われない
layer2.font.height = 24;
layer2.font.bold = true;
layer2.drawText(0, 100, "てすと", 0); // レンダリング済みフォントが使われる