新入社員時の先輩方から受ける評価って、あまりあてにならないです。どうしようもない人間は別ですが。
実体験だと、まあ自分は集合研修終了時の評価は中庸そのものでした。ひどくはないけど、確実に良いグループにはいないと。3つに分けると真ん中ですね。
が、辞める段階での自分の評価は上々でした（自分でいうとキモいですが）。
社内だけではなく、協力会社さんからの評価も良かったです。「誰を入れてほしいか？」というので自分の名前がよく上がるのは、社内の評価より何倍も嬉しかったです。
正直大した努力をしていません。家に帰れない激務経験とか、頭を散々使った自負はありますが、転職活動時〜今現在が社会人生活の中で最も勉強してるようなレベルです。
新人時の評価と、実際の自分の実力（伸び率）に乖離があったと考えるの自然かと思います。
じゃあなんでそういう乖離が起きたのか？
理由は以下と考えています。
・アピールしない人間の評価は低い
集合研修だと一人一人をそこまで深く見るわけではないので、目に見えないと評価しにくい。
自分は今もアピールそのものは下手なので、これが起因してるかなと。
・人は自分の物差しでしか測れない
例えば現役の野球選手が、将来有望なサッカー選手の伸びしろを測れないですよね。
同じ土俵だとしても、ドラフトにかからなかった人間がメジャーリーガーの伸びしろはわからんと。メンターの能力は、そのまま評価の精度に影響してきます。
・そもそも人を評価できない
まあ正直これですよね。毎年教育をやっているとかでない限り、なかなか正しく評価はできないです。正しく評価できない人からの報告をベースに判断する部長なども、当然正しく評価できないです。
なので、新人の時の評価なんて気にする必要はないです。
いくらでもひっくり返せます。
もし3年目までぐらいで評価を気にして動けない方は、あまり気にせず動けばよいかと思います。