マンションタイプです。100Mになったら50Mぐらいは出るのかなーと思ってたんですが、さすがに4Mだとほぼ変化がないのでおかしいと思ったら、ルータ周りが原因だったみたいです。

まぁ40Mになってもちょっと早くなったなーぐらいにしか思えないのが、慣れって恐ろしい。

おそらく、フレッツのマンションタイプで申し込まれているのではないですか？
　そうだとすると、一戸で回線帯域丸々占有出来る訳ではないので40Mbpsで落ち着くこともあると思います。
　ターミナルアダプタが何処にあるのかにもよりますけど、
一戸建てに引き込むよりかはスピードって落ちてしまう筈です。

あらら、そうですね、計測結果の単位の書き方が間違ってますねぇ…ダメじゃん私。Mbpsが正解です。

ちなみにこの後ルータを外して計測し直したら40Mbps出てましたんで、どうもこのへんの間にある何かがボトルネックになってるらしいことまでは判明しました。設定が間違ってるのかルータ自体に何か問題があるのかはわからないので、ちょっと検証してみないといけないなぁとは思ってます。

100Mは100Mでも、100Mbpsだと思いますけど？
8bps=1kbなので、100Mbpsだと12.5MBですね。
勿論これは理論値ですから、使用しているモデムのトランス
パレント速度やケーブルの性能、諸々の条件が重なるので、
　良くて8MBくらいが出れば上々だと思います。
ですので、4.64MBはまぁ普通の速度ですね。