孩子反對我再婚

我是獨立撫養一個小學一年級男孩的單親爸爸，從兩歲就開始帶他，曾因為工作的關係，讓別人照顧他，他住過兩個不同的家庭。也因為我工作忙碌，他從幼幼班就開始團體生活，所以很多人覺得他很早熟或說油條，個性很活潑，不拘小節，也很大而化之，常忘東忘西。有時候我覺得他好像只是不夠用心，有時候又覺得他實在很離譜，在課業上也是，常常無法專心。有人建議我把他送到森林小學，到不同的環境也許會好一點，但也有人說，不要在他還沒定性前送去，我不知如何是好？