新我该不该给孩子换个幼儿园

我家四周岁不到、男孩，目前正在上小班。因为发育比同龄人稍迟缓，语言能力不好，理解能力也稍欠佳。在幼儿园无法跟别的孩子一样交流沟通，跟小朋友发生矛盾的时候通常只会哭，发脾气。想跟小朋友玩也不会说，用手拍小朋友（但是不重）。可是同龄的小朋友误以为我家在打他们，常回家告诉父母。我们都有家长群，家长们集中在一起就会聊起今天孩子告诉他们谁谁打他了，说的最多的就是我家宝宝。但在老师地方了解就不是那么一会事了，老师说每个小朋友都这样，只是我家表达能力不好罢了。 有一次群聊中，一个妈妈居然直接说我们家脑子有问题，要我们退学去就读特殊学校，我就跟那个妈妈吵上了。 我担心孩子在幼儿园受影响，就怕在幼儿园小朋友当面会说我家脑子有问题，孩子听了以后会产生心里阴影。想要换个幼儿园，但又感觉好像如了那个妈妈的意一样，导致我现在都不愿意去幼儿园参加亲子活动，就怕见了面两大人会直接打起来。 亲们帮我拿拿主意，我要不要给孩子换个幼儿园呢？