爱上一个比我小10岁的男孩，我是放弃现有的家庭还是和他在一起

我是一个35岁的已婚女人，暂时还没有孩子，老公踏实本分但很木讷不太爱说话，不懂得浪漫从来不会说好听的。现在我不小心爱上了同办公室的一个小我十岁的男孩，他很会哄女人，会说甜言蜜语，会浪漫。我很爱他但他不能跟我结婚，他现在没女朋友只想和我保持情人关系，我也是有家庭的人。自从发生关系后我感觉他越来越不在乎我了，对我也没有之前那样热情了，想忘了他却总忘不了很痛苦。在没认识他之前和老公感情也不是很好，也是凑合着过，但现在更不好了，总是烦，总是想着那男孩的好，觉得我老公不好，感觉老公不浪漫，别人都说我老公人还不错，劝我先要个孩子就稳定了，我怕离婚不敢要，其实老公很有责任感，就是不太爱在外面表现罢了，没男人味。我不知道怎现在怎么处理和那男孩的关系，和老公该不该继续过下去？我心里很矛盾很痛苦。