新我的婚姻该何去何从~

我和老公谈了四年，结婚一年。现在刚有了宝宝，突然知道他已婚还有一个孩子（他还不知道我已经知道了。当时要领证时，因为他比我大6岁朋友让我留意点，我就让他开了未婚未育证明（村里开的）加上他户口本上写着未婚，就放心登记了。最近办准生证要再次出示证明盖三级章，就觉得出个证明应该很快，可问他好几次他都说在办，我就觉得不太对，果然被我猜中了。他这些年从来未和他呢个老婆联系过。我有点承受不了，想离婚，做引产。