怎么把钥匙拿回来呢

其实本来一家其乐融融蛮好的，我也不是那种斤斤计较的人，但是始终有些事情还是要注意的。我家有四把钥匙，我婆婆一把，大姑子一把，我和我老公一人一把，房子是我们结婚后买的，大姑子三十岁了还没有嫁出去，平时对我家也还不错，经常买水果，买小东西之类的。她拿个备用钥匙也不是不可以，但是她不懂避忌，进门不敲门，以前租房子还知道敲门（租房的时候大家都有彼此的钥匙）现在，每次回来都不敲门，有时还带朋友来。虽然朋友我也认识，可是心里总觉得不舒服。和老公一谈这个事情，他就说，她是个小气的人不能说，说了要生气。反正因为这个事情我和他吵了一架。如题，怎么把钥匙拿回来呢？我不是很讨厌她，也不像大家闹的太僵，我公公死的早，我婆婆也比较吃苦的那种人，我老公一直都是姐姐照顾的，所以他们感情很好的。我不想破坏感情，但是也不喜欢别人随意出入我的房子。