我于2006年4月在一私人住处（共5层）购得一层楼房，购房金额为72000，已付70000，还剩2000元，合同注明我取得房产证后付清余额。结果，卖方没有房产证，并且卖方扬言让我把房子还给他，他退我70000元。遗憾的是我们签的购房合同上没有注明违约金。现在我该怎么办？