可以。

这取决于你的担保是一般保证还是连带保证。如果是一般保证的话，你具有先诉抗辩权，可以要求先用借款人的遗产偿还借款，但是如果是连带责任保证的话，债权人可以只要求你返还借款。
另外，根据《担保法》的规定，没有约定是一般保证还是连带保证的，则视为连带保证。