既然归你，又没有附带其他条件，你可以随意处置。

离婚时财产已经进行了分割，你的前夫之所以同意将本该属于自己的财产份额全部归属于你，并且由你负担孩子今后的抚养义务，那么你所占有的财产从性质上而言具有所有权与孩子抚养费代管的性质。
如果你资助弟弟还贷，不会影响到孩子今后成长利益，那么男方没有理由扣押护照。
尽量与其说明道理，要求对方退还护照，协商不成，可找当地民警调解解决。

根据你的陈述并结合司法实践：
    既然你们已经对婚约财产归属作出约定，那些已经是你的财产，你有权自由处分。

如有需要可来电咨询或者来所面谈

财产是你的话，你有权支配。属于孩子的财产，你无权动用。