债权人拒绝向清偿借款的质押人归还质押物，该行为是否合法？