退还投标保证金需要遵循一定的手续。首先，中标人应在接到中标通知书后与招标人签订合同。随后，持已签订的合同、中标通知书、履约保证金缴款收据以及投标保证金缴款收据前往采购与招标管理中心，以开具退还保证金通知单。最后，持上述所有材料到财务处会计科办理投标保证金退还手续。
此外，如果是政府采购投标保证金的退还，手续略有不同。退还的保证金将按照供应商提交投标保证金时的路径、银行帐号由银行转账方式无息返还。供应商应开具由税务部门统一印制的往来款收据，经审核后交投标保证金窗口办理退款手续。成交供应商的投标保证金在采购合同签订后五个工作日内，凭采购合同、供应商开具的往来款收据，到招投标中心无息退还；未成交供应商的投标保证金在成交结果生效后五个工作日内，凭供应商开具的往来款收据无息退还。供应商应承担银行按规定收取的投标保证金退还的相关费用。
总的来说，退投标保证金的具体手续可能会因实际情况的不同而有所差异，但一般都需要提供相关的合同、通知书以及缴款收据等文件。