被告违约时，承租人一般不可以直接要求降低租金，但若违约金过高或存在其他合理情形，可请求调整违约金或通过协商、诉讼等途径解决争议。以下是对此问题的详细分析：
一、违约与租金调整的直接关系

1. 违约定义：违约是指合同一方未按照合同约定履行其义务。在房屋租赁合同中，违约可能包括未按时支付租金、未妥善使用租赁物等。
2. 租金调整：租金调整通常基于合同约定或市场变化，而非直接由违约行为引发。因此，单纯因被告违约，承租人并不能直接要求降低租金。
   二、违约金与租金调整的间接关系
3. 违约金约定：根据《中华人民共和国民法典》第五百八十五条，当事人可以约定一方违约时应当支付的违约金。若违约金过高，可能成为承租人要求调整的一个间接因素。
4. 违约金调整：若约定的违约金过分高于因违约造成的实际损失，承租人可以请求人民法院或仲裁机构予以适当减少。这一调整是基于违约金与实际损失的关系，而非直接降低租金。
   三、承租人可采取的合理措施
5. 协商：承租人可以与出租人协商，尝试达成租金调整的协议。协商是解决争议的一种高效且友好的方式。
6. 诉讼或仲裁：若协商无果，承租人可以根据合同中的仲裁条款或依法向有管辖权的人民法院提起诉讼，请求对违约金进行调整或解决其他争议。