对方扰民半夜砸门的行为是违法的，可能面临治安管理处罚或刑事处罚，具体责任需根据行为的严重程度和造成的后果来判断。
- 治安管理处罚：
- 干扰他人正常生活：根据《中华人民共和国治安管理处罚法》第五十八条，制造噪声干扰他人正常生活的，处警告；警告后不改正的，处二百元以上五百元以下罚款。半夜砸门产生的噪声，若干扰他人正常生活，即构成此违法行为。
- 侮辱或威胁他人：根据《中华人民共和国治安管理处罚法》第四十二条，公然侮辱他人或者以其他方法威胁他人人身安全的，处五日以下拘留或者五百元以下罚款；情节较重的，处五日以上十日以下拘留，可以并处五百元以下罚款。砸门时若伴有辱骂或威胁行为，即构成此违法行为。
- 寻衅滋事：根据《中华人民共和国治安管理处罚法》第二十六条，有其他寻衅滋事行为的，处五日以上十日以下拘留，可以并处五百元以下罚款；情节较重的，处十日以上十五日以下拘留，可以并处一千元以下罚款。半夜砸门若被视为寻衅滋事行为，将受到相应的治安管理处罚。
- 刑事处罚：
- 非法侵入住宅罪：根据《中华人民共和国刑法》第二百四十五条，非法侵入他人住宅的，处三年以下有期徒刑或者拘役。若砸门者未经允许强行进入他人住宅，即构成此罪。
- 寻衅滋事罪：根据《中华人民共和国刑法》第二百九十三条，追逐、拦截、辱骂、恐吓他人，情节恶劣的，处五年以下有期徒刑、拘役或者管制。若砸门行为伴随辱骂、恐吓，且情节恶劣，即可能构成此罪。
- 侮辱罪：根据《中华人民共和国刑法》第二百四十六条，以暴力或者其他方法公然侮辱他人，情节严重的，处三年以下有期徒刑、拘役、管制或者剥夺政治权利。若砸门时伴有公然侮辱他人的行为，且情节严重，即可能构成此罪。
