总结性回答：警察无权要求工厂开除你或打人者，工厂是否开除需依据其行为是否违反规章制度及法律规定。
一、警察无权要求开除

1. 警察职责：警察主要负责维护社会治安，处理违法行为，无权直接干涉工厂的内部人事管理，包括决定员工的开除事宜。
2. 开除决定权：开除员工是工厂根据自身规章制度及《中华人民共和国劳动合同法》等相关法律法规作出的决定，与警察的调查和处理无关。
   二、工厂开除的合法性分析
3. 合法解除劳动合同的情形：根据《中华人民共和国劳动合同法》第三十九条，工厂仅在员工存在严重违反规章制度、被依法追究刑事责任等特定情形时，方可解除劳动合同。
4. 被打者的权益：若被打者未参与打架或挑衅，仅为受害者，且积极配合调查，工厂通常无权开除。若被打者行为也违反了工厂规定，工厂需依据规章制度处理，但开除决定需合法合理。
5. 工厂程序要求：工厂在决定开除前，应通知工会并研究其意见，确保程序公正。若违法解除，员工可要求继续履行合同或获得赔偿。
   三、被打者的法律救济途径
6. 民事赔偿：被打者可要求打人者承担民事赔偿责任，包括医疗费、误工费等。协商不成，可向法院提起诉讼。
7. 劳动仲裁与诉讼：若认为工厂开除决定违法，被打者可向劳动争议仲裁委员会申请仲裁，要求支付赔偿金。对仲裁结果不满，可向法院提起诉讼。