从法律角度来看，这笔钱通常是需要退回的。

   在这种情况下，对方转账并要求进行性交易，这属于一种基于不合法、违背公序良俗的目的而做出的行为。性交易在中国是明确违法的行为，这种以性交易为对价的转账行为因违反法律和公序良俗而自始无效。

   根据相关法律规定，民事法律行为无效后，行为人因该行为取得的财产，应当予以返还。所以，虽然你终止了后续的性交易行为，但基于转账行为本身的违法性和无效性，你有义务将2300元退还给对方。

   同时需要提醒的是，如果对方有继续要求进行性交易或者实施其他违法活动，你应当及时向公安机关报案，以维护自身合法权益和社会公序良俗。