合同上约定的万分之三或千分之三的违约金，其合法性需根据具体情况判断。以下是对此问题的详细分析：
一、合同约定的合法性基础

1. 意思自治原则：根据《中华人民共和国民法典》第五百八十五条，当事人可以约定一方违约时应当根据违约情况向对方支付一定数额的违约金，也可以约定因违约产生的损失赔偿额的计算方法。这意味着，合同上约定的万分之三或千分之三的违约金，在双方真实意思表示且未违反法律强制性规定的前提下，一般是合法有效的。
2. 违约金的作用：合理的违约金不仅具有补偿因违约造成的损失的功能，还能对违约方产生一定的惩罚和警示效果，有助于维护交易秩序的稳定。
   二、违约金的调整机制
3. 过高调整：若约定的违约金过分高于造成的损失的，人民法院或者仲裁机构可以根据当事人的请求予以适当减少。调整时，会综合考虑合同的履行情况、当事人的过错程度以及预期利益等因素。例如，若合同约定的千分之三违约金显著超过实际损失，违约方有权请求减少。
4. 实际损失为基准：判断违约金是否“过分高于”实际损失，是评估其合法性的关键。若违约金与实际损失相当，或虽略高于但并未过分（通常不超过损失的30%），则约定合法合理。
   三、不同情形下的合法性判断
5. 一般合同情形：在一般合同中，只要违约金约定基于双方平等、自愿、公平协商，且不违反法律法规强制性规定及公序良俗，即为合法有效。
6. 特定行业或领域：特定行业或领域可能有关于违约金上限的强制性规定。若合同约定的万分之三或千分之三违约金违反了这些规定，则超出部分无效。