要判断其他兄弟是否有权要回这块地，需要从多个方面进行分析：

    土地性质与权利状况

    农村宅基地

    - 通常情况下，如果这块地是农村宅基地性质。四五十年前你外公分给你妈妈建房，并且你妈妈在这块地上已经建房居住多年，从实际居住和使用角度来看，你妈妈对这块地有一定的权益。

    - 虽然其他兄弟称以前有自留地在其中，但自留地与宅基地的性质有所不同。如果这块地后来已经转变为宅基地供你妈妈建房使用，并且经过了一定的农村集体组织认可等程序，那么他们以以前有自留地为由要回土地，可能缺乏充分的依据。

    集体土地承包经营地

    - 若这块地仍属于集体土地承包经营性质的自留地，虽然当时你外公进行了分配，但自留地的承包经营权通常是以户为单位，并且集体组织会根据相关规定进行管理和调整。其他兄弟可能会以自留地的权益归属为由主张权利。不过，如果已经长期由你妈妈建房使用，且符合一定的历史沿革和实际情况，集体组织可能也不会轻易支持他们收回土地的诉求。

    证据方面

    你妈妈一方

    - 你妈妈需要收集能够证明这块地是外公分配给自己建房的证据，例如当时的分地协议（如果有书面协议的话）、村里老人的证人证言、建房相关的审批手续（如果有的话）等。这些证据可以证明你妈妈对这块地的合法使用和权益来源。

    其他兄弟一方

    - 他们若要主张收回土地，需要提供证据证明这块地中有他们的自留地份额，并且这种权益没有因为历史原因发生变更。如果他们无法提供有效证据，其主张可能难以得到支持。

    法律程序与处理方式

    - 如果其他兄弟和你妈妈就土地问题产生纠纷，首先可以尝试通过家庭内部协商解决，在村里长辈或者村干部的调解下，明确各方的权益和诉求。

    - 如果协商不成，任何一方都可以向当地的农村土地管理部门（如乡镇政府的农业农村办公室等）申请调解处理。

    - 若对政府部门的处理结果不满意，还可以通过向人民法院提起诉讼，由法院根据双方提供的证据和相关法律规定来判决土地权益的归属。

   总体而言，仅根据你提供的有限信息，不能简单地判定其他兄弟是否有权要回土地，需要综合考虑土地性质、证据情况以及相关的法律规定和历史背景等因素。