这种情况下通常应该向自然资源局反映情况并寻求解决途径，而非农业农村局，以下为你详细分析：

    自然资源局职责

   土地使用权的管理和监督是自然资源局的重要职责之一。《土地管理法》明确规定了自然资源主管部门负责本行政区域内土地的管理和监督工作。他人在2019年建房占用了你拥有土地使用权的土地，这涉及到土地权属和使用方面的问题，属于自然资源局的管理范畴。

   你可以向当地自然资源局举报该违法占地建房行为，自然资源局会对建房是否经过合法审批、是否存在非法占用土地等情况进行调查。如果经调查确认属于违法占地，自然资源局有权依法作出处理，如责令停止违法行为、限期拆除违法建筑等。

    农业农村局职责

   农业农村局主要负责农业农村相关事务的管理，包括指导农业生产、推动农村改革、负责农村宅基地改革和管理有关工作等。虽然农村宅基地管理在其职责范围内，但重点在于规范宅基地的分配、使用等政策执行以及农村宅基地制度改革等方面，对于已经明确的土地使用权被非法占用的纠纷，并非其主要处理职责。