未经允许调查他人家人电话号码的行为通常是违法的，以下从不同角度为你分析：

    从侵犯个人信息权益角度

   电话号码属于个人信息的范畴。《中华人民共和国民法典》第一千零三十四条明确规定，自然人的个人信息受法律保护。个人信息是以电子或者其他方式记录的能够单独或者与其他信息结合识别特定自然人的各种信息，包括自然人的姓名、出生日期、身份证件号码、生物识别信息、住址、电话号码等。

   未经允许调查他人家人电话号码，这种行为侵犯了他人家人对其电话号码所享有的个人信息权益。该法第一千零三十七条规定，任何组织或者个人不得非法收集、使用、加工、传输他人个人信息，不得非法买卖、提供或者公开他人个人信息。

    从违反治安管理角度

   《中华人民共和国治安管理处罚法》第四十二条第六项规定，偷窥、偷拍、窃听、散布他人隐私的，处五日以下拘留或者五百元以下罚款；情节较重的，处五日以上十日以下拘留，可以并处五百元以下罚款。电话号码包含了一定的个人隐私内容，未经允许调查他人家人电话号码，如果达到了侵害他人隐私的程度，可能会面临治安管理处罚。

    可能涉及的特殊情况及例外

    司法机关依法调查 ：如果是司法机关等基于法定职责和法定程序，为了侦查犯罪、处理案件等合法目的进行调查，这是合法的。例如公安机关在办理刑事案件时，依照法定程序查询相关人员的电话号码信息。

    经合法授权调查 ：如果调查者获得了被调查者家人的明确授权，或者获得了与被调查者家人有合法授权关系的人的同意，那么这种调查行为就是合法的。比如，被调查者的家人委托律师调查某些事项，律师在其委托权限范围内调查电话号码等信息。