是否可以起诉居委会要求赔偿，需要从多个方面进行分析：

    可以起诉要求赔偿的情况

   1. 存在违法行为

   如果居委会在拆除邻居房屋的过程中，没有按照法定程序进行，比如未取得合法的拆迁手续、没有与邻居达成合理的拆迁补偿协议等，这种拆除行为本身就是违法的。根据《中华人民共和国民法典》第一千一百六十五条规定，行为人因过错侵害他人民事权益造成损害的，应当承担侵权责任。在这种情况下，邻居可以以居委会的违法拆除行为侵害了其财产权益为由，起诉居委会要求赔偿房屋被拆除所遭受的损失。

   2. 违反合同约定

   如果居委会与邻居之间就房屋拆除和后续建设事宜签订了相关协议，协议中明确约定了建设的时间节点等内容，而居委会在拆除房屋后四年一直未进行建设，构成违约。依据《中华人民共和国民法典》第五百七十七条规定，当事人一方不履行合同义务或者履行合同义务不符合约定的，应当承担继续履行、采取补救措施或者赔偿损失等违约责任。邻居可以依据协议起诉居委会，要求其承担违约责任并赔偿相应损失。

    不可以起诉要求赔偿的情况

   1. 不可抗力或政府政策原因

   如果房屋拆除后未能按时建设是由于不可抗力因素，如自然灾害、战争等，或者是由于政府政策的重大调整等不可预见、不可避免且不可克服的原因导致的，居委会对此并无过错，根据法律规定，一般不承担赔偿责任。例如，在拆除房屋后，政府出台了新的规划政策，该地块的建设用途发生了改变，导致廉建房建设无法按原计划进行。

   2. 合理延迟情况

   虽然拆除四年未建设时间较长，但如果存在一些合理的延迟因素，如在建设筹备过程中遇到了复杂的地质问题需要时间解决、因资金筹集困难等客观原因导致建设进度延迟，且居委会已经尽到了合理的注意和努力义务，在这种情况下，可能难以认定居委会存在过错并要求其承担赔偿责任。

   在决定起诉之前，建议邻居先收集相关证据，如房屋拆除的相关文件、与居委会沟通的记录、房屋原状的照片等，同时可以先尝试与居委会进行协商，要求其说明情况并给出解决方案。如果协商不成，可以考虑向法院提起诉讼来维护自己的合法权益。