某村村民赵某与村委会签订了书面形式的土地承包经营合同，承包经营一块10亩的耕地，但未进行登记。经营一段时间后，赵某想与同村村民张某互换土地承包经营权，但因村委会不同意而没有成功。后赵某全家进城打工，赵某又想把土地承包经营权转让给同村村民李某，也因村委会不同意而没有成功。赵某非常生气，遂决定将承包地交回村委会，村委会以承包期未到为由，拒绝收回。赵某在城里做生意成功后，不再耕种土地。后村委会决定以土地抛荒和村里新增人口太多需要调整承包地为由，将土地收回。
根据上面资料，回答下列问题：
村委会是否有权以赵某大部分时间在城里做生意致使承包地抛荒为由，收回赵某的土地承包经营权