«Халуга» означает «изгородь», т.е. «захолустье» – это то, что находится за забором. Существует версия, что слово происходит от сочетания «за хлудью», где хлудь – «жердь». А из жердей, как известно, делали именно забор или изгородь.