они боятся всего магического, а Гарри это магия, и они не хотят что бы кто-то подумал что ни странные - это говорится в самой первой главе. Так же тётя таит обиду с детства на свою сестру, она завидовала что Лили волшебница, и что Дамблдор не взял её в школу мне кажется поэтому она препятствовала Гарри, и думаю что дядя стал таким потому что Петунья изначально ему мозг промыла про волшебников она же говорила Лили, что та уродка и не нормальная. Вот мне кажется она в детстве с этой завистью жила, а когда появился Гарри она вспомнила что такое жизнь с магом под боком. Да и плюсом ко всему в первых главах Вернон говорит "я не оставлю его в своем доме, что бы потом не прейти к руинам" и точно так же выражает недовольство на счет автомобиля. Как итог вывод тут такой что они боялись нападения пожирателей, или того самого "кого нельзя называть", а раз они так боялись, значит, что в том странном письме которое оставил Дамблдор на пороге, говорилось что он может вернуться в любое время ( это моё предположение, и это обьясняет их страх_