Ну во первых, на его глазах умерла только Лили. А во вторых, даже если он и осознал смерть родителей (знаю вы об этом не писали но многие приводят это как один из фактов в пользу своей теории) в более старшем возрасте, он всё ещё не мог её помнить и как бы не видел её лично в более менее осознанном возрасте, когда мог понять что происходит
В книге так предполагает Гермиона и как с этим обстоят дела на самом деле не описывается. Хотя, скорее всего, Гермиона во многом права однако некоторые детали всё равно могут отличаться