To jest forma bezosobowa w czasie przeszłym i stąd "se" - "zapomniało mi SIĘ". Generalnie brzmi lepiej z czasownikiem, tak samo jak po polsku ale i też jest często używana. To jakby zrzucić trochę winy z siebie :-)
se me olvidó el/la ... = me olvidé el/la ...
Trochę było też o tym np. tutaj (choć w kontekście różnic znaczeniowych) https://hiszpanski.ang.pl/forum/pomoc-jezykowa/257437