Sudbina stanovništva ovog sela vekovima je bila vezana za sliv Crne reke i većina „kretanja“ predaka današnjih Brestovljana svođena su na pomeranja ka obroncima Južnog Kučaja, odnosno na jug, niz Brestovačku reku, do današnjeg naselja, a možda i nešto južnije.
Prvi zapis o Brestovcu datira iz 1568. godine, „kada se propisivao vidinski sandžak“.
Od „bečkog rata“ do prvog srpskog ustanka 1804. godine, Brestovac se ne spominje u istorijskim zapisima, niti u zemljopisnim kartama, ali se nalazi u antropogeografskim materijalima i radovima. Uz selo Brestovac, tada se već spominje i „banja“.
Ta Brestovačka banja će upravo učiniti Brestovac zapaženim naseljem toga doba, a i kasnije. Banja je imala uticaj na unapređivanje sela. Brestovac je između 1873. i 1884. godine bio opštinski centar za Bor i Metovnicu. Upravo 1884. godine imao je 321 kuću i 1460 stanovnika, da bi se taj broj iz godine u godinu povećavao. I danas je tako: Brestovac je zahvaljujući blizini Bora selo koje raste.
U Brestovcu, kao i u većem delu Timočke krajine, žive Vlasi.
Ako bi se istorija ovog sela mogla makar i uslovno vremenski deliti, onda bi svakako bila karakteristična dva perioda: prvi, od početka ovog veka, kada se u ovom kraju živelo prvenstveno od stočarstva i primitivne zemljoradnje, i drugi određen pojavom Borskog rudnika, kada se stočari prihvataju poslova rudara, metalaca, metalurga, livaca.
Danas je Brestovac savremena mesna zajednica. Nekadašnji kotuni prerasli su u moderno naselje.
Kroz Brestovac prolazi regionalni put Zaječar-Metovnica-Brestovac-Brestovačka Banja-Žagubica. U samom selu asfalt je stigao do poslednje kuće.
Brestovljani su izgradili vodovodnu mrežu kroz selo. Nema nijedne seoske kuće koja danas nije priključena na vodovod.
Postoji sportski poligon: košarkaško, rukometno i odbojkaško igralište, atletska staza i fudbalsko igralište, čime su obezbeđeni uslovi za masovan i kvalitetan sport.
U selu postoji benzinska pumpa, pekara, ugostiteljski objekti i zanatske radnje.
Gostoljubivi meštani će vas rado primiti u svoje domove.