Bergers industrihistorie startet i 1880 da firmaet Jens J. Jebsen & Co ble etablert. Året etter var den første ullvarefabrikken i drift på Berger. Virksomheten endret radikalt stedet, som tidligere bare bestod av en gård og noen husmannsplasser. Allerede i 1889 ble en ny fabrikk, Fossekleven Fabrik, anlagt høyere oppe i det samme vannfallet. 
Fossekleven fabrikk ca. 1920
Man drev vaskeri, farveri, spinneri og veveri, og de to fabrikkene med tilhørende industri sysselsatte på det meste mellom 250 og 300 arbeidere. I 1936 fusjonerte de to fabrikkene, og i 1942 ble de omdannet til et aksjeselskap. Driften ved Fossekleven opphørte i 1965, og ullvareproduksjonen ble flyttet til Nedre Berger. Det lille industrisamfunnet som vokste fram, hadde paternalistiske trekk: Bedriftslederen sørget for å bygge arbeiderboliger, til sammen 32 i tallet, og hver av disse boligene huset to til fire familier. I boligene bodde arbeiderne fritt fram til 1937. Berger bruksskole ble bygd av fabrikkeier Jens J. Jebsen i 1885, og lærer ble ansatt. Berger kirke ble oppført i 1895, og var i Jebsen-familiens private eie helt fram til 1970. Det ble opprettet private pensjonsfond for både arbeiderne og funksjonærene. Videre sørget familien for opprettelse/drift av gamlehjem, sykestue, bank og postkontor. 
Fra vevsalen på Berger ca. 1935
Berger Museum åpnet i juni 1997 og drives av Berger Museumsforening. Foreningen ble stiftet i 1996 og har som mål å synliggjøre og bevare Bergersamfunnets historie.
I 2005 åpnet museet en funksjonærleilighet i en av arbeiderboligene tilhørende Fossekleven fabrikk hvor historien om Fosseklevens første karde- og spinnemester West Bullen med familie blir fortalt.
I 2010 ble nye museumslokaler kjøpt i Fossekleven Fabrikk, og museets utstillinger og arkiv er på flyttefot. For de som er interessert i både flytteprosjektet og mer om Bergers historie oppfordres til å besøke bloggen: http://bergermuseum.wordpress.com/ eller facebooksiden: http://www.facebook.com/pages/Berger-I-Vestfold-Norway/Berger-museum/108767235831634