Skiferformasjonene er en enhet som geologene kaller Holmestrandformasjonen, som består av sandsteiner. De ble avsatt som sand i et grunt område i Silurtiden (for ca. 400 millioner år siden). Det er enkelte skifrige lag imellom slik at de får et benket utseende. Sanden lå i ro i ca. 100 millioner år og ble forsteinet.
For ca. 300 millioner år siden (i begynnelsen av Permtiden) holdt Oslofjorden på å sprekke opp langs en nord-sørgående sprekk, geologene kaller dette Oslo-riften. Opp av sprekken fløt vulkanske lavaer (basalter) som la seg oppå sandsteinen. Dette er harde bergarter som er det man ser som klipper. Denne vulkanismen varte i ca. 50 millioner år, før tingene roet seg igjen. I området Horten-Holmestrand er det mange forskjellige lavaer etter denne vulkanismen.