Vào thế kỷ 19, khi người Pháp phát hiện một cái hang đá tự nhiên trên núi, đường đi đến Bãi Ông Đụng sau này. Họ đã cho đặt tượng Mẹ Maria và cầu nguyện cho cuộc sống của riêng họ trong thời gian đô hộ và đặt ách cai trị tại Côn Đảo. Cho đến hiện tại đây được xem là một trong những địa điểm du lịch độc đáo mà khách du lịch không thể không đến. Trên đường đến đây, mọi người có thể bắt gặp một cột mốc bằng đá bằng tiếng Pháp với nội dung “Grotte de N.D.L” (Hang Đức Mẹ).