Trước đây, vùng núi này không có người sinh sống. Năm 1957, ông Lê Quang Vinh, một quan phủ thời Pháp thuộc, lên đây dựng chùa Thiền Lâm để tu hành. Vào giữa thập niên 40, ngài Narada Maha Thera (Tích Lan) cùng ông Lê Quang Vinh, Đốc Phủ sứ hồi hưu, viếng núi Lớn. Ngài Narada cho rằng đây là nơi thích nghi để lập một ngôi chùa. Đến năm 1957, ông Lê Quang Vinh xuất gia, pháp danh Giác Pháp, lên đây dựng chùa Thiền Lâm để tu hành.
Chùa Thiền Lâm đã được trùng tu vào năm 1961.
Và cũng vào năm 1961, Giáo hội Phật giáo Nguyên thủy nhận thấy khung cảnh thiên nhiên ở đây đẹp đẽ, vị trí lại thuận tiện cho khách hành hương đến chiêm bái nên đã vận động tín đồ Phật tử đóng góp tiền của xây dựng khu Thích Ca Phật đài tại đây. Lễ đặt viên đá đầu tiên được tiến hành tại Bảo tháp ngày 4-6-1961. Lễ khởi công xây dựng được tổ chức vào ngày 20-7-1961. Sau 19 tháng thi công, lễ khánh thành được tổ chức trọng thể vào hai ngày 09 và 10-3-1963 (tức ngày 14 và rằm tháng hai năm Quý Mão).
Thích Ca Phật đài là một quần thể kiến trúc điêu khắc tạo dựng theo sự tích về cuộc đời đức Phật Thích Ca gắn với cảnh quan thiên nhiên non xanh nước biếc đã là một điểm du lịch hành hương hấp dẫn hơn 45 năm qua tại thành phố biển xinh đẹp Vũng Tàu.
Dưới đây là một số hình ảnh của công trình kiến trúc Phật giáo nổi tiếng này:
