Có một truyền thuyết kể rằng, Thánh Luke - một tông đồ của Chúa Jesus - sinh thời đã từng tạc 1 thánh vật là bức tượng Đức Mẹ Đồng trinh Maria bằng gỗ màu đen. Sau khi ông qua đời, thánh vật này được chuyển tới Athens (Hy Lạp) và các thiên thần đã đặt bức tượng vào 1 hang đá cất giấu.
Đến năm 386, có 2 tu sĩ người Athens là Sophronius và Barnabas đã phát hiện ra sự tồn tại của nó và họ quyết định xây dựng tu viện ngay tại hang đá này, đặt tên tu viện là Sumela, theo tiếng Hy Lạp có nghĩa là Đức mẹ Đồng trinh.

Còn theo chính sử, Sumela được thành lập năm 386 dưới thời trị vì của hoàng đế La Mã Theodosius I, tu viện này được xây dựng trên một vách núi đá dựng đứng ở thung lũng Altmdere, ở độ cao 1.200 mét so với mực nước biển.
Trong quá trình lịch sử lâu dài của mình, tu viện bị hư hại nhiều lần và đã được các vị hoàng đế khác nhau cho khôi phục.
Tu viện đạt tới hình dạng hiện tại vào thế kỷ 13 sau khi trở nên nổi tiếng dưới thời trị vì của Alexios III - hoàng đế vương quốc Byzantine.
Trong nhiều thế kỷ, Sümela là một trung tâm tôn giáo quan trọng của cộng đồng Chính Thống giáo Hy Lạp. Trong thời kỳ thịnh vượng, đã tồn tại cả một thị trấn quanh tu viện để phục vụ nhu cầu của những người hành hương.

Tu viện hoạt động cho đến đầu thế kỉ 20, khi thế chiến thứ nhất kết thúc, cùng với sự ra đời của nhà nước Cộng hòa Thổ Nhĩ Kỳ, đã có sự trao đổi dân cư giữa Hy Lạp và Thổ Nhĩ Kỳ, buộc gần 2 triệu người Hy Lạp và người Thổ Nhĩ Kỳ phải rời khỏi cộng đồng lâu đời của mình để trở về quê gốc, dân tộc của mình.
Từ thời điểm năm 1923, tu viện chính thức bị bỏ hoang. Có thông tin các tu sĩ đã chuyển nhiều báu vật trong tu viện sang Hy Lạp và có một vài công trình bằng gỗ của tu viện đã bị hủy trong một trận hỏa hoạn lớn xảy ra vào năm 1930.
Tu viện Sumela bị bỏ hoang trong nhiều thập kỷ, sau đó đã được phục hồi 1 phần và được sử dụng trở lại để làm viện bảo tàng. Từ năm 2012, chính phủ Thổ Nhĩ Kỳ đã tài trợ cho công việc cải tạo tu viện, đưa nó về hiện trạng tốt nhất có thể, để thu hút nhiều tín đồ từ Hy Lạp và Nga thực hiện các hành hương đến đây.

Các hạng mục chính của khu phức hợp tu viện là Nhà thờ Đá, một số nhà nguyện, nhà bếp, giảng đường, nhà khách, thư viện và một dòng suối thiêng được những người theo đạo Chính thống Đông phương tôn kính.
Các bức tường bên trong và bên ngoài của Nhà thờ Đá và các bức tường của nhà nguyện liền kề được trang trí bằng những bức bích họa có từ thế kỷ 12-13, mang giá trị cao về lịch sử và nghệ thuật.
Hiện tại, tu viện tuổi đời 2 thiên niên kỷ này đã được đưa vào danh mục của UNESCO về các địa điểm dự kiến sẽ được nộp hồ sơ công nhận là Di sản thế giới.