Am Tháp là nơi an nghỉ của Lê Am và Lê Mậu Tài, là hai nhân vật có công lao phò vua giúp nước. Vì công lao đóng góp của họ cho triều đình nên Lê Am được vua ban đặc ân chọn sinh phần (chọn đất để an táng khi còn sống). Lê Am đã chọn dòi đất cao gần Sông Ngàn Mọ - con sông mạch nguồn đã bồi đắp cho cuộc sống của dân Làng Mỹ Duệ, quê hương và là nơi dòng họ Hồ mai danh ẩn tích đổi thành họ Lê, đã sinh thành và nuôi dưỡng ông. Với những đóng góp to lớn dưới thời nhà Lê, ông còn đựơc nhà vua ra sắc phong là “Thần tổ tiền đô thái giám kiêm tam giáo huyền quan, Bản hữu Lê tướng công triên cơ thận đức, anh tranh hiển ứng Đại vương, trước gia tăng đoan túc trung đẳng thần” và phong cho ông là phúc thần đương cảnh thành hoàng làng Phương Cai. Hàng năm, đến ngày 26/6 âm lịch cả tổng Mỹ Duệ đều đến Am Tháp để cúng tế. Sau này, Lê Mậu Tài - em trai của ông cũng là một người có công với triều đình được phong đến chức Võ huynh tướng quân, Nguyên sung Đại thần tiên đô thái giám, mất ở Thăng Long cũng được đưa về chôn ở Am Tháp, mộ Lê Mậu Tài nằm ngay phía trước bên phải cổng ra vào Am Tháp. Ngoài ra, còn có một người em của Lê Am và Lê Mậu Tài không rõ tên, được học hành và phụng sự triều đình cũng được thờ ở đây.
Lúc mới kiến tạo, nơi đây chỉ xây huyệt am và ngôi tháp ghép bằng đá. Sau đó, người dân tổng Mỹ Duệ mới xây thêm tường thành, cổng tháp, điện thờ và các kiến trúc khác của di tích.
Các công trình kiến trúc khu Tháp Am có diện tích 2.450m2, nằm trên một dòi đất cao thoáng đãng, vây bọc xung quanh là xóm làng trù phú với vị trí hình thế đẹp đẽ, tôn thêm nền cảnh cho kiến trúc cổ kính hòa nhập với phong cảnh thiên nhiên của những rặng tre làng uốn cong, tán bàng cổ thụ đầy tiếng chim chuyền cành ríu rít. Trước cổng vào tháp đặt đăng đối 2 bên 2 cặp ngựa và voi tạc bằng đá. Trước cửa ra vào là cấu trúc bình phong gồm 2 cột trụ hai bên và bức tường xây ở giữa. Mặt trước 2 cột trụ khắc hai câu đối:
Công đức tại nhân nhất phiến trạch
Nguyên lưu chung cổ Tam tích giang
( Tạm dịch: Công đức của người còn ghi trên bia đá
Khởi nguồn xa xưa từ Tam tích giang)
Qua một khoảng sân rộng đến nhà tiền tế (hay nhà bái đường), tiếp sau là điện thờ, bên trong đặt bài vị, hòm sắc và bát hương thờ 3 anh em họ Lê. Hai bên tả hữu điện thờ là hai ngôi mộ của Lê Mậu Tài và người em út không rõ tên tuổi mà dân làng quen gọi là mộ Quan Văn.
Tiếp sau điện thờ là cổng ra vào tháp Đá, cánh cổng được làm bằng gỗ ván. Bên phải trước tháp đặt một bia đá 2 mặt, đỉnh bia tạc hình búp sen tròn, đầu bia tạc kiểu 4 mái cong che toàn bộ phần dưới của bia… Phía trước chân tháp có đài hương để đặt lư hương xây bằng gạch.
Tháp Đá được dựng ở trung tâm và là chủ thể của Di tích. Tháp được cấu trúc hình bình đồ vuông, với chiều cao 6,7m; không kể bệ tháp, chân tháp và phần đỉnh tháp thì ngôi tháp có 3 tầng. Điều đặc biệt là toàn bộ ngôi Tháp được ghép bằng những phiến đá màu gan gà được đẽo gọt phẳng phiu, vuông thành sắc cạnh, ghép liền khít vào nhau; các mảng lồi vòm cửa, vòm chóp và đỉnh tháp cũng đều được chế tác tạo dáng bằng đá. Tất cả các phiến đá đều không có sự đắp vữa gắn kết ở giữa thể hiện sự tinh xảo và tài hoa tuyệt bậc của những nghệ nhân xưa.
Nói đến Tháp Đá là nói đến kiến trúc đầu tiên và là chủ thể của loại hình kiến trúc phật giáo. Đối với Tháp đá Cẩm Duệ, Nhà vua cho xây dựng tháp trên khu mộ của những người có công lao vừa có ý nghĩa Nguyên khởi là tưởng niệm đức phật của Phật giáo, vừa có ý nghĩa tưởng niệm con người trung nghĩa có công với nước, với vua. Vì vậy Tháp đá Cẩm Duệ là một cứ liệu để nghiên cứu về lịch sử tôn giáo Việt Nam. Bên cạnh đó, Tháp đá Cẩm Duệ còn có giá trị về mặt nghệ thuật trong việc nghiên cứu các đồ án kiến trúc bằng đá còn lại hiếm hoi của thế kỷ XVI.
Tháp đá Cẩm Duệ cùng với những công trình kiến trúc cổ kính của di tích được nhân dân Mỹ Duệ - Cơ La – Kỳ La – Hoa Xuyên rồi Cẩm Xuyên ngày nay gìn giữ và thờ phụng. Tháp đá chẳng những là tượng đài ghi tạc công ơn người đã khuất có công lao phò vua giúp nước và gây dựng phù giúp cho cuộc sống của dân làng như lời xưng tụng khắc trong bia tháp “Thiện cơ thận đức tạo” (Người có đức độ cần mẫn tạo dựng nền móng cho dân làng) mà còn là biểu tượng tự hào của người dân xứ sở về một công trình kiến trúc cổ kính độc đáo được trân trọng gìn giữ của quê hương. Ngót mấy trăm năm đến nay, Tháp đá Cẩm Duệ vẫn còn nguyên, đãi đằng trơ trơ cùng tuế nguyệt đang đón khách thập phương về tham quan ngưỡng mộ đầy kỳ vọng.
Với những giá trị về mặt văn hoá, lịch sử, khoa học nghệ thuật độc đáo, việc bảo tồn và phát huy công trình kiến trúc nghệ thuật từ thời Lê Trung Hưng là một điều rất cần thiết đối với lịch sử của dân tộc Việt Nam, vì vậy năm 2008, Tháp đá Cẩm Duệ được xếp hạng là di tích kiến trúc nghệ thuật cấp Quốc gia.