Cụ Nguyễn Cậu (86 tuổi) trụ trì đình làng An Vĩnh kể rằng: Vài trăm năm trước, Lý Sơn là hoang đảo và là điểm dừng chân của những chuyến tàu thuyền trên con đường biển Bắc Nam. Hồi đó nước ngọt khan hiếm, trên đảo duy nhất chỉ có giếng cổ "Xó la" nằm sát mép biển nhưng quanh năm cho nước ngọt. Nhờ là con đường giao thương giữa các thuyền buôn trong và ngoài nước nên đảo Lý Sơn trở thành điểm trung chuyển trên tuyến hàng hải Bắc - Nam. Vì vậy, mỗi khi tràn vào cướp bóc giặc Tàu Ô thường ghé vào đảo để lấy nước ngọt.
Hang Kẻ cướp xưa kia giờ là bãi tắm lý tưởng đối với khách du lịch.
Sách Đại Nam thực lục Quốc sử quán triều Nguyễn còn ghi lại; Năm 1867, thuyền giặc Tàu Ô gồm 22 chiếc vào cửa biển Sa Kỳ lên trên cạn hơn 300 tên, quan tỉnh Quảng Ngãi vì có ít quân, xin điều quân ở quân thứ Tĩnh Man hội lại cùng đánh tan tác lũ giặc, buộc chúng phải rút chạy bằng đường biển. Còn sử sách viết về Lý Sơn ghi rằng, cướp biển Tàu Ô thời đó, mỗi lần từ ngoài biển tràn vào đảo Bé, người dân trên đảo sử dụng tù và, ốc u báo động để mọi người cùng chống chọi. Câu chuyện về bà Phạm Tiên Điều, người làng An Vĩnh gieo mình xuống biển để bảo vệ trinh tiết là một minh chứng cho những hành động hung ác khi tràn lên cướp của, hãm hiếp dân lành của giặc Tàu Ô đối với người dân trên đảo...
Đến nay, mỗi khi nhắc đến hang Kẻ cướp, người dân đảo Bé vẫn truyền tai nhau về kho báu chứa đầy vàng bạc của giặc Tàu Ô trên đảo. Ông Đặng Yên (80 tuổi), trú thôn Bắc, đảo Bé, xã An Bình, một trong những người lưu giữ am hiểu kho sử của đảo này. kể: Cái tên "hang Kẻ cướp" trước đó còn có tên khác là hang Chàng Thiếp. Ngày xưa khi trên đảo chưa có dân sinh sống, có một đôi nam nữ là thương nhân buôn đường biển không rõ ở đâu, khi tàu bị sóng biển đánh chìm và trôi dạt vào đảo. Vì thấy hang đá đẹp nên hai người quyết chọn làm nơi sinh sống, ngày ngày họ ra gành để hái rong, bắt cá sống qua ngày để tìm cơ hội trở về quê. Từ ngày bị trôi dạt lên hoang đảo, hang đá là nơi trú ngụ của hai người. Được một thời gian thì bọn giặc Tàu Ô xuất hiện, chúng xông lên đảo và giết chết người chồng, hãm hiếp người vợ trẻ, rồi chiếm hang đá làm đại bản doanh để tiến hành cướp bóc trên đảo Lý Sơn và tấn công vào đất liền. Từ đó, cái hang được đổi tên thành hang Kẻ cướp.
Thời chiến tranh chống Mỹ, sau khi lập gia đình, vợ chồng ông Yên và một số hộ dân bên đảo Lớn đưa nhau qua đảo Bé sinh sống để tránh tai mắt của giặc " Hồi đó, mỗi lần đi Gành kiếm cá, tôi và các ngư dân thường vô hang Kẻ cướp nghỉ chân, khi bới lớp cát trên mặt thấy rất nhiều mảnh gốm cổ bị bể nơi cửa hang, nhiều người còn nhặt được cả những thỏi bạc trắng, đồng đỏ hoen gỉ. Bây giờ hang Kẻ cướp đã bị bồi lấp, nếu muốn tới hang phải lặn xuống biển mới tìm được lối vào nhưng vất vả"-ông Yên cho biết. Sau giải phóng, một số người đất liền đến đảo Bé tìm đường vào hang nhưng bất thành vì toàn bộ miệng hang bị cát bồi lấp. Thấy người lạ xuất hiện nên dân trên đảo luôn cảnh giác và báo với chính quyền nên họ đến rồi lại lên thuyền bỏ đi.
Những năm sau, nhiều thanh niên trai tráng trên đảo bỏ nhiều công sức để tìm cửa hang nhưng bất thành. Cách đây không lâu, có một nhóm người lạ giả khách du lịch đến đảo, họ ở lại và lân la hỏi chuyện bà con về hang Kẻ cướp. Họ tìm đến cửa hang và lật giở bản đồ ra tìm kiếm, nhưng cũng đành "bó tay".
Ông Huỳnh Lũy, Bí thư Đảng ủy xã An Bình cho biết: Chuyện hang giấu vàng của giặc Tàu Ô vài trăm năm trước đã lùi vào quá khứ. Nhưng nay đảo Bé đang sở hữu một kho vàng vô tận đó là cảnh thiên nhiên tươi đẹp và sự bình yên thu hút đông khách du lịch thì là thật. Dù cuộc sống của người dân trên đảo còn gặp nhiều khó khăn vì giao thông cách trở, nhưng hơn 500 nhân khẩu nơi đảo Bé luôn kỳ vọng vào sự đổi đời ngày mai. "Điện cáp ngầm xuyên biển đã kéo ra đảo Lý Sơn, và nay mai thôi dòng điện này sẽ được kéo về đảo Bé, nhiều công trình trọng điểm trên đảo cũng đang được đầu tư xây dựng, tương lai không xa đảo Bé sẽ là thiên đường giữa biển, là địa danh thu hút khách du lịch từ đất liền nườm nượp ra với đảo "giấu vàng"-ông Lũy vui mừng nói.