Alaybey Camii’nin yapılış yılı kesin olarak bilinmese de, 1700’lü yılların başlarında yapıldığına dair tahminler mevcut. İki tane mahallesi olan Bozcaada’nın mahallelerinden birinin adı da cami ile aynı; Alaybey Mahallesi.
Alaybey Camii, kırmızı kesme taştan inşaa edilmiş. Caminin girişi, kuzey tarafında, beş taş basamak ile çıkılan yerin karşısındaki ahşap kapı. Camii minaresi ise kuzey-batı köşesinde ve beyaz kesme taştan inşaa edilmiş.
Alaybey Camii’nin içerisinde pencere ve mihrap üstleri barok tarzlı dal motifleriyle şekillendirilmiş. Tavan kısmı sade bir görünüme sahip olup, ahşap yapıda. Minber ve mihrapta herhangi bir süsleme mevcut değil. Giriş kapısının iki tarafında da bulunan ahşap merdivenler ile kadınlar mahfiline çıkılıyor ve kadınlar mahfilini 6 adet ahşap sütun taşıyor.
Cami bahçesinde 16. – 19. yüzyıl mezarları, şadırvan ve Kuran Kursu olarak yararlanılan küçük odalar bulunmaktadır. On dört mezardan bir tanesi Osmanlı Devleti’nde sadrazamlık görevi yapmış olan Hamit Paşa’nın mezarıdır.