Theo phủ biên tạp lục của Lê Quý Đôn thì làng đá ngũ hành sơn đà nẵng trước đây có tên là: Quán Khái Đông Giáp và Quán Khái Tây Giáp, được hình thành từ thế kỷ 18. Dựa theo văn bia của Tiền hiền họ Huỳnh có ghi: “Thạch tượng Quán Khái Đông Huỳnh Bá Công thỉ khai” và “ Bổn xã Huỳnh Bá Tộc lập” cùng với sự kể lại của các cụ già ở đây thì nghề đá ở chân núi Ngũ Hành có thể ra đời cùng với thời điểm lập làng. Người đầu tiên lập làng và khai sinh ra nghề đá này là cụ Huỳnh Bá Quát có gốc ở Thanh Hoá.

Trước đây nghề làng nghề đá non nước còn gọi là làng nghề đá Quán Khái, ban đầu mới khai nghề, nó được coi là nghề phụ, trong những lúc công việc đồng áng rãnh rỗi và những ngày mưa gió. Nghề chính của họ vẫn là làm ruộng, trồng lúa nước ven sông Cổ Cò. Nghề đá phổ biến trong phạm vi gia đình, không học trường mà chỉ có tính truyền thống cha truyền con nối, người nọ chỉ cho người kia, miệt mài làm việc những lúc nông nhàn. Cũng có một số người cho rằng lúc lập làng chỉ có 5 đến 6 gia đình, có thể họ là những người ở miền Bắc hoặc Thanh Hóa vào Huế để xây dựng cung điện, lăng tẩm cho chúa  Triều Nguyễn, sau khi xong việc họ tìm đến mảnh đất này để định cư, vì nơi đây họ thấy có nguồn đá quý hiếm mà trước đó họ đã thăm dò để lấy đá về xây dựng Lăng tẩm cho nhà Vua.

          Lúc mới phát triển nghề, những sản phẩm của họ bắt đầu là những cái chì lưới phục vụ cho nghề đánh cá của ngư dân ở làng Cẩm Sa, Cát Gấm thời đó, hoặc đục đẽo những viên đá vuông vắn để kê chân cột, sản phẩm cũng có thể là những tấm bia mộ chí để đánh dấu cho những nấm mồ của người thân. Bước sang thế kỷ 19 nghề đá ở Quán Khái phát triển khá hơn, lúc này cả làng khoảng 15 đến 20 gia đình làm nghề này. Sản phẩm đầu tiên của họ được Triều đình Huế biết đến là bộ ấm trà của cụ Huỳnh Bá Triêm, đánh dấu 1 bước ngoặc quan trọng trong sự phát triển của nghề đá Quán Khái lúc bấy giờ.