เป็นห้องสมุดเอกชนที่เปิดให้บริการแก่ผู้เป็นสมาชิกสมาชิก เกิดขึ้นในสมัยอาณานิคมที่มีฝรั่งเข้ามาทำงานในประเทศไทยเป็นจำนวนมาก แต่ไม่มีหนังสือภาษาฝรั่งให้อ่าน ฝรั่งมีนิสัยรักการอ่านจึงค่อนข้างเดือดร้อนในเรื่องนี้ ในที่สุดก็เกิดการรวมตัวของแหม่มที่ตามสามีมาเมืองไทย ตั้งสมาคม Ladies’ Bazaar Association ขึ้นรวบรวมของมาขายเพื่อเอาเงินไปซื้อหนังสือแล้วจัดเป็นห้องสมุดขึ้นใน พ.ศ. 2412 (รัชกาลที่5) ใช้ชื่อว่า The Bangkok Ladies’ Library Association ซึ่งหนึ่งในผู้ก่อตั้งคือ Mrs. Jennie Neilson Hays ภรรยาของคุณหมอ Thomas Hays เมื่อคุณ Jennie เสียชีวิตลง คุณหมอ Thomas ก็ไปซื้อที่ดินแปลงหนึ่งริมถนนสุรวงศ์ ใกล้ถนนเจริญกรุงอันเป็นถิ่นที่อยู่ของฝรั่งในสมัยนั้น แล้วสร้างอาคารเล็กกะทัดรัดแต่สวยงามตามแบบพระที่นั่งอนันตสมาคมขึ้น ให้ชื่อว่าอาคาร Neilson Hays เป็นที่ระลึกถึงภรรยาและเพื่อเป็นที่ทำการของสมาคมและเป็นห้องสมุดอย่างถาวร เปิดให้บริการใน พ.ศ. 2465
ปัจจุบันห้องสมุดยังคงอยู่ในความดูแลของคณะกรรมการอันประกอบด้วยสตรีชาวต่างประเทศที่อาศัยในประเทศไทย ห้องสมุดมีลูกจ้างเพื่อให้บริการห้องสมุดเป็นคนไทยประกอบด้วยบรรณารักษ์ 1 คน และเจ้าหน้าที่ 3 คน
