Lễ khai mạc Bảo tàng Olympic Sarajevo được tổ chức vào ngày 8 tháng 2 năm 1984, cùng ngày khi Thế vận hội Olympic mùa đông Sarajevo 1984 được khai mạc.
Bảo tàng được thành lập bởi Ủy ban tổ chức Thế vận hội mùa đông 14 nhằm mục đích lưu giữ vĩnh viễn kỷ niệm về việc tổ chức và tổ chức Thế vận hội Olympic.
Ý tưởng và các chương trình của Bảo tàng được mô phỏng theo Bảo tàng Olympic Quốc tế ở Lausanne, nhằm kết hợp và khẳng định hai nguyên tắc cơ bản, thể thao và nghệ thuật. Từ năm 1984 đến năm 1992, Bảo tàng đã chuẩn bị hơn 300 chương trình về thể thao và nghệ thuật, khẳng định những giá trị phổ quát của tinh thần và nghệ thuật Olympic.
Tòa nhà ban đầu của Bảo tàng Olympic Bosnia và Herzegovina nằm trên phố Petrakijina ở Sarajevo được thiết kế bởi Karl Paržik vào năm 1903 và được ủy quyền bởi Nikola Mandić - một luật sư nổi tiếng của Sarajevo. Trong suốt lịch sử, tòa nhà từng là nơi đặt Đại sứ quán Hoa Kỳ một thời, cũng như Ủy ban Thành phố của Liên đoàn Cộng sản.
Tòa nhà Bảo tàng được xây dựng theo phong cách Chủ nghĩa lịch sử muộn giống như các dinh thự và cung điện của tầng lớp quý tộc.
Vào tháng 4 năm 1992, khi bắt đầu chiến tranh ở Bosnia và Herzegovina, Bảo tàng Olympic bị pháo và phá hủy, nhưng nhờ nỗ lực của các nhân viên và cộng đồng địa phương, nhiều hiện vật đã được cứu và di tản đến nơi an toàn.