Библиотеку музея начали создавать во вт. пол. ХХв.  в помощь сотрудникам музея.  В 1994 г. она была объединена с научным архивом и стала  самостоятельным структурным подразделением. Новый этап в развитии библиотеки инициировал в 2004 году Генрих Павлович Гунн. В основе        библиотечного собрания - книги по истории, искусству, архитектуре, этнографии, фольклору, сейчас к ним прибавились тома по философии и литературоведению.

     Искусствовед, журналист и писатель Генрих Павлович Гунн исследовал историю и культуру Русского Севера, выпустил серию книг в этой области. Он ежегодно приезжал в Каргополь, принимал участие в научных конференциях нашего музея. В 2004 г. он написал: «Мне представляется чрезвычайно важным, что Каргополь становится подлинным научным центром, и эту традицию следует продолжить и укрепить. С этой целью я предлагаю создать при Каргопольском музее специализированную научную библиотеку «Русский Север» и, как дар городу и музею к 85-летию, передаю своё собрание книг по северной тематике». Осуществила задуманное его вдова Лидия Ивановна Иовлева, известный искусствовед, передав музею в дар около 2000 книг из личной библиотеки покойного супруга.
       
      В 2007 г. состоялось официальное открытие научной библиотеки Русского Севера им. Г.П. Гунна. На открытии Л.И. Иовлева представила общественности города собрание книг Гунна и подарила 9 томов каталога государственной Третьяковской галереи. Значительный вклад в библиотеку сделали Николай Иванович Решетников, профессор Московского государственного университета культуры и искусств (ок.1000 экз. книг), Геннадий Александрович Кулишов – каргополец, член союза художников РФ (500 книг), Геннадий Петрович Дурасов, исследователь Русского Севера, этнолог, православный агиограф.
                 
       Впоследствии библиотека комплектовалась за счёт закупок, даров, обмена с научными организациями,  обществами, учреждениями, музеями, отдельными исследователями, писателями, а так же музейными изданиями.
         
     Сегодня фонд библиотеки насчитывает  10000 экземпляров. В основе собрания – книги по истории,  истории Севера,   изобразительному искусству, этнографии, фольклору, литературоведению, архитектуре, религии. Фонд периодических изданий составляет 48 наименований  журналов и газет.

     Книги библиотеки не являются объектами музейного показа, а предназначены для изучения сотрудниками музея и внешними пользователями. Библиотека размещается в здании музейно-выставочного центра (ул. Ленина, 40)