Народився в м.Бахмут Катеринославської губернії (сучасний Бахмут Донецької обл.). Навчався в Луганському і Харківському педагогічних інститутах, завершив навчання в 1933 р. У 1933–1939 рр. – науковий співробітник, директор Центрального історичного архіву стародавніх актів УРСР (Харків), у 1939–1941 рр. – начальник кафедри соціально-економічних дисциплін школи НКВС СРСР у м.Харкові, з 1941 р. – у м.Москві. Одночасно навчався в аспірантурі при Центральному архівному управлінні УРСР, за сумісництвом викладав історію СРСР у Харківському педінституті.
У 1942 р. у МДУ ім.М.В.Ломоносова захистив кандидатську дисертацію («Разгром григорьевщины»). У 1942–1945 рр. – археограф Головного архівного управління НКВС (Москва). У 1945–1956 рр. – викладач, доцент, декан історичного факультету (1947–1956 рр.) Харківського педагогічного інституту, за сумісництвом працював на історичному факультеті ХДУ, в інституті культури та театральному інституті. З 1956 р. – доцент кафедри історії СРСР ХДУ.
У 1964 р. захистив докторську дисертацію «Радянська історіографія громадянської війни в СРСР». Із 1964 р. – з відкриттям кафедри історіографії, допоміжних історичних дисциплін і методики історії– доцент, професор, завідувач кафедрою (1972–1984).
В університеті читав курси з історії СРСР, джерелознавства, історіографії, архівознавства, а також спецкурси з історіографії, історичної бібліографії. Наукові інтереси І.Л.Шермана охоплювали широке коло проблем з історії СРСР і УРСР, головним чином, в площині їх історіографічного та джерелознавчого аспектів (питання історіографії Жовтневої революції і громадянської війни, соціалістичного будівництва в СРСР і УРСР, першого періоду Вітчизняної війни; проблеми джерелознавства і розвитку історичної науки та методології історичних досліджень). Основна увага була зосереджена на проблемах історіографії громадянської війни. Опублікував понад 100 наукових, науково-популярних, навчально-методичних праць, серед них 4 монографії (3 – у співавторстві), 2 підручники. Редагував багатотомні збірки документів з історії радянського будівництва в роки громадянської війни та історії колективізації в УРСР. Під керівництвом І.Л.Шермана захищено 12 кандидатських дисертацій. Був членом спеціалізованої вченої ради з присудження кандидатських і докторських наукових ступенів. У 1951 р. отримав відзнаку «Відмінник народної освіти УРСР».
1. Русские исторические источники Х–XVIII вв.: пособие для студ. и учителей / отв. ред. В.И.Астахов. – Х.: Изд-во Харьк. ун-та, 1959. – 252 с.
2. Історія колективізації сільського господарства Української РСР. 1917–1937 рр.: зб. док. і матеріалів: у 3 т. / [ред. і упоряд. І.Л.Шерман та ін.]. – К., 1962–1971. – Т.1–3.
3. Громадянська війна та іноземна інтервенція у висвітленні історичної літератури 20-х років: [огляд джерел та літ.] // УІЖ. – 1964. – №1. – С. 129–135.
4. Первые исследования по истории гражданской войны: (обзор воен.-ист. лит. 20-х гг.) // Воен.-ист. журн. – 1964. – №2. – С. 98–107.
5. Советская историография гражданской войны в СССР (1920–1931) / отв. ред. В.И.Астахов. – Х.: Изд-во Харьк. ун-та, 1964. – 340 с.
6. Радянська історіографія Великої Жовтневої соціалістичної революції та громадянської війни на Україні: (До початку 30-х рр.) // УІЖ. – 1967. – №12. – С. 127–132.
7. В.И.Ленин – историк советского общества / В.И.Астахов, И.Л.Шерман. – Х.: Изд-во Харьк. ун-та, 1969. – 355 с.
8. Советская историография истории СССР: учеб. пособие / И.Л.Шерман, С.Ф.Найда, В.И.Гриценко. – Х.: ХГУ, 1976. – 245с.
9. Сражение первого периода Великой Отечественной войны в советской историографии (вторая пол. 50-х – первая пол. 70-хгг.): В помощь изучению истории Великой Отечественной войны / В.И.Гриценко, С.Ф.Найда, И.Л.Шерман. – Х.: ХГУ, 1976. – 110 с.
1. Ісай Львович Шерман: [некролог] // УІЖ. – 1990. – №4. – С. 158.
2. Исай Львович Шерман – профессор Харьковского университета: биобиблиогр. указ. / В.Д.Прокопова, В.И.Унучек. – Х.: ХГУ, 1991. – 19 с.
3. Шерман Ісай Львович // Біобібліографічний словник... – Х., 2001. – Т.2: Історики. – Ч.2: 1933–2000 рр. – С. 311–315.
4. Шерман Ісай Львович // Кафедрі історіографії, джерелознавства та археології Харківського національного університету імені В.Н.Каразіна – 40 років: довід. вид. / уклад. Б.П.Зайцев, О.Г.Павлова, О.Є.Шабельська. – Х., 2004. – С. 12–14.
5. Историк по призванию: Исай Львович Шерман (очерки и воспоминания) /
Сост.: С.М.Куделко; Наук.ред. С.І.Посохов; Библиогр. ред. М.Г.Швалб и
др. – Харьков: Издательство ХНУ им.В.Н.Каразина, 2014. – 148 с.
«Майбутніх спеціалістів-істориків не могли не захопити глибокі і всебічні знання І.Л.Шермана» (А.І.Епштейн (1922–2005) — доктор історичних наук, професор, почесний доктор Харківського національного університету імені В.Н.Каразіна).
«Он был настоящим университетским профессором» (Є.П.Пугач (нар. 1935) — кандидат історичних наук, професор, заслужений працівник вищої школи УРСР).
Историк по призванию: Исай Львович Шерман (очерки и воспоминания) / Сост.: С.М.Куделко; Наук.ред. С.І.Посохов; Библиогр. ред. М.Г.Швалб и др. – Харьков: Издательство ХНУ им.В.Н.Каразина, 2014. – 148 с.