Графічна спадщина Миколи Ярошенка досить значна. Головним чином це ескізи й начерки майбутніх композицій і образів, замальовки з натури, велика кількість учнівських та робочих альбомів. Тільки у Полтавському художньому музеї (галереї мистецтв) імені Миколи Ярошенка зберігається 17 альбомів, які містять 443 аркуші з малюнками. Число ж самих малюнків, які часто виконані з лицьового та зворотного боку, або по кілька на одному аркуші, набагато більше. Хронологічно альбоми художника із музейного зібрання охоплюють майже увесь період його творчості — від 1860 до 1890-х рр. Вони є вагомим підгрунтям вивчення доробку митця, дозволяють чітко простежити етапи його творчого росту. А подекуди залишаються єдиною можливістю створити уявлення про твори, що не дійшли до нашого часу. Графічні роботи М.О.Ярошенка виконані з застосуванням різних технік і засобів — олівця, пера, вугілля, акварелі, мокрого соусу, гуаші, а подекуди й з використанням різноколірного паперу. Він майже ніколи не розлучався з альбомами, завжди мав під рукою чистий аркуш для малюнку, але в техніці графіки працював не часто. Серед його графічних творів насамперед портрети, зокрема, П.А. Стрепетової, М.П. Ярошенко, К.Д. Кавеліна, І.М. Крамського та інш., що сьогодні становлять золотий фонд вітчизняного мистецтва графіки.