पेंसिल शब्द को लेटिन के पेनिसिल्लुस (Penicillus) से लिया गया था. Penicillus का मतलब पूँछ है क्यों की शुरू ज़माने में जानवरों के पूँछ के बाल brush बनाने के लिए इस्तेमाल किया जाता था.
उस ज़माने में निशान लगाने के लिए lead का इस्तेमाल किया जाता था. तक़रीबन 1564 में इंग्लैंड के Borrowdale में एक भयानक तूफ़ान आया जिसके नतीजे में एक बड़ा सा पेड़ निचे गिर गया.
वहा के बकरियों के चरवाह ने देखा के इस पेड़ के जड़ों को बहुत सारा काला पदार्थ लगा है. शुरू में उन्होंने सोंचा के ये कोयला है और उसे जलाया लेकिन वो कोयले की तरह जल नहीं रहा था.
उस वक़्त उन्होंने उसे black led बुलाना शुरू किया बाद में ग्रेफाइट नाम रखा गया. इस ग्रेफाइट को बकरियों पर निशान लगाने के लिए इस्तेमाल किया जाता, और इंग्लैंड के बाजार में ग्रेफाइट को पेपर में रख कर बेचा जाता था.
16 वि सदी के अंत में लोग इस ग्रेफाइट से लिखना शुरू किया था. ग्रेफाइट इतना नरम और नाज़ुक था के लिखने में परेशानी हो रही थी. इसलिए उसे एक धागे से बंद कर लिखना शुरू किया था.
1560 में सबसे पहले इतालियन के जोड़ों ने पेंसिल के लिए जुनिपर नाम के पेड़ का इस्तेमाल किया, उन्होंने इस पेड़ के लकड़ी के टुकड़े के अंदर सुराख करके ग्रेफाइट को चिपका देते.
खरीब 1660’s में जर्मनी में लकड़ी के टुकड़ो को लेकर पेंसिल बनाना शुरू किया था. 2 लकड़ी के टुकड़ों को तराशकर इन के बीच ग्रेफाइट को रख कर चिपका देते.
इसके बाद 1790’s के दौरान इंग्लैंड और फ्रांस के बीच जंग हुई थी. इस जंग के बाद इंग्लैंड ने ग्रेफाइट को फ्रांस के लिए बन कर दिया था. इस बैन के बाद ग्रेफाइट की कमी होने लगी थी. फ़्रेंच के मिनिस्टर ने अपने एक कमांडर और साइंटिस्ट Nicolas-Jacques Conté को इसका हल ढूंढ़ने को कहा.
कुछ दिनों के रिसर्च के बाद nikolas ने एक बॉक्स में चिकनी मिट्टी और ग्रेफाइट और पानी से एक मिश्रण बनाया और सूखने के लिए रख दिया. जब ये मिश्रण सूख जाता तो इसे भट्टी में जलाया. इसी दौरान nikolas ने एक और चीज़ ये देखा के चिकनी मिट्टी को कम और ज़्यादा करने पर पेंसिल के लिखने में फर्क आरहा है.
वहा से H HB जैसे अलग अलग नामों से पेंसिल बनना शुरू हो गया. 1795 में इस आविष्कार का पेटेंट Nicolas-Jacques Conté को मिला. 19 वि सदी में पेंसिल के साथ रबड़ (eraser) को भी लगाना शुरू कर दिया था.