Politeknik Negeri Semarang awal mulanya merupakan bagian dari Universitas Diponegoro yang didirikan pada tahun 1982. Universitas Diponegoro atau disingkat Undip mendirikan program diploma III (DIII) Politeknik Jurusan Teknik Sipil, Teknik Mesin dan Teknik Elektro. Undip juga mendirikan perpustakaan Politeknik Universitas Diponegoro pada tahun 1983 dengan menempati ruang adminstrasi sebelah gedung A. Pada tahun 1986 Politeknik Universitas Diponegoro menambah Jurusan Akutansi dan Administrasi Niaga. Sehubungan dengan hal itu, perpustakaan dibagi menjadi 2 bagian yaitu perpustakaan teknik dan perpustakaan tata niaga. Perpustakaan teknik adalah perpustakaan yang khusus melayani Jurusan Teknik yang menempati ruangan administrasi lama di sebelah gedung sekolah A. Sedangkan perpustakaan tata niaga adalah perpustakaan yang khusus melayani Jurusan Tata Niaga yang menempati ruangan serbaguna Tata Niaga. Tahun 1990 perpustakaan kembali ke gedung administrasi pusat lantai 2 sampai sekarang. Pada tanggal 6 Agustus 1997, Politeknik UNDIP memisahkan diri dari lembaga induknya UNDIP dengan nama Politeknik Negeri Semarang atau disingkat POLINES dan perpustakaannya menjadi UPT Perpustakaan Polines. Tahun 1998, Politeknik Negeri Semarang berganti nama alamat menjadi Jl. Prof. Dr. H. Soedarto, SH. Tembalang.