Графит, содержащийся в грифеле карандаша, афаик, особо не чем не растворяется... Разве, что его (грифеля) жировую основу можно растворить тем же уайт-спиритом или бензином "галошей". (По идее, ПВХ, из которого сделаны рамы, к ним стоек.)
Но, карандаш оставляет микробороздки... Так что шлифовка мягкими абразивами (ластик, жёсткая губка), пожалуй, эффективнее всего. При этом, да, утрачивается глянец.
Есть специальная полироль-растворитель для ПВХ — потом, если очень нужно, можно ей навести глянец. Но, продаётся ёмкостями в 1 литр и стоит заметно...