Нет. Всю папку грохать не надо. Да и не даст винда раздел удалить.
Хотя попробовать можно.
Сразу вопрос: а в это время internet explorer запущен или нет? Если запущен - закройте. Желательно так же закрыть окна проводника. И попробовать снова.
Если удалите весь раздел TypedURLs - не забудте создать его заново. Эта штука нужна для нормальной работы.

Возможно, что у Вас просто нет прав для изменения этой ветки реестра.
в таком случае можно сделать так:
Пуск - Выполнить. Ввести cmd и нажать ввод
далее набрать runas /user:Администратор regedit
Ввести пароль администратора. Откуда достать пароль администратора - думайте сами.
Перейти к разделу HKEY_USERS и раскрыть его. Там будет несколько разделов - по одному на каждого пользователя компьютера. Методом перебора ищите свой. Вам надо найти ветку {куча_всякой_ерунды}\Software\Microsoft\Internet Explorer\TypedURLs\ , которая содержала бы ваши адреса. Адреса удалить...

Внимание!!! С реестром обращаться очень аккуратно, ибо грохнув что-либо на Ваш взгляд не значительное, можно получить неработоспособную систему!!!