Fiz um vídeo, mas como ficou bizarra a voz por causa da conexão... tive que escrever em detalhes.
1. Pegue a imagem e salve em uma formato quadrado. Por exemplo 150x150 - Salve-a com fundo transparente e em PNG.
2. Acesse esse site e insira localize a imagem que exportou anteriormente.
3. Ele vai transformar imediatamente, é só clicar sobre ela e fazer o download.
Em anexo está os dois resultados. Usei tanto na WEB como no WINDOWS.
Exemplos: rodapé.ico / transformar-em-ico.ico