Если ваша кодировка многобайтная, то даже для меньшего, чем 767 числа символов вы можете получать такую ошибку. Придётся уменьшать длину ключа.
Ошибка возникает при попытке создать уникальный ключ:
ALTER TABLE `имятаблицы`
ADD UNIQUE INDEX `имяиндекса` (`имястолбца`);