Используя file-loader, можно, например так:
import PDFJSWorker from '!!file-loader!react-pdf/node_modules/pdfjs-dist/build/pdf.worker.js';
pdfjs.GlobalWorkerOptions.workerSrc = PDFJSWorker;
-- такой способ работает без модификации файла конфигурации вебпака.
Документация по file-loader: https://webpack.js.org/loaders/file-loader/