Việc xây thành Phú Xuân và đào kênh Vĩnh Tế phải huy động hàng vạn dân phu đi lao dịch.
Một giáo sĩ người Pháp tên Guérard nhận xét rằng Gia Long đánh thuế quá nặng và bắt dân chúng lao dịch quá nhiều, sự bất công và lộng hành của quan lại làm cho người dân khổ cực. Ông viết: "Vua Gia Long bóp nặn dân chúng bằng đủ mọi cách, sự bất công và lộng hành làm cho người ta rên xiết hơn cả ở thời Tây Sơn; thuế má và lao dịch thì tăng lên gấp ba". Việc xây thành Phú Xuân và đào kênh Vĩnh Tế phải huy động hàng vạn dân phu đi lao dịch. Một người Pháp là Borel viết năm 1818 mô tả việc xây thành Phú Xuân (Huế): “Nhà vua sử dụng tất cả nhân lực vào việc xây tòa thành và các công trình công cộng khác. Khi tôi đến Huế, đã có đến 8 vạn người được điều động từ các nơi trong cả nước đang khẩn trương xây dựng một tòa thành rộng lớn bằng gạch... Riêng việc xây bờ thành đã tốn kém những khoản tiền khổng lồ và làm thiệt hàng ngàn nhân mạng vì phải khổ dịch liên tục... Nhà vua [Gia Long] đã vung ra những món tiền lớn và hy sinh tính mạng của hàng ngàn dân chúng vì họ phải làm việc không nghỉ tay trên các tường lũy của kinh thành. Đây quả là một công trình kỳ diệu. Mười vạn người được thường xuyên huy động”
Công trình Vĩnh Tế đã tốn kém nhiều nguồn lực và tiền bạc, và làm thiệt mạng hàng vạn người.