在分析基于电压源换流器的高压直流输电系统（VSC-HVDC）的非线性模型的基础上，运用非线性系统控制理论的状态反馈和坐标变换方法，将系统的非线性模型转化为完全能控的线性模型。再根据线性系统的最优控制理论得出了系统的最优控制规律。在此基础上设计了系统的非线性控制器。对所提出的非线性控制器和传统的PI控制器分别进行了计算机仿真研究。结果表明：在VSC-HVDC系统遭受扰动或故障后，所设计的非线性控制器比传统的PI控制器能更快更好地使系统恢复到正常状态，有效改善了系统的动态性能。