烟潍铁路设计为双轨,路宽6米,全长288.97公里,其中潍县和昌邑段合计51.6公里。铁路起点烟台,经蓬莱、黄县、龙口、莱州,过胶莱河、潍河至昌邑城,再由王褥、寒亭至潍县东关游麟门,与古代山东东西大道东段的走向基本吻合。由于日本占据胶济铁路,烟潍铁路暂未设计在潍县与胶济铁路连接。路基工程从潍县、昌邑开始修筑,逐渐向东延伸。未料工程不到一半,赈款减半拨付,后来完全停拨,已筑成的铁路路基只好改做公路。
计划招募灾民六千人,运送到潍不到四千
　　尽管开工典礼已经举行,但运送到潍做筑路工的灾民并没有多少。1920年11月11日,开工已经满10天,工地上的民工却只有500多人。
　　赵德三心急如焚,紧急致电山东督军兼省长田中玉:“时值冬令,转瞬地冻,难以施工。务饬各县源源资送,勿再延缓。”
　　按照原定计划,总计招募灾民6000人,名额由省长公署分配各受灾县募集。各县招齐后到济南集合,每三四天运送潍县一批,每批600人为限,最多40天运完。
　　对招募的条件,交通部规定:“18岁以上45岁以下,无残疾、嗜好及家累而无生计者。”
　　之所以如此限制,赵德三解释:“因有家室之累者,即无游手好闲之人充杂其间,寄款时亦易于调查。预计以一人工作之力所得资金,可养四五人,不啻赈一人而活四五人矣。”
　　的确,筑路工人需年壮力强者,有限的赈款也要尽可能发挥最大效用。也许正是此因,各县挑选雇工的难度加大,导致招募迟缓。
　　到12月27日,运送到潍灾民3724人。已是严冬,赵德三报告交通部,与山东省长公署协商,决定停招。

棉衣缺病易发粮难筹,工地遇到诸多困难
　　数千灾民陆续来到潍县,然后分拨各工地。进入冬季,工地上出现了意想不到的困难。
　　由于筹备仓促,加之灾民家贫,不少民工没穿棉衣。赵德三派员挨个工地调查,分别到潍县和掖县定制发放。
　　数九寒天,衣单者纷纷感冒、发烧,冻伤更为普遍。后来到达的民工,不少在老家就有冻伤。原来患有肺、痨等病者,天气寒冷加极度劳累,以致旧病复发。
　　赵德三急向齐鲁大学求助,齐鲁大学从所属齐鲁医院派来两名医生,带药品驻工段巡行诊视。然而,绵延100多里的工地,这两名医生根本跑不过来。
　　另外,赵德三联系潍县乐道院医院、掖县浸礼会医院,病重者送医院治疗。开工两个月,几十名重病号被治愈,但也有数人死亡。
　　施工战线长、工棚不断移动,也给粮食供应带来极大困难。
　　“工棚每遇移挪,需预先派人购买准备,城镇集市每月不过六期,每期所购仅供应数日。而采购地点有离工地几十里路的,只好零星凑集,分段储存。”赵德三曾这样记述。
　　来自不同地区、如此庞大的队伍,管理是个大问题。赵德三制定办法,民工按棚编制,每棚30人,从中挑选正、副目,在工地工头领导下进行自我管理。“目”为清末新军中的官职,相当于现在的班长。
　　工地的治安巡查,原拟由地方派军警负责。因施工战线过长,地方军警力有不逮。赵德三请示交通部后,“就地招募精壮良民,自建工巡队”。
　　尽管如此,民工偷盗附近乡村的物品,与乡民发生纠纷,民工之间闹不和、生口角以致动手等事端,不断出现。
　　于是,赵德三在工地设立数处自新所,犯事轻者进自新所教育训改,悔过后重回岗位；犯事重的,一律交地方官府依法办理。
　　据记载,烟潍铁路施工前期,在潍县、昌邑段,民工中没有发生严重事端。后期在莱阳段,一起民工与地方的“纠纷”,惊动了山东省长公署和交通部。
工棚里面贴布告,民工中间流传“顺口溜”
　　“一、不准喝酒；二、不准吸鸦片；三、不准赌钱；四、不准吵嚷；五、搬棚子的时候不准强拉人家的车马；六、不准强买人家的吃食；七、不准毁坏人家地里的树木青苗；八、发给你们的家具不准随便毁坏；九、棚子里要打扫清洁不准糟蹋；十、夜里睡觉不准点灯；十一、歇工的时候不准到村里闲逛。”
　　从潍县到昌邑,每个工棚都张贴有这样的布告。布告由工头安排识字的监工、棚目等宣读,达到人人知晓。
　　布告内容,不仅有如此细致、严格的规定,还有“顺口溜”式的“教化”与“宣传”:
　　“今年因你们的家乡荒旱,所以教你们到这里做工。既是因为荒旱来的,就应该守规矩,不可胡作非为。你们都是山东人,现在到的还是山东地方。你们与他们本地人,本是乡亲。每天做完了工,就在棚子的左右近处歇息,不可到村子里走,去扰乱人家……”
　　“你们做得多,得的钱就多,除了吃饭之外,还可将留余的钱养活家人。要是做得少,得的钱便少,自己吃饭恐怕还不够,怎么有富余给家中。无论何等人,做事只要能勤,便是有志气的人,将来必有发达的日子。要是懒惰,无论多大本事,终究必要受苦穷。做小工发财的也很多,都是从勤上得来的……”
　　这些不太押韵的“顺口溜”,全是大白话,通俗易懂,民工们口口相传。这对于约束他们的行为,作用不可忽视。
　　“顺口溜”式布告的作者是谁,史料没有记载。
　　烟潍铁路工地的全权负责人是赵德三,他老家平度,职业是铁路工程师,业余爱好却是书画。丁叔言在其《五十年之回顾》记述,赵德三“喜画山水”,“用笔浑厚,颇得古法,督工之暇,绘册页数幅相赠”。书画同源、诗书合一是中国文化的传统,赵德三的文采肯定不会太差,作此“顺口溜”当不在话下。即使出自属下之手,点子也应是赵德三的。

政府停止拨放赈款,铁路路基改成汽车路
　　烟潍铁路路基工程分两段施工,潍县至龙口160.15公里先筑,龙口至烟台128.82公里开工稍后。修筑路基和站房占用民地,发行地价公债,每年以抽签办法偿还,并以路租为资金来源。
　　浸透着数千灾民的汗水,铁路路基从潍县不断向龙口延伸。岂料到了1921年2月,北洋政府国务院决定,将赈灾山东的一半款项拨给“赈务处”,烟潍铁路资金出现了严重困难。
　　此时,美国人在华创办的华盛贸易公司打起了该路的主意。
　　1921年4月18日,华盛贸易公司代表人郭士伯与中方发起人王奎岳、连英煌等签订草约。草约内容与三年前中日实业公司与陈良臣的草约如出一辙,权利基本掌握在外商手中。这次美商还加了一条:“中国须承认,美国有延长本线路及增筑支线之优先权。如不得美国之同意,中国不得再与他国订结供给材料契约,中国尚有违反,每件须罚5万元。”
　　6月14日,北京有报纸刊发《烟潍铁路草约业已签字》等新闻,将“草约”的主要内容公之于众。
　　一天后,报端刊登交通部的《来函更正》:“烟潍铁路草约业已签字新闻一则,本部并未据王奎岳、连英煌呈请创办烟潍铁路,更未有批准该铁路由商人承办之事。应函达贵报,查照更正,以昭核实。”
　　也是这年6月,烟台商人姚凤池等向交通部提出承建烟潍铁路,交通部以“该路已由本部筹办以工代赈,若归商办于资本上、外交上有不可”为由,批复“不准商办”。
　　从1921年2月开始,已经减半拨付的赈款逐月递减。到10月,潍县至龙口段路基工程完工,赈款也全部停拨。
　　筑路收购的土地无款可付,地主纷纷上门索债。穷于应付、心力交瘁的赵德三递交辞呈,叶恭绰未予批准。
　　不久,交通部呈报国务院,将烟潍铁路改为汽车路。已经从潍县迁往龙口的烟潍路工处,改为烟潍汽车路工处,处长还是赵德三。