在对兵士进行自强御侮教育的同时，张之洞也在开“兵智”上大下功夫，即设法提高士兵的文化素质(新军将领多来自近代军事学堂，文化素质相对士兵较高)。募兵方面，张之洞把文化素质作为一项重要条件，不仅予以明文规定，而且逐渐提高标准和要求。
一八年，他在把工程队扩充为工程营时，规定“专选二十岁以下兼能识字者方准收入”。一九零二年，又把“入营之兵必须有一半识字”列为“湖北练兵要义”第一条。
两年后，更要求新募之兵“实能识字写字并能略通文理”。这些规定充分说明张之洞对新军文化素质的高度重视和对知识青年的热忱欢迎。
湖北新军也确实招收到大批知识分子，“秀士入营者颇多”。同时，张之洞也很重视士兵入营后的教育。一九零二年，张之洞在新军各旗、营分设大、小“讲堂”，辟设“阅报室”，这无疑有利于提高士兵的文化素质。特别是张之洞别出心裁，创设湖北陆军特别小学堂，于士兵中考选“文理通顺”者，令其“昼则来堂讲求学科，夜则归营”，“更番毕业，更番入营”，从而“于练兵之中寓普及教育之意”。
在编练湖北新兵的全过程，黎元洪一直是张之洞的最得力的助手和干将。
一九零三年，清军改制，中央设立练兵处。朝廷计划编练新军三十六镇。要求湖北，设置新军两镇。一九零四年，张之洞奏明朝廷，湖北两镇的具体编制，每镇步兵两协（旅）炮兵三营，骑兵二营，工程、淄重各一营。每镇缺少步兵一协，留待军费充足后补充。
任命张彪为第一镇统制兼摄协统。任命黎元洪为第二镇统制。
这时候的黎元洪已经成为一名清廷的高级将领，成为湖北军界的二号人物。
一九零六年，由于资金匮乏，湖北两镇的军队编制缩编为一镇（师）一混成协（旅）。按着清廷练兵处的统一编制，湖北的第一镇改为第八镇，张标为统制。湖北的第二镇改为第二十一混成协，黎元洪任协统。
在这个位置，黎元洪一直做到了武昌起义。虽然是二号人物，但在湖北军界，黎元洪的威望比一号人物张彪要高很多。因为，无论是军事素质，还是治军有方，张彪都和黎元洪远不在一个档次上。黎元洪本身技术过硬，治军严格，又极“知兵”“爱兵”，得到各界广泛好评。
在一九年的四月，湖北刚开始练新军时，法国一高级军官罗勃尔利到湖北参观，张彪设宴款待，黎元洪出席作陪。
席间，罗勃尔利随口问一些军事业务。这时身居高位的张彪，已经很少具体过问军务。这是个变革的时代，新军不同于旧军，各方面知识更新很快。张彪有时甚至不知对方在问什么，更不知如何回答。尴尬中把眼睛看向黎元洪求助，黎元洪从容不迫，一一道来。
罗勃尔利离开时，张之洞率众送行，他对黎元洪赞不绝口，说黎元洪是个“知兵之将”。
平日里，黎元洪对士兵的寛仁是出了名的。他在军费的使用上精打细算，尽量压缩不必要的支出。只要军需有余，他都设法用在士兵身上，或改善伙食，或为士兵加饷加新衣。那时，无论是在旧军队，还是新军，层层克扣军饷，成为了惯例。但是在黎元洪的治下，这样的事情是被严格制止的。
为了增收节支，黎元洪还在他的军中，办了个被服厂，自制军衣和被服。这样，就是在军费得不到保障的条件下，他所部也能按时发放军衣等用品。走在大街上，他所部人员衣装整齐，和其它部队的破破烂烂，成了鲜明的对照。时间长了，老百姓从着装上就知道，哪些人是二十一混成协黎大帅的部属。
黎元洪治军严格，自己也能以身作则。那时的武汉驻军，管带以上的军官，都自己住在私宅，是从不住在军营的。黎元洪虽然家也早搬了过来，但他每月仅回家二次，余下时间都住在军营的司令部。和士兵们一样，听军号作息。起床号响后马上起床，自己打水洗漱，从不用护兵照料。
每逢佳节倍思亲，军营士兵都是离家之人，逢年过节是要想家人的。黎元洪不但很多时候，他做为父母官，在军营陪着兵士们过年节，还常常要他的孩子，到军营给士兵们拜年。