可以，但是要在退伍后的三年内，可以向当地有关部门申请财政全额贴息贷款。就是国家将你贷款的利息用补贴形式支付给银行，你不用付利息。但要承担违约责任。而且是小额的（最高不超过5万）。
下面是我针对你的情况，简化过的一些规定和方式方法：
一、贷款的扶持对象及范围
1、申请人女的不能超过50岁，男的不能超过60岁。
。 2、城镇复员转业退役军人。
二、贷款的额度、期限、贴息
1、从事个体经营的贷款额度最高不超过5万元。
2、合伙经营和组织起来创业并经工商管理部门注册登记的，可根据合伙（组织）人数、经营项目、还贷能力、信用状况等具体情况适当扩大小额担保贷款规模，最高限额不超过20万元。经有关部门认定的劳动密集型企业，根据实际招用人数确定贷款额度，最高不超过200万元。
3、贷款期限最长不超过2年。
4、对城镇复员转业退役军人从事国家支持发展的服务业、餐饮业和商贸业项目（除国家限制的行业外），按有关规定由中央财政据实全额贴息。再就业基地和劳动密集型小企业财政贴息按有关规定执行。
5、贷款利率按中国人民银行公布的贷款基准利率水平确定（如有上浮的按相关文件执行）。
三、贷款程序、资金用途贷款按照个人申请、社区推荐，劳动就业服务管理机构审查，贷款担保机构担保、商业银行核贷的程序进行，借款人应将贷款用作自谋职业、自主创业或合伙经营和组织起来就业的流动资金，确保贷款专款专用。
四、贷款人需提交以下材料
1、借款人身份证复印件三份，并出示原件；
2、《再就业优惠证》或《就业失业登记证》复印件三份，并出示原件；
3、《工商营业执照》复印件二份（副本），并出示原件；
4、配偶身份证复印件二份，并出示原件；
5、担保人担保承诺书二份；
6、担保人单位证明二份，单位负责人签字并盖章；
7、担保人身份证复印件二份，并出示原件；
8、租店协议或房产证明复印件二份；
9、贷款人婚姻证明复印件二份，并出示原件；
10、小额贷款申请审批表二份（以上资料一律用钢笔填写）；
11、合伙经营的应提交工商部门出具注明合伙经营的有效证件复印件二份，并出示原件；
五、贷款担保方式根据有关文件规定，个人小额贷款可由县内公务员或全额拨款的事业单位在职在编人员向贷款担保机构提供反担保（5万元贷款必须由二名担保人担保）。
六、贷款贴息微利项目（除国家限制的建筑业、娱乐业、房产地产、中介、网吧、氧吧、暴利行业外）家庭手工业、种养植业、修理修配、图书借阅、旅馆服务、餐馆服务、洗涤缝补、复印打字、理发、小卖部、搬家、钟点服务，家庭清洁卫生服务、初级卫生保健服务、婴幼儿看护和教育服务，残疾儿童教育训练和寄托服务，养老服务、病人看护、幼儿和学生接送服务等项目都可以申请小额贷款。
七、贷款人应承担责任义务贷款人获得小额贷款后，要诚实守信，严格履行约定的责任义务，自觉接受相关部门贷后管理，及时还贷，建立良好的信用记录。
八、担保人应承担的责任义务根据《中华人民共和国担保法》等法律法规和有关政策规定，贷款人贷款如逾期，由担保人承担连带清偿责任。