框架组件,究竟要不要自研?

很多朋友问我:
框架组件,究竟要不要自研?究竟要不要建设自研技术体系。
15年加盟58到家后,框架/组件/基础服务/技术平台,正好也是自己负责范围的一部分,故谈一谈自己的想法。
 
为什么早期不建议自研?
早期研发人数较少,公司也不确定能走多远,业务相对简单,业务以“快速迭代”为最高优先级,此时一般会选择“自己熟悉的技术”作为选型:
(1)研发语言:熟PHP选PHP,熟Java选Java
(2)数据:熟MySQL选MySQL,熟SQL-server选SQL-server
(3)框架组件:熟Ruby on Rails选ROR,熟ThinkPHP选ThinkPHP,熟Spring boot才选
(4)…
此时千万不要纠结选型,选自己熟悉的,业务以快速迭代为最优先,公司得先生存下来。
 
多说一句,此时对于技术合伙人的技术视野就有一定要求,如果早期方向不对,等公司发展若干年,数据量并发量上涨很多倍,成本以及未来的技术应对恐怕会有麻烦。
 
58同城早期选型是微软技术体系,后来数据量增大,并发量增大,机器数据库越来越多,性能扛不住,成本也扛不住(你猜一个SQL-server的licence一年多少钱?),后来CTO带领大家转型开源阵营,虽然阵痛了1-2年,但长远来说,绝对是正确的决策。
 
如今,如果你再创业,选云,选LAMP或者Spring,八成不会走太大的弯路。
 
随着规模的扩大,为什么要控制技术栈?
随着业务越来越复杂,研发人数越来越多,如果每个leader都选择自己擅长的框架,就会出现这样的情况:
(1)站点框架,team A用着SSH,team B用着Spring+SpringMVC+Mybatis;
(2)服务框架,team C用着REST,team D用着dubbo,team E用着thrift
(3)数据库访问,team X用着mybatis,team Y用着DAO,team Z用着jdbc
(4)…
 
对于整体而言,跨部门的调用越来越麻烦,重复造的轮子越来越多,技术效率会逐步降低,研发+测试+运维成本都越来越高。
 
第一个观点即使不自研,技术栈也请尽量统一
 
统一了技术栈,为什么建议浅浅的封装一层?
统一了技术栈以后,如果不封装,redis官方Java客户端Jedis可能有这样一些接口:

String Memcache::get(String key)

String Memcache::set(String key, String value)

String Memcache::del(String key)

 
浅浅的封装一层,会变成这样:

String 58DaojiaKV::get(String key) {

         String result = Memcache::get(key);

         return result;

}

String 58DaojiaKV::set(String key, String value) {

         String result = Memcache::set(key, value);

         return result;

}

String 58DaojiaKV::del(String key) {

         String result = Memcache::del(key);

         return result;

}

 
这有什么好处呢?
(1)对上游屏蔽底层实现的细节,调用方不用关注缓存memcache还是redis,调用方只关注58DaojiaKV;
(2)底层变化的时候,对上游透明,当memcache不能满足需求,要切换为redis时,所有调用方不需要大的变化,升级一个最新的58DaojiaKV即可,58DaojiaKV的接口不变,实现变为

String 58DaojiaKV::get(String key) {

         String result = Jedis::get(key);

         return result;

}

String 58DaojiaKV::set(String key, String value) {

         String result = Jedis::set(key, value);

         return result;

}

String 58DaojiaKV::del(String key) {

         String result = Jedis::del(key);

         return result;

}

(3)统一实现一些通用的功能,就不需要每一个上游升级了,例如,要实现一个缓存访问时间统计的功能,所有调用方不需要大的变化,升级一个最新的58DaojiaKV即可

String 58DaojiaKV::get(String key) {

         Long startTime = now();

         String result = Jedis::get(key);

         Long endTime = now();

         reportKVTime(startTime- endTime);

         return result;

}

String 58DaojiaKV::set(String key, String value) {

         Long startTime = now();

         String result = Jedis::set(key, value);

         Long endTime = now();

         reportKVTime(startTime- endTime);

         return result;

}

String 58DaojiaKV::del(String key) {

         Long startTime = now();

         String result = Jedis::del(key);

         Long endTime = now();

         reportKVTime(startTime- endTime);

         return result;

}

同理,如果要实现统一的告警,调用链跟踪,SQL执行时间,也可以用类似的方法。
 
第二个观点第三方库,不但要统一,还可以浅浅的封装一层,预留未来的扩展
 
随着规模的进一步扩大,为什么需要适当的造一些轮子?
业务进一步发展,研发团队进一步扩张,虽然使用了统一的技术栈,但不同研发团队的痛点是极其类似的:
(1)有站点,监控服务的可用性,处理时间监控需求;
(2)有告警需求;
(3)有自动化发布,自动化运维需求;
(4)有服务治理,服务自动发现需求;
(5)有调用链跟踪需求;
(6)有SQL监控需求;
(7)有系统层面数据收集与可视化展现的需求;
(8)…
 
此时,开源的框架可能满足不了需求了:
(1)开源框架/组件太重了,我们需要的可能只是一个轻量级的框架/组件;
(2)开源框架/组件,只能满足我们的一部分需求;
(3)不了解开源框架/组件的设计理念,要二次开发成本更高(维护dubboX的同学,维护数据库中间件Atlas的同学可以出来说两句);
(4)有些通用的需求是和业务紧密结合的,开源框架/组件可能满足不了;
(5)…
 
此时,如果技术实力具备,可以统一研发一些框架和组件,解决所有技术团队的通用痛点,满足所有技术团队的通用需求。
 
第三个观点适当造一些轮子
总结
框架组件,是否需要自研?
初期建议:不自研,用熟悉的,业务快速迭代为优先,需要一定技术视野。
长远建议
(1)统一技术栈;
(2)浅浅封装一层;
(3)适当造轮子;
调研
(1)你猜一个SQL-server的licence一年多少钱?
(2)你对技术老大的选型满意么?

发布者:糖太宗,转载请注明出处:https://www.qztxs.com/archives/science/technology/6571

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2022年5月14日 上午12:43
下一篇 2022年5月14日 上午12:45

相关推荐

  • 洞态IAST落地实践

    IAST作为开展sdl中黑白盒测试的有效补充,还是很有必要去了解使用的。笔者为了完善公司的SDL流程,调研了开源的IAST产品进行测试和内部推广   刚开始,笔者测试百度OpenRASP的IAST功能(主动式IAST),OpenRASP的IAST通过对agent采集到的流量数据进行重放,根据hook点信息做选择性的扫描;与主动式漏扫相比,这种方式减...

    2022年6月13日
    16200
  • insight洞察-漏洞生命周期管理使用

    简介 洞察是宜信安全部用来对公司内部系统所出现的安全漏洞进行线上全生命周期管理的漏洞管理平台。 项目地址 主要由3部分组成: 应用系统资产管理 漏洞生命周期管理 安全知识库管理 应用系统资产管理:对公司应用系统资产进行管理,包括系统名称、域名、重要级别、部门、负责人等。 漏洞生命周期管理:对公司应用系统产生的安全漏洞进行线上提交、通告、知悉、复测、分类、风险...

    2022年6月1日
    12000
  • 明明服务化了,为啥耦合更加严重了?

    什么是耦合? 耦合,是架构中,本来不相干的代码、模块、服务、系统因为某些原因联系在一起,各自独立性差,影响则相互影响,变动则相互变动的一种架构状态。 感官上,怎么发现系统中的耦合? 作为技术人,每每在心中骂上下游,骂兄弟部门,“这个东西跟我有什么关系?为什么需要我来配合做这个事情?”。明明不应该联动,却要被动配合,就可能有潜在的耦合。   但如果服务化不合理...

    2022年5月10日
    2600
  • 即使删了全库,如何半小时恢复?

    技术人如果经常线上操作DB,河边走久了,难免出现纰漏: (1)update错数据了; (2)delete错数据了; (3)drop错数据了; 咋办?找DBA恢复数据呗,即使恢复不了,锅总得有人背呀。 画外音:把数据全删了,怎么办,怎么办? 零,哪种方案不能实现数据恢复? 从“从库”恢复数据。   一般来说数据库集群是主从架构: 如果人为执行了“删库”操作,命...

    2022年5月14日
    1800
  • 用户中心,1亿数据,架构如何设计?

    本文较长,可提前收藏。 用户中心,几乎是所有互联网公司,必备的子系统。随着数据量不断增加,吞吐量不断增大,用户中心的架构,该如何演进呢。   什么是用户中心业务? 用户中心是一个通用业务,主要提供用户注册、登录、信息查询与修改的服务。 用户中心的数据结构是怎么样的? 用户中心的核心数据结构为: User(uid, login_name, passwd, se...

    2022年5月14日
    3300

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注

联系我们

400-800-8888

在线咨询: QQ交谈

邮件:admin@example.com

工作时间:周一至周五,9:30-18:30,节假日休息

关注微信