分类标签归档：web开发
在之前的文章中,提到关于百度的搜索源码可以做哪些事情: http://www.zhangte.org/python/125.html,这里实践一下这个完整的过程
首先,爬虫部分不说,各种实现方式都可以,核心就在于,要把百度的搜索结果完整的保存下来! 我这里暂时以百度Json版的结果为例,比如这样:
这里圈起来的核心数据:
其实这样保存,爬虫也方便,查询也方便,何乐不为,而且想干嘛就干嘛,自由灵活度又高...,而且不需要频繁请求百度,对ip
......这个版本之所以叫乞丐版,是因为不需要掌握复杂的jenkins,k8s等,但是又想体验一下全自动部署,分布式的快感...
所以就选择了这种方案...网上搜集来看,对于1000台服务器以下,docker swarm似乎完全够用...我很难想象,那些大厂是怎么维护服务器的.. 听说谷歌的服务器就是以千万来算的......这感觉完全不是一个世界的...
FROM centos:7
COPY . /PROJECT_ROOT
WORKDIR 其实整个实现的逻辑非常简单...,大致的效果如下
这样只要在批量发布文章的时候,把需要发布的网站的域名传进去就可以进行统一更新了....实在是很方便...,文章分类和标签也不同单独绑定,全部通过文章串联起来,不得不说,Mysql在这点上做得确实比mongodb要好...
其实具体的实现代码,大致是这个文章写的:https://www.zhangte.org/python/52.html 到目前,仅剩一些SEO功能还未做区分(但是不影响正常优化)..站群的基础功能,包含:
我理想中的情况是,网站管理,就只负责管理,不负责任何其他的设置...甚至包括文章库,以及数据分析等....
用程序员的专业说法,这叫解耦..因为后期我还想搞一个站群一键