分类标签归档:web开发

Python中Mongodb的复杂查询方式


在之前的文章中,提到关于百度的搜索源码可以做哪些事情: http://www.zhangte.org/python/125.html,这里实践一下这个完整的过程

首先,爬虫部分不说,各种实现方式都可以,核心就在于,要把百度的搜索结果完整的保存下来! 我这里暂时以百度Json版的结果为例,比如这样: -w955 这里圈起来的核心数据:

  1. 一个是搜索量
  2. 一个是排名结果(一条一行,共50条)

其实这样保存,爬虫也方便,查询也方便,何乐不为,而且想干嘛就干嘛,自由灵活度又高...,而且不需要频繁请求百度,对ip

......

点击阅读更多...

docker swarm 结合阿里云自动构建镜像 ( 乞丐版 )


一. 构建镜像发布到阿里云

这个版本之所以叫乞丐版,是因为不需要掌握复杂的jenkins,k8s等,但是又想体验一下全自动部署,分布式的快感...

所以就选择了这种方案...网上搜集来看,对于1000台服务器以下,docker swarm似乎完全够用...我很难想象,那些大厂是怎么维护服务器的.. 听说谷歌的服务器就是以千万来算的......这感觉完全不是一个世界的...

1. 编写简单的dockerfile

FROM centos:7
COPY . /PROJECT_ROOT
WORKDIR 
......

点击阅读更多...

站群迭代连续迭代一个月纪念日..


没想到居然这么巧,我12月26日开始迭代站群的时候,到今天正好1月26日... 今天看新闻,才发现今天是科比去世一周年了... 知道科比的人应该都知道洛杉矶凌晨4点钟的故事~,还真巧了...不管大家知不知道泉州的凌晨4点钟是什么样?反正我执行达芬奇睡眠法以来,是天天见...

站群迭代1个月以来,大概做了什么样子? 其实我之前也一直感觉好多东西工作量好大..但是做下来才发现,其实是自己把自己给吓了...

在早期规划站群的时候,我大概也只是规划到1月31日之前,可以复制一个站..即可~ 那么实际执行

......

点击阅读更多...

在改站群系统中,因缓存踩的坑,记录一下..


在之前的这篇文章里面,有提到了这个高手写的这个博客程序, 我觉得很好用,然后拿来用...

在正式环境的时候,发现因为缓存踩的坑还真是不少.... 找了好久,才发现...原来高手就是高手....,因为他是针对不同区域分别设置缓存....

比如说 :

  1. 把网站的设置 ( 如TDK,备案信息,底部链接 ) 这些设置一个缓存,而且时间比较久
  2. 把侧边栏文章列表模块设置一个缓存...
  3. 把导航也单独设置缓存....

简单来说,就是针对不同区块设置不同的缓存,来达到效率最大化! 真的是学习了...,比如在模

......

点击阅读更多...

较为理想的一个站群方案


当前凌晨2:30分,达芬奇睡眠法继续奋战中.. 目前思路有限,先大致整理的站群思路的思维导图,还未变成具体的计划...不要看功能很多,其实没有一个是很复杂的,有的也就几分钟可能就能做好... 当前第一版,后续可以的话,直接在导图上迭代...,比如 监控的时候,要把流量也监控进来,但是第一版里面没写!

大致的效果如下:

统一后台

-w729 我理想中的情况是,网站管理,就只负责管理,不负责任何其他的设置...甚至包括文章库,以及数据分析等.... 用程序员的专业说法,这叫解耦..因为后期我还想搞一个站群一键

......

点击阅读更多...

站群文章已经实现不同域名不同内容的展示


其实整个实现的逻辑非常简单...,大致的效果如下 -w1031

-w741

-w984

这样只要在批量发布文章的时候,把需要发布的网站的域名传进去就可以进行统一更新了....实在是很方便...,文章分类和标签也不同单独绑定,全部通过文章串联起来,不得不说,Mysql在这点上做得确实比mongodb要好...

其实具体的实现代码,大致是这个文章写的:https://www.zhangte.org/python/52.html 到目前,仅剩一些SEO功能还未做区分(但是不影响正常优化)..站群的基础功能,包含:

  1. 广告页独立配置,
......

点击阅读更多...