主要是之前的模块4与模块5

模块四 : 每日工作清单 ( 3件以内,从模块三拿任务 )

第一轮大冲刺详细日程记录

2021年01月25日

• [x] 精品站大量蜘蛛池测试
• [x] 写文章发布模块,开始发布文章测试

2021年01月24日

• [x] 多域名缓存的坑,踩了一大圈下来
• [x] 网站批量导入,全部搭建起来

2021年01月23日

• [x] 完善好站群的模板,可以正常使用
  • 砍掉Rss,搜索,未收录,评论等不重要的功能
• [x] 写一个批量导入网站的功能 ( 本次计划导入30个站 )
• [x] 测试的域名,站群发布上线,可用!
• [x] 文章准备
• [x] 精品站的异步相关文章计算授权
• [x] 研究新的文章来源方式 ( 没用 )

2021年01月22日

• [x] 整理好需要搭建的站群,对应的TDK以及准备好域名

2021年01月21日

• [x] 给之前新做的hpv站引入蜘蛛池,并且跟踪收录效果
• [x] 改写构建绝对url的方法 ( 改成根据绑定域名的方式的展示出来 )
• [x] 在未收录地图里面写一个方法根据url来进行展示

2021年01月20日

未更新任何功能

2021年01月19日

• [x] 改用Nginx来做反向代理 ( 更好更方便 )

2021年01月18日

• [x] 不同域名,不同分类查看
• [x] 给本博客部署了https,但是还没有学会如何批量部署!
• [x] 修复了本博客不带www跳转的小BUG

2021年01月17日

未更新任何功能

2021年01月16日

• [x] 升级文章排版的功能
• [x] 给本博客加了一个robots.txt的页面

2021年01月15日

• [x] 解决站群主程序sitemap和robots.txt的功能

2021年01月14日

• [x] 实现通过反向代理管理站群
• [x] 把锚文本管理和排名监控的板块给区分开

2021年01月13日

未做任何贡献 ( 蛋疼.....,居然断了一天.. )

2021年01月12日

• [x] 统一镜像站的首页视图处理
• [x] DFA算法升级
• [x] 用自建的api来查询百度的收录量
• [x] 采集图片问题处理

2021年01月11日

• [x] 搭建统一站群镜像测试站的功能

2021年01月10日

• [x] 文章关键词一键导入,并且可以自动设置锚文本 ( 站群及其有用 )
• [x] 站群数据查询任务完成
• [x] 随机文章全站显示 ( 用最粗暴的方法 )
• [x] 把查排名也封装到统一监控里面
• [x] 上下页,相关文章,侧边栏新增摘要显示 ( 摘要的显示方式 ) ##### 2021年01月09日
• [x] 统一管理后台处理,并且投入生产
  • [x] 查收录脚本api化
  • [x] 循环push功能新增
  • 具体说明 : http://www.zhangte.org/python/38.html

2021年01月08日

• [x] 复制站的站长工具,独立统计代码处理
• [x] 远程链接ssh动态更新代码的脚本处理
• [x] 用cnzz测试代码的安装情况
• [x] 百度推送,统计代码,站长验证等信息可直接在后台进行配置
• [x] DFA算法效率升级

2021年01月07日

• 上词率和上词情况的更新到看板里面 ( 在未收录地图里面 )
• HPV-文章自动定时发布集成到站群配置文件里面,可以正常发布文章
  • [x] 文章处理层
    • [x] dfa自动替换结合api处理
    • [x] 图片链接自动转换用api处理
    • [x] 自动生成md格式
  • [x] API修改层
    • [x] 自动摘要的功能投入到站群自动发文api里面
    • [x] C算法提取关键词 ( 根据标题 )
    • [x] 站群发布文章段落新增过滤字段
  • [x] 封装成方法,文章定时随机分布式发布..

2021年01月06日

• 普通正文一键转md格式转换,优化,数字分段自动加入一个小标题 ( ### ) 然后再进行分行处理 @授权
• 新增了一个全量更新收录的功能
• 研究如何结合git,区分文件来更新代码,测试hpv的更新 ( 统一代码管理 ) , 把代码托管到git

2021年01月05日

• 通过C算法来实现给文章自定义添加关键词的功能
• 用dfa来提升替换锚文本的效率(大大提升)
• 如果出现相关关键词的锚文本可以随机取一个进行替换
• 改用docker部署hpv,单价docker-compose的方式

2021年01月04日

• html转md格式的脚本处理, [[210124 html转md的实现]]
• 文章发布的api功能集成

2021年01月03日

• 开放完毕所有的核心API,并且带有验证,支持增删改查,包装成函数
• 自动锚文本功能修复完成,还需要优化
• Django-celery的笔记复习
• 调整面包屑导航 ( 去掉原有的 ),上下页位置优化

2021年01月02日

• 完成了RDF的增删改查,用户验证的api基本使用功能

2021年01月01日

• Celery分布式部署,开启自动查询功能,现在排名监控
  • 排名监控自动push未收录百度的功能实现了
• 去掉全站缓存,改成了对不同页面设置不同的缓存时间
• 给定时任务写了一个脚本,支持一键启动和暂停,方便后期维护
• 文章页展示未收录url,( tag 分类 文章页 )的锚文本出来

2020年12月31日

• 核心api增加登录访问权限
• 全站Celery分布式收录监控
• 修复锚文本的BUG( 添加多次的问题 , 还未能完全解决)

2020年12月30日

• 搭建好Celery环境
• 完成核心关键词的排名监控功能,详情参加 : http://www.zhangte.org/python/16.html

2020年12月29日

• 优化
  1. 文章的模板,加入keywords和des的设置功能,详情: http://www.zhangte.org/seo-sem/13.html
  2. 摘要的显示,不用NLP的方式
  3. 文章详情页对本文关键词部分加了锚文本处理
• 新增
  • 图片链接重写功能,参考地址: http://www.zhangte.org/python/14.html
  • 配置ubuntu的memcached环境,目前整站有3小时缓存
• 修复
  • 自动锚文本-网址也当做锚文本来添加的BUG

2020年12月28日

• 新增了网站未收录地图的功能,并且加了一些简单的统计,详情:http://www.zhangte.org/seo-sem/12.html (主要统计收录率)

2020年12月27日

• 新增内页[百度收录]查询的api的功能,详情:http://www.zhangte.org/seo-sem/10.html ( 此意义非常重要 , 开始走向定制化系统的第一步!)

2020年12月26日

1. 优化了栏目页面的url,目前是 域名/分类别名/文章id 这样的格式,会更利于优化
2. 区分了线上和线下的DEBUG模式
3. 给文章新增自定义关键词的字段,为后续锚文本做准备
4. 旧站的文章页,分类页,和tag页直接简单粗暴的301到了首页
5. 加了一个自动化锚文本的功能(但是没有异步化),大致的功能是:
   1. 比如文章中有seo,或是厦门seo,就自动加上锚文本
   2. 假如文章中多次出现,seo或是厦门seo,就不加了
6. 修复了SiteMap.xml的问题,需要在站点里面和settings设置好对应的域名.
7. 对分类和首页的title进行了优化,更加适合SEO

模块五: 当前主要成就 ( 月回顾用 )

把每个小冲刺完成的成就放在这里,作为月复盘 当前已经解决的小问题 ( 主要成就 )

起因

起因 : 因为网站被黑,现在改成了Django 加上公司需求需要开发一套完全符合SEO定制的系统,所以在此记录博客优化的进程. 因为较为熟悉python,所以这一切应该理论上可行的

临时想法记录

• 多模板多用户模式,可以尝试重写Django的sites框架来实现
• 用api发布文章文章的时候,自动添加Tags标签,如果没有的话,则自动创建Tags标签 ( 完成 )
• 考虑把C算法融入到目前的站群系统里面,用来根据标题自动判断关键词 ( 完成 )

思路整理

站群获取所有的标签的域名 ( 通过域名 )

from django.urls import reverse
from django.db.models import Count
#已知文章列表
domain = '127.0.0.1:8002'
a  = Article.objects.filter(sites__domain=domain)

domain_urls_list = []

for tag_slug in set(a.annotate(Count('tags')).values_list('tags__slug',flat=True)): 
    tag_url = reverse('blog:tag_detail', kwargs={'tag_name': tag_slug})
    tag_url = domain + tag_url
    domain_url_list.append(tag_url)

在非django的项目中,使用django的ORM : https://www.cnblogs.com/sriba/p/13815176.html

什么样的功能是核心的? 以有办法复制50个站未基础的功能,需要完成什么