谈谈网络爬虫

什么网络爬虫 在大数据时代,信息的采集是一项重要的工作,而互联网中的数据是海量的,如果单纯靠人 力进行信息采集,不仅低效繁琐,搜集的成本也会提高。如何自动高效地获取互联网中我们 感兴趣的信息并为我们所用是一个重要的问题,而爬虫技术就是为了解决这些问题而生的。 网络爬虫(Web crawle……

阅读全文

JWT总结

JWT 在用户注册或登录后,我们想记录用户的登录状态,或者为用户创建身份认证的凭证。我们不再使用Session认证机制,而使用Json Web Token认证机制。 什么是JWT Json web token (JWT), 是为了在网络应用环境间传递声明而执行的一种基于JSON的开放标准((RFC 7519).该token被设计为紧凑……

阅读全文

Rancher_InfluxDB_CAdvisor_Grafana总结

容器管理工具 Rancher 什么是 Rancher Rancher 是一个开源的企业级全栈化容器部署及管理平台。Rancher 为容器提供一揽子基础 架构服务:CNI 兼容的网络服务、存储服务、主机管理、负载均衡、防护墙…… Rancher 让上述服务跨越公有云、私有云、虚拟机、物理机环境运行,真正实现一键式应用 部署和管理 https://www.cnrancher.com/ Rancher 安装 下载 Rancher 镜像 1 docker……

阅读全文

Rancher_influxDB_cAdvisor_Grafana总结

容器管理工具 Rancher 什么是 Rancher Rancher 是一个开源的企业级全栈化容器部署及管理平台。Rancher 为容器提供一揽子基础 架构服务:CNI 兼容的网络服务、存储服务、主机管理、负载均衡、防护墙…… Rancher 让上述服务跨越公有云、私有云、虚拟机、物理机环境运行,真正实现一键式应用 部署和管理 https://www.cnrancher.com/……

阅读全文

Dockerfile构建服务镜像_gogs搭建git_Jenkins持续集成总结

什么是 Dockerfile Dockerfile 是由一系列命令和参数构成的脚本,这些命令应用于基础镜像并最终创建一个新的镜像。 对于开发人员:可以为开发团队提供一个完全一致的开发环境; 对于测试人员:可以直接拿开发时所构建的镜像或者通过 Dockerfile 文件构建一个新的镜像开始工作了; 对于运维人员:在部署时,可以实现应用的无缝移植。 常用……

阅读全文

springcloud_hystrix_zuul_springcloudconfig_springcloudbus总结

熔断器 Hystrix 在微服务架构中通常会有多个服务层调用,基础服务的故障可能会导致级联故障,进而造成 整个系统不可用的情况,这种现象被称为服务雪崩效应。服务雪崩效应是一种因“服务提供 者”的不可用导致“服务消费者”的不可用,并将不可用逐渐放大的过程。 如果下图所示:A 作为服务提供者,B 为 A 的服务消……

阅读全文

JPQL注意点

原生sql与jpql比较 基于数据库与基于对象的比较 1 2 3 //@Query(value = "select count (*) from tb_friend where userid=?1 and friendid=?2",nativeQuery = true) @Query(value = "select count(f) from Friend f where f.userid = ?1 and f.friendid = ?2") int findFriendCount(String userid,String friendid); 上面这两个sql一个使用原生sql,一个使用了jpql语句,原生sql基于数据库表来进行查询,这样要根据条件计算总记录数,那么数据库必须要有值,不然就会报错,比……

阅读全文

SpringCloud_Eureka_Feign总结

什么是 SpringCloud Spring Cloud 是一系列框架的有序集合。它利用 Spring Boot 的开发便利性巧妙地简化了分布 式系统基础设施的开发,如服务发现注册、配置中心、消息总线、负载均衡、熔断器、数据 监控等,都可以用 Spring Boot 的开发风格做到一键启动和部署。Spring 并没有重复制造轮子, 它只是将目前各家公司开发的比较成熟、经得起实……

阅读全文

JWT总结

BCrypt 密码加密 任何应用考虑到安全,绝不能明文的方式保存密码。密码应该通过哈希算法进行加密。 有很多标准的算法比如 SHA(微信公众号使用) 或者 MD5,结合 salt(盐)是一个不错的选择。 Spring Security 提 供了 BCryptPasswordEncoder 类,实现 Spring 的 PasswordEncoder 接口使用 BCrypt 强哈希方法 来加密密码。 BCrypt 强哈希方法 每次加密的结果都不一样。 BCrypt 密码加……

阅读全文

RabbitMQ总结

RabbitMQ 简介 消息队列中间件简介 消息队列中间件是分布式系统中重要的组件,$\color{red}{主要解决应用耦合,异步消息,流量削锋等问 题实现高性能,高可用,可伸缩和最终一致性[架构] }$使用较多的消息队列有 ActiveMQ, RabbitMQ,ZeroMQ,Kafka,MetaMQ,R……

阅读全文