文振熙 -- 云计算技术博客站

前言因为工作上的事情比较繁忙，近期的博客更新率已经创了新低，所以想着把一些工作上的调研笔记????进行一些分享，希望可以帮助到想了解特定知识的小伙伴。今天推荐给大家的是阿里云的MQTT队列服务，笔者早期发不过去EMQ-MQTT系列，但是现在整个集群连接规模已经破了百万，也涌现出了很多问题：集群稳定性堪忧，大流量会导致雪崩使用iptable限流也只能缓解安全性堪忧，密码规则认证过于简单，虽然有TLS证书配置但是相比之下资源消耗是不加TLS的四倍，如果用TLS终结前置服务器最少16台也是恐怖的支出和维

Wayne是笔者无意之间刷文章了解到的，简单使用之后发现能解决当前眼下诸多问题，出于推动公司容器化进程的原因选择开始使用，当前所有环境都已经在使用中。借助官方的介绍Wayne 是一个通用的、基于 Web 的 Kubernetes 多集群管理平台。通过可视化 Kubernetes 对象模板编辑的方式，降低业务接入成本，拥有完整的权限管理系统，适应多租户场景，是一款适合企业级集群使用的发布平台。附...

Wayne是笔者无意之间刷文章了解到的，简单使用之后发现能解决当前眼下诸多问题，出于推动公司容器化进程的原因选择开始使用，当前所有环境都已经在使用中。借助官方的介绍Wayne 是一个通用的、基于 Web 的 Kubernetes 多集群管理平台。通过可视化 Kubernetes 对象模板编辑的方式，降低业务接入成本，拥有完整的权限管理系统，适应多租户场景，是一款适合企业级集群使用的发布平台。附...

我们会经常提到BI系统(Business Intelligence)，它是一个重要的数据出入口，帮助数据，帮助企业获取数据表报制定战略决策。大家熟知的有FineBI和Microsoft的powerBI，但是使用成本都不低需要授权需要客户端，使用配置也相当繁琐。笔者今天给大家带来的是一款开源纯Web网页的数据工具。附上:喵了个咪的博客:w-blog.cnRedash官方Git地址:https...

商米科技成立于 2013 年，总部位于上海市杨浦区创智天地，是一家极具产品创新基因和互联网基因的公司。商米在短时间内迅速成长为一家近1000人的企业，产品研发人数占比一度超过70%。做为一家初创企业，商米研发团队早期也经历过与当下大部分创业公司一样困境：协作基本靠吼、发布基本靠手的阶段。然而，业务的快速发展，团队规模不断的扩大，给商米带来了在「团队协作」和「工程效能」上的双重挑战。一、蒸汽时代...

配置中心相信大家都有听过，zookeeper、apollo等等都是配置中心的代表，但大部分都是JAVA系为主的，笔者主要开发语言使用的是Golang当然也有类似于ETCD这样的组件，但是并不方便管理也无法可视化，在无意之间发现了阿里爸爸开源了nacos这个服务发现+配置中心组件，也经过了一段时间的时候在这里分享给大家附上:喵了个咪的博客:w-blog.cnNacos官方Git地址:http...

相信使用过K8S或容器化的大家都有了解过私有容器仓库Harbor，Harbor是VMware大佬开源的一个私有容器镜像仓库，VMware也开源了另外一个工具就是本文要说到的Octant，从笔者的角度上看来它更像一个Dashboard的代替品。附上:喵了个咪的博客:w-blog.cnOctant官方Git地址:https://github.com/vmware/octantPS：Octa...

附上:喵了个咪的博客:w-blog.cnKubeBox官方Git地址:https://github.com/astefanutti/kubeboxPS：KubeBox需要依赖本地的kuberctl才能正常启动一、介绍和安装KubeBox控制K8S现在我们已经可以通过Dashboard和kubectl来控制了，但是笔者因为用的是阿里云的K8S集群，K8S-Dashboard是被阿里云...

附上:喵了个咪的博客:w-blog.cnKubernetes官方文档:https://kubernetes.io/docs/reference/Kubernetes官方Git地址:https://github.com/kubernetes/kubernetesPS:本系列中使用 KubernetesV1.8 RancherV1.6.14一、国内安装Kubectl官网提供的安装命令...

搞定了一切的一切之后下一步就是正式使用了，但是之前介绍的都是在单台服务器上进行的部署，如果在生产环境出现了单台故障怎么办呢？提供稳定性和性能的最直观的方式就是集群，solr官方提供了cloud的集群方式附上:喵了个咪的博客：http://w-blog.cnSolr官网：http://lucene.apache.org/solr/PS：8.0.0版本已经发布，本文使用此时较为稳定的7.7...

搞定了中文分词下一个就是要来搞定拼音分词了，拼音分词有分为全拼和简拼附上:喵了个咪的博客：http://w-blog.cnSolr官网：http://lucene.apache.org/solr/PS：8.0.0版本已经发布，本文使用此时较为稳定的7.7.1版本一，全拼分词> wget http://files.cnblogs.com/files/wander1129/pi...

已经和mysql建立好了关联，可以查询和更新mysql的数据量，接下来就是进阶的使用方式了附上:喵了个咪的博客：http://w-blog.cnSolr官网：http://lucene.apache.org/solr/PS：8.0.0版本已经发布，本文使用此时较为稳定的7.7.1版本一，查询命令的基本使用基本查询方式　　q 查询的关键字，此参数最为重要，例如，q=id:1，默认...

上一节我们已经通过两种方式运行了solr，本节演示怎么配置solr的mysql数据源附上:喵了个咪的博客：http://w-blog.cnSolr官网：http://lucene.apache.org/solr/PS：8.0.0版本已经发布，本文使用此时较为稳定的7.7.1版本一，准备数据库数据表结构CREATE TABLE `app` ( `id` int(11) NOT...

搞定了一切的一切之后下一步就是正式使用了，但是之前介绍的都是在单台服务器上进行的部署，如果在生产环境出现了单台故障怎么办呢？提供稳定性和性能的最直观的方式就是集群，solr官方提供了cloud的集群方式附上:喵了个咪的博客：http://w-blog.cnSolr官网：http://lucene.apache.org/solr/PS：8.0.0版本已经发布，本文使用此时较为稳定的7.7...

常常在业务开发中会遇到大列表的查询需求或者按照各项条件搜索内容，一般的做法往往都是数据库直接搞定，但是到了一定的程度只有这类需求会带来巨大的开销，一个表格中涉及到了5张表的数据，搜索要求从其中3张表的不同字段做到模糊查询，如果还用传统的方式实现起来就很有难度了逻辑和数据库性能就是一个考验，要是如果在A表一个字段是很长的text需要模糊匹配，在B表需要用简拼音搜索，那就难上加难了，solr恰巧就...

虽然kong提供了那么多的插件，但是不可能百分百满足了对于网关的需求，在很多系统中不可能吧用户体系用到kong提供的权限验证体系，包括对于一套系统完整的RBAC系统大家都有不同的改进，以及请求加密参数校验等等，所以对于扩展性对于网关的定义需要有一定的能力的，kong是通过nginx+lua开发的通过lua脚本就可以扩展插件来完成网关的目的附上:喵了个咪的博客：w-blog.cnkong官网...

为什么kong这么火热呢？当然是它拥有强大的插件群来解决我们本来需要重复手动配置或者需要自己实现的内容，kong在1.X版本加强了对于插件的支持，官方提供的插件就是几十个，通过插件可以带来各种场景更加方便使用比较使用的功能：Oauth2.0Hmac AuthIP限制CORS 跨域配置限速请求大小限制Prometheus监控Http日志附上:喵了个咪的博客：w-blog....

kong虽然很强大，但是在管理方式上比较单一只能通过API请求来管理，那么有没有一个UI界面的管理工具呢？这里就要说到kong管理UI新起之秀Konga附上:喵了个咪的博客：w-blog.cnkong官网：https://konghq.com/konga官网：https://github.com/pantsel/kongaPS：Kong版本必须 >= 1.0.0才能正常使用ko...

网关是微服务中不可或缺的一部分，它承载了所有请求流量入口，参数验证拦截，用户权限验证，但是除了JAVA的spring cloud之外，公共网关屈指可数，其中最受关注的就是KONG了，笔者半年前就已经在使用kong的那时候使用的是0.11.2-bate版本（之前还被官方坑了一次），前不久终于等到了1.X的正式版发布了，笔者就在这里给大家分享一下kong网关的基本情况以及使用安装的方式。附上:喵...

因为之前的测试结果让笔者对PHP使用GRPC很失望，如果使用HTTP的方式Guzzle还可以提供并发能力来降低接口消耗，Grpc只能阻塞，但是如果使用HTTP的话对于调用限制和GO调用GO来说不太友好，有没有一个两全其美的方式可以使用Grpc的前提下又兼容HTTP调用，让客户端可以更具自身情况自由选择，服务端工作只需要做一份呢？还别说真还有一个准备好的轮子那就是今天的主角《grpc-gatewa...

当然最最最重要的就是性能，在使用RPC的场景下对于多个程序通讯完成业务所消耗的性能是有巨大挑战的，笔者也做了一套完整的性能测试大家可以继续往下看。附上:喵了个咪的博客：w-blog.cn博文实例demo：GitHub - sunmi-OS/grpc-php-to-golang-demogrpc官网：grpc / grpc.ioprotobuf代码仓库：Releases · protoc...

笔者现在公司项目大部分是PHP进行开发，要完成整体微服务化必须要考虑PHP使用上的可行性，Grpc也是支持PHP作为client端发起Grpc请求，但是依赖的扩展等都相对复杂（毕竟不是亲儿子），那么本文就接受怎么使用PHP调用Grpc服务。附上:喵了个咪的博客：w-blog.cn博文实例demo：GitHub - sunmi-OS/grpc-php-to-golang-demogrpc官...

RPC（Remote Procedure Call）远程过程调用，关注笔者的同学应该知道之前笔者出过关于Thrift对应的问题，这次主要来说的是Google开源的Grpc，和Thrift有很大的区别Grpc是基于HTTP2.0并且依赖protobuf，为什么又推出关于grpc的文章呢？请大家继续往下看。附上:喵了个咪的博客：w-blog.cn博文实例demo：GitHub - sunmi-...

ELK日志系统大家不会陌生(zipkin + jaeger , prometheus + grafana)解决了大家对于链路对于统计采集的需求,但是真正的对于日志进行存储还是得专业的上,在Istio中官方提供的方案是EFK(Fluentd + Elasticsearch + Kibana)Fluentd 是一个开源的日志收集器，支持多种数据输出并且有一个可插拔架构。 Elasticsearch是...

在微服务中另外一个重点就是网关,网关理论包含入口网关和出口网关,传统意义上的网关很难做到出口网络控制,但是对于Istio是一件非常轻松的事情(因为所有的出口流量都会经过Istio),入口网关控制解析路由数据流向,出口网关控制对外访问的限制,在Istio中使用了 Ingress和Egress 来实现网关的功能.附上:喵了个咪的博客:w-blog.cnIstio官方地址:https://pre...

在使用微服务会面临最大的一个问题也就是在服务数量增加带来的排查成本和监控成本,大家为了解决这些成本也衍生出了很多工作,当然在Istio中也很好的融合了这些组件,默认安装下就已经带上了这些组件(zipkin + jaeger , prometheus + grafana),本节就来看看怎么来使用这些组件附上:喵了个咪的博客:w-blog.cnIstio官方地址:https://prelimi...

基础的Istio环境已经搭建完成,我们需要开始了解Istio提供作为微服务网格的各种机制,也就是本文标题的(超时控制,熔断器,流量复制,速率控制)官方很给力的准备的实例项目也不需要大家自己编写demo来进行测试,那就来时跑跑看吧.附上:喵了个咪的博客:w-blog.cnIstio官方地址:https://preliminary.istio.io/zhIstio中文文档:https://p...

基础的Istio环境已经搭建完成,我们需要开始了解Istio提供作为微服务网格的各种机制,也就是本文标题的自动注入.请求路由.故障注入.流量切换,官方很给力的准备的实例项目也不需要大家自己编写demo来进行测试,那就来时跑跑看吧.附上:喵了个咪的博客:w-blog.cnIstio官方地址:https://preliminary.istio.io/zhIstio中文文档:https://p...

当我们知道Istio是一个好东西，能够帮助我们快速实现微服务化中的一些关键节点，那么下一步就需要考虑怎么使用Istio了，Istio现在版本是和Kubernetes强关联在一起的，如果大家还不是太了解Kubernetes可以先从笔者的文章中了解，通过Kubernetes生态Istio可以非常方便的进行部署和使用。附上:喵了个咪的博客:w-blog.cnIstio官方地址:https://p...

微服务的概念已经在各大公司实践开了，以Java为代表的spring boot成为了微服务的代表，K8S+Docker成为了微服务运行的最佳环境，微服务的概念已经离我们没有那么遥远了。当然微服务是复杂的，除了组件繁多还需要代码做出很多改造才能享受到它带来的优势，那么有没有一种方式可以不需要太多代码改动就能够在多种不同的开发语言中灵活使用呢?基于服务网格Istio就诞生了,拨云见日我们今天就来一...

附上:喵了个咪的博客:w-blog.cncloudera官网: https://www.cloudera.com/官方文档地址: https://www.cloudera.com/documentation/enterprise/latest.html一 , 监控可以在管理页面看到默认的监控点击进入莫个具体的组件也有与之对应的监控指标二, 自定义...

附上:喵了个咪的博客:w-blog.cncloudera官网: https://www.cloudera.com/官方文档地址: https://www.cloudera.com/documentation/enterprise/latest.html一 , 磁盘扩容磁盘迁移对于磁盘增加减少重新分配都是在大数据里面屡见不鲜的内容,当磁盘不够用或者磁盘损坏的时候我们怎么...

在使用大数据集群的时候容灾是一件很重要的事情,CM可以非常方便的进行HA配置,CM也支持sqoop1和sqoop2,之前已经配置了sqoop2本节来一起配置sqoop1附上:喵了个咪的博客:w-blog.cncloudera官网: https://www.cloudera.com/官方文档地址: https://www.cloudera.com/documentation/en...

当我们已经把cm-service和cm-agent安装完成之后,接下来我们就要到最重要的部分了,安装Hadoop组件附上:喵了个咪的博客:w-blog.cncloudera官网: https://www.cloudera.com/官方文档地址: https://www.cloudera.com/documentation/enterprise/latest.html一 , ...

准备工作已经完成,接下来我们就要正式的开始在我们服务器集群上搭建CDH附上:喵了个咪的博客:w-blog.cncloudera官网: https://www.cloudera.com/官方文档地址: https://www.cloudera.com/documentation/enterprise/latest.html一 , 安装MYSQL无论是Hadoop相关组件还...

哈喽大家好呀,仅经过了一段时间大数据相关的博文又和大家见面了,笔者之前有写过一套Hadoop大数据相关的博客,为什么今天又要开坑呢?当然是有原因,随着不断的学习了解,慢慢意识到之前做法存在很多缺陷,最终对比了比较成熟的解决方案EMR和CDH,最终选择了使用CDH来搭建大数据管理平台,那么我们就开始新的一趴,企业级大数据管理平台CDH的学习吧!附上:喵了个咪的博客:w-blog.cn...

上节主要介绍了安装搭建和简单的运行一个job,但是真正使用到实际场景还是需要了解更多的知识,比如任务怎么互相依赖,可以选择指定的节点来执行吗等等一些相关的操作会在本节中进行介绍附上:喵了个咪的博客:w-blog.cnAzkaban官网: https://azkaban.github.io官方文档地址: http://azkaban.github.io/azkaban/docs/...

无论是在业务开发还是在大数据开发中,脚本都是必不可少的存在,在初期我们会使用crontab来解决问题,那么当发现规模变大监控需求可视化需求的到来Crontab已经显然满足不了需求,抱着一颗解决大数据任务脚本和业务任务脚本难题的心态最终在oozie和Azkaban选择了使用Azkaban来作为公共任务调度系统,那么就随着笔者一同来学习Azkaban的基础搭建场景和基本使用吧.附上:喵了个...

[喵咪Liunx(7)]Ceph分布式文件共享解决方案前言哈喽大家好呀! 这次给大家带来的Liunx软件分享是鼎鼎大名的Ceph分布式文件系统,笔者了解到Ceph也是遇到了一个问题就是在使用Kubeneters的时候在各个容器中都需要使用同一套文件,但是使用NAS盘的方式不管是更新还是读取都要忍受2分钟之久而且还会出现文件占用失败的问题,笔者找了找现有和Kuberneters结合比较好...

Kubernetes(七) - VolumeDocker是无状态的不管被销毁多少次都会恢复到最初的状态,但是这就意味着在程序过程中产生的配置也好文件也好会丢失,对于Docker我们经常会使用磁盘挂载的方式来保存一些重要的内容,比如运行在Docker下的数据库的源数据,比如程序的日志文件等,在K8S中也提供同样的配置方式 PS: 磁盘使用中1.8 和 1.9存在差异,1.8需要创建P...

Kubernetes(六) - Secret和私有仓库认证对一个公司来说安全也是最为重要的因为可能一旦出现安全问题可能这个公司就完了,所以对密码管理是一个长久不变的话题,Kubernetes对密码管理提供了Secret组件进行管理,最终映射成环境变量,文件等方式提供使用,统一进行了管理更换方便,并且开发人员并不需要关心密码降低了密码的受众范围从而保障了安全.Kubernetes官方文档...

Kubernetes(五) - ServiceKubernetes解决的另外一个痛点就是服务发现,服务发现机制和容器开放访问都是通过Service来实现的,把Deployment和Service关联起来只需要Label标签相同就可以关联起来形成负载均衡,基于kuberneres的DNS服务我们只需要访问Service的名字就能以负载的方式访问到各个容器Kubernetes官方文档:ht...

Kubernetes(四) - Pod和DeploymentKubernetes中有各种各样的组件,对于容器来说Kubernetes最小的单元是由Pod进行组成的,但是我们在使用过程中经常会使用到Deployment来部署我们的应用,其中究竟区别在哪里,我们今天就来一同探索Kubernetes官方文档:https://kubernetes.io/docs/reference/Kub...

Kubernetes(三) - 使用Rancher部署K8S集群(搭建Kubernetes)目前创建K8S集群的安装程序最受欢迎的有Kops，Kubespray，kubeadm，rancher，以及个人提供的脚本集等。Kops和Kubespary在国外用的比较多，没有处理中国的网络问题，没法使用。kubeadm是Kubernetes官方提供的k8s部署工具，不过不支持HA，且支持的...

Kubernetes(二) - 使用Rancher部署K8S集群(搭建Rancher)众所周知Kubernetres虽然很好但是安装部署很复杂, Rancher功能很强大,我们这里仅仅使用Rancher来搭建管理Kubernetes集群Kubernetes官方文档:https://kubernetes.io/docs/reference/ Kubernetes官方Git地址:htt...

Kubernetes(一) - Docker管理工具虽然Docker已经很强大了,但是在实际使用上还是有诸多不便,比如集群管理,资源调度文件管理等等,那么在这样一个百花齐放的容器时代涌现出了很多解决方案,比如Swarm,Mesos,Kubernetes等等,其中谷歌开源的Kubernetes是作为老大哥的存在,从本节开始将介绍如何打造自己的Kubernetes,并且了解它各个组件的用途...

几乎所有的image都是通过Dockerfile生成出来的,使用Dockerfile可以让我们很轻松的构建出一个镜像,我们如果需要部署自己的程序常常也可会Dockerfile把代码和环境构建成一个image进行使用附上:喵了个咪的博客:w-blog.cn官方Git地址:https://github.com/moby/moby1.DockerFile介绍以hub.docker...

当然我们已经了解了Docker基础使用,当然我们要全面Docker化还有一段路要走,今天给大家带来的是编排工具,应为复杂度使用docker run 容器的时候需要配置很多内容比如端口映射,磁盘挂载,环境变量等,全部在命令中格式麻烦也不好保存,并且如果多个容器之前需要关联也特别麻烦,所以有了Docker三剑客之一的Docker-compose出面来解决这个问题.附上:喵了个咪的博客:w-...

既然已经搭建好了Docker关于基础的命令以及使用方式我们当然要进行学习,还有一些小技巧比如批量操作镜像加速和怎么寻找合适的Docker-Images都是本节的内容附上:喵了个咪的博客:w-blog.cn官方Git地址:https://github.com/moby/moby1.Docker基本操作命令docker容器生命周期管理docker run 在一个新...

Docker相信大家都不默认,没有实践过的童鞋也应该听过他的大名,笔者最近挺长一段使用都在使用Docker解决各种问题,而在最近也吧Kubernetes的坑爬完实践了起来,那么从今天开始笔者会带来关于Docker容器化相关的博文,一同探索Docker为什么这么火热,我们怎么去实践使用它.附上:喵了个咪的博客:w-blog.cn官方Git地址:https://github.com/m...

附上:喵了个咪的博客:w-blog.cn EMQ官方地址:http://emqtt.com/ EMQ中文文档:http://emqtt.com/docs/v2/guide.html1.TLS证书验证为了保障安全.我们常常会使用HTTPS来保障请求不被篡改,作为MQTT使用TLS加密的方式来保障传输安全EMQ默认使用的TLS加密的端口是8883端口,默认证书在EMQ目录下et...

附上:喵了个咪的博客:w-blog.cn EMQ官方地址:http://emqtt.com/ EMQ中文文档:http://emqtt.com/docs/v2/guide.html1.ACL鉴权规则化在正常业务使用下对于客户端的行为可以使用ACL进行限制,比如A客户端只能订阅 /A/get 队列消息和向 /A/set 发布内容 但是在MYSQL里面处理这样的鉴权就需要写入两条...

在强大的单机也比不上集群,EMQ的集群模式很粗暴,只需要把EMQ服务关联在一起然后负载均衡就可以达到集群的效果,这样就算面对1000CK问题也迎刃而解附上:喵了个咪的博客:w-blog.cn EMQ官方地址:http://emqtt.com/ EMQ中文文档:http://emqtt.com/docs/v2/guide.html1.集群方式接受Erlang/OTP 最初是爱...

虽然EMQ已经搭建起来了,但是投入到业务使用中还面临着一些问题,当然MQTT设计之初也考虑了这一点,比如不是任何一个客户端都能链接到服务器和限制客户端能够对topic操作的权限附上:喵了个咪的博客:w-blog.cn EMQ官方地址:http://emqtt.com/ EMQ中文文档:http://emqtt.com/docs/v2/guide.html1.ACL鉴权先...

如果使用EMQ来承载百万级别的用户连接可以吗?官方的回复是8核心32G的配置能够承载160W台设备的链接,那就究竟性能如何呢?只有你自己试了才知道,本节就带着大家一起有调优系统配置和对EMQ进行压力测试来一探EMQ的庐山真面目附上:喵了个咪的博客:w-blog.cn EMQ官方地址:http://emqtt.com/ EMQ中文文档:http://emqtt.com/docs/v2...

先上节了解完MQTT之后我们需要选择一个MQTT服务端,在MQTT官方推荐下找了找最后选择了使用EMQ来进行服务端实现,EMQ有什么优势可以在官方推荐的那么多的服务器实现中脱颖而出,本章就来和大家一起慢慢了解EMQ相关的特性附上:喵了个咪的博客:w-blog.cn EMQ官方地址:http://emqtt.com/ EMQ中文文档:http://emqtt.com/docs/v2/...

哈喽大家好呀!笔者的公司最近在做IOT设备相关的业务,基于这个契机寻找学习了一下关于IOT通讯协议相关的内容,最终在技术选型上选择了使用MQTT协议并且结合EMQ上层MQTT中间件实现提供链接服务,那么本轮博文就和大家来一起探讨学习有关IOT设备的相关特性和MQTT协议的本质.附上:喵了个咪的博客:w-blog.cnMQTT官方 : https://github.com/mqtt/...

连接池在编程中并不少见,链接数据库,redis等操作都需要连接池,否则就会出现并发问题,如果每次操作都建立一条新的链接将会大大消耗资源,笔者也是在使用thrift-Clinet链接Service端使用的时候出现了并发问题,然后找到了一个通用的连接池的库在这里分享给大家.附上:喵了个咪的博客:w-blog.cn go-commons-pool-Github地址:github.com/j...

安全是软件开始中很重要的一个环节,在金融场景以及设计资产的场景下更是如此,在加密算法中主要使用较多加密方式分别是对称加密和非对称加密,对称加密中的代表是AES,DES,3DES等,非对称加密中使用比较多的是RSA,ECC等,最近火热的比特币中就使用ECC椭圆曲线算法,本篇文章主要是笔者在使用Golang在使用RSA中使用私钥加密公钥解密中遇到的问题,以及寻找的解决方案进行阐述,希望可以帮助到大...

前言哈喽大家好呀! 马上要迎来狗年了大家是不是已经怀着过年的心情了呢? 今天笔者给大家带来了一份礼物, Goalng的软件包推荐, 主要总结了一下在go语言中大家开源的优秀的软件, 大家了解之后在后续使用过程有遇到如下软件可以解决的问题可以来本篇文章寻找对于的软件PS:这里的软件笔者并未全部测试过但是标有(已使用)的字样是笔者在实际过程中有使用到的请大家放心使用PS:这里提供的...

如果大家正在按照笔者的教程尝试使用大数据组件还是之前有使用过相关的组件,大家会发现一个问题HIVE在负责的查询下调用Mapreduce会很慢,在这个场景下就涌现出很多查询引擎来优化,比如大家熟悉的Spark-SQL,Impala,kilin已经今天的主角Presto, Presto以速度和极强的扩展性取得了胜利,不仅能够提高对HIVE数据查询速度还能和异构数据库进行关联查询,比如HIVE和Mysq

日常的大数据使用中经常是在服务器命名行中进行操作,可视化功能仅仅依靠着各个组件自带的网页进行,那么有没有一个可以结合大家能在一个网页上的管理工具呢?答案是肯定的,今天就和大家一起来探索大数据管理工具HUE的庐山真面目.附上:喵了个咪的博客:w-blog.cn1.环境准备编译依赖wget http://repos.fedorapeople.org/repos/dchen/ap

在之前的章节中我们已经一同学习的Hive和HBase相关的知识,但是Hive和HBase都存在各自的问题,Hive实时性不强单条写入数据慢,HBase查询能力差不具备复杂查询的能力,但是Hive和HBase有个隐藏的功能就是关联操作,既然可以享受到HBase的实时性还可以享受到Hive查询带来的便捷.附上:喵了个咪的博客:w-blog.cn1.前言*注意:**Hive2.3.0 和

说完了Hive我们接着来看另外一个建立在Hadoop基础上的存储引擎HBase,HBase以内存作为缓存数据落地到HDFS的Key-Value数据库,因为使用内存缓存极大保障了数据的实时性和实时查询能力,在实时场景的大数据存储HBase是不可或缺的解决方案,常见又在使用这项技术的业务就是短链,比如你在微信给你的朋友发个URL最终你的朋友获取到的是微信的一个短链接(QQ淘宝都是如此),在HBase中就

[喵咪大数据]Hive2搭建和基本操作说的Hadoop生态有一个不得不提的组件那就是,Hive是基于Hadoop结构化存储引擎,能够存储海量的数据,Hive提供了类SQL的方式对数据进行查询检索汇总,大大减少了早期需要使用MapReduce编程的烦扰,今天就和笔者一起来探索Hive的实际应用场景吧.附上: HIVE官网地址:Apache Hive TM 喵了个咪的博客:w-blog.cn1.环境

Hadoop绝非一个简单程序,集群模式下更是如此,所有的数据都存储在Hadoop中如果操作不当会存在丢失数据的风险,那么怎么在安全的情况,扩容下线维护或者磁盘满了怎么增加空间,就是今天的主要内容了.附上:Hadoop的官网:hadoop.apache.org 喵了个咪的博客:w-blog.cn1.增加节点当磁盘满了或节点不够处理速度慢了都需要对节点或者通过增加节点的方式进行磁盘扩容,这个时候就需要

既然是大数据无论存储和处理都需要相当大的磁盘或者是处理的资源消耗,那么单机肯定是满足不了我们的需求的,所以本节我们就来了解Hadoop的集群模式搭建,在集群情况下一同配合处理任务分发,存储分担等相关的功能进行实践.附上:Hadoop的官网:hadoop.apache.org 喵了个咪的博客:w-blog.cn1.准备工作安装包清单统一存放到/app/install目录下,暂时只用存放到hadoop

千里之行始于足下,学习大数据我们首先就要先接触Hadoop,上节介绍到Hadoop分为Hadoop-HDFS,Hadoop-YARN,Hadoop-Mapreduce组成,分别负责分布式文件存储,任务调度,计算处理,本机我们在单机模式下把Hadoop运行起来并且简单的使用接触Hadoop相关的机制.附上:Hadoop的官网:hadoop.apache.org 喵了个咪的博客:w-blog.cn1.

大数据互联网时代下大家耳熟能详的名词,但是我们离大数据有多远呢?从2011Hadoop1.0问世到现在,渐渐地大数据解决方案已经趋向成熟,笔者觉得也是时间来学习接触一下大数据解决一些在工作中实际遇到的一些棘手的问题,今天开始笔者会带来一整套亲生在大数据里面探索的经验已经一些实践经验来与大家一同分享学习.附上:喵了个咪的博客:w-blog.cn1.什么是大数据,为什么需要大数据大家可以一起来思考这个问

[喵咪Redis]Redis配置文件和主从设置前言上一节已经介绍了redis的基本使用也运行起来了redis,本节来进一步了解一下redis的配置,以及怎么配置主从关系,主从关系配置好了我们的redis就可以以一个集群的方式运行了.那么话不多说,就和笔者来进一步了解redis把!附上:喵了个咪的博客:w-blog.cnRedis官网:http://redis.io/Redis命令大全:http://

[喵咪Redis]Redis安装与介绍前言哈喽大家好啊,这次要来和大家一起来了解学习Redis的一系列技术,最终目的是搭建一个高可用redis集群自动负载灾备,那我们先从最基础的Redis的一些基本介绍以及安装来说起!附上:喵了个咪的博客:w-blog.cnRedis官网:http://redis.io/Redis命令大全:http://doc.redisfans.com/Redsi源码地址:htt

[喵咪海外部署]海外文件分发方案演进在开阔海外市场遇到的第一个问题就是文件分发,因为初期文件肯定是存放到国内服务器上,给到海外访问速度及其缓慢笔者这边试下来欧洲只有20KB/s,一个300MB的文件要下载一天,因为这个问题就有了我们今天的主题海外文件分发方案演进,请紧张的往下看!附上:喵了个咪的博客:w-blog.cn1.文件分发1.0主要思想 : 使用CDN解决多次下载问题,国内继续使用阿里云,海

[转]软件开发中的deadline该怎么定?前言嗨!大家好啊!今天又给大家带来了一篇关于软件开发中时间项目周期如何确定,怎么看待开发期限这个问题已经如何建立好的期限标准,的一篇优秀的文章.如原文作者不希望转载,请联系!附上:喵了个咪的博客:http://w-blog.cn原文地址:**Ryan Spraetz的**How should deadlines be used in software en

[喵咪Liunx(6)]Nginx日志分析工具goaccess前言哈喽大家好呀!真是好久不见了,说来有些惭愧,离上一次发布博客已经是2016年的事情了,在这段时间中工作也比较忙,需要学习的东西也比较多,趁着过年前后有一些时间可以来好好分享分享一些有意思的东西,今天给大家带来的是Nginx日志分析工具goaccess,goaccess可以对Nginx的LOG文件进行分析,对请求量,用户数量等进行可视化

[喵咪Liunx(5)集群管理利器pssh前言哈喽大家好呀!大家在管理服务器的时候如果只是一两台还好,当你管理三台以上的服务器的时候,你安装任何一个软件更改任何一个配置文件就要无比麻烦的每一台机器都去执行命令(当然用docker等的请无视),pssh可以帮我们解决这些问题,可以吧准备好的脚本批量在所有机器上进行执行,帮助你批量管理服务器集群!附上:喵了个咪的博客:w-blog.cnpssh官网地址:

[喵咪Liunx(4)Monit进程监控前言有一段时间没有更新博客了,最近因为公司项目全球化以及最近慢慢在偏向学习团队管理忙的有点不可开交了,不过这次要给大家带来两篇关于Liunx日常开发维护管理中非常好用的两款利器,其中一个就是Monit啦,Monit是什么呢?他是一个进程级别的一个监控软件,不卖关子我们就进入到今天的正文当中吧!附上:喵了个咪的博客:w-blog.cnMonit官网地址:http

[喵咪开源软件推荐(6)]TCP链路加速技术KcpTun今天有给大家带来新的东西KcpTun,KcpTun是利用Kcp技术对Tcp链路传输进行加速,大家熟知的网络协议一般是UDP和TCP,UDP传输快但是没有状态消息不可靠,TCP虽然稳定也有重试机制但是因为机制复杂三次握手等机制速度会稍微比较慢,大名鼎鼎的谷歌就基于UDP重新开发过QUIC协议,Kcp协议也是基于UDP上进行算法封装的快速可靠协议,

[喵咪开源软件推荐(5)]开源DNS服务-bind哈喽大家好呀!~~ 今天又为大家带来了一个有趣的东西就是DNS服务器,稍微了解网络的童鞋都知道我们在使用域名访问一个网站的时候是通过公共DNS服务器解析到IP地址的,比如谷歌的8.8.8.8 比如 114.114.114.114 都是大家耳熟能详的DNS IP 地址, 那么我们在开发中DNS有什么用呢?怎么大家一个DNS服务呢?就是我们今天博文的主要

[喵咪开源软件推荐(5)]开源DNS服务-bind哈喽大家好呀!~~ 今天又为大家带来了一个有趣的东西就是DNS服务器,稍微了解网络的童鞋都知道我们在使用域名访问一个网站的时候是通过公共DNS服务器解析到IP地址的,比如谷歌的8.8.8.8 比如 114.114.114.114 都是大家耳熟能详的DNS IP 地址, 那么我们在开发中DNS有什么用呢?怎么大家一个DNS服务呢?就是我们今天博文的主要

[喵咪开源软件推荐(4)]Liunx跑分神器-unixbench哈喽大家好呀! 这次给大家带来一个Liunx跑分神奇,在笔者在老早之前有听到一则传闻,阿里云相同的配置性能有差异 有的是X5的有的是E5的档次各有不同,然后有人开了100台阿里Liunx的机器,在里面选出了4台性能最好的时候,那个时候我就在纳闷Windows可以通过鲁大师CPU-Z的跑分,Liunx怎么跑分呢?这次就为大家带来Liunx

[喵咪开源软件推荐(3)]全球IP库-GeoLite2-City哈喽大家好啊!喵咪开源软件推荐(3)终于和大家见面了,这次我们来说说什么呢?大家有没有遇到过这样一个场景,当你出国游玩的时候到了一个国家时你的手机就自动提示你在哪里是否需要切换时区,或者是地图定位时机器没有GPS芯片怎么通过网络定位获取经纬度等信息,这个时候我们能够获取到最好的属性就是IP地址,每一个国家都分配的有一批IP地址并且也有专

[喵咪软件推荐(2)]全球服务器测速工具speedtest-cli前言在上一篇章中给大家介绍了全球国家信息国旗区号等一些全球国家新的库,今天也给大家介绍一个和全球化有关的软件,它的名字叫做speedtest-cli,直译成中文就是速度测试命令,那么究竟是测试什么速度呢? -> 请紧张继续往下看附上:喵了个咪的博客:w-blog.cnspeedtest-cli GitHub :https://gith

[喵咪软件推荐(1)]全球国家信息库前言哈喽大家好啊!今天又来刨坑了,这次给大家带来的是软件推荐系列,主要是把一些特别好用的一些软件推荐给大家并且分析使用场景以及用法,今天要给大家介绍的一个类软件呢,主要是解决全球化地址这类问题,那么话不多说进入今天的正片环节.附上:喵了个咪的博客:w-blog.cn全球国家信息国旗以及经纬度范围:https://github.com/mledoze/countri

[喵咪BELK实战(3)] logstash+filebeat搭建前言在上节我们已经把elasticsearch+kibana已经搭建起来了,可以正常的进行数据的索引查询了,但是直接对elasticsearch进行操作也非常不方便, elasticsearch很难对接其他的数据源,这是使用就需要logstash和filebeat出场了…附上:喵了个咪的博客:w-blog.cn官网地址:https:/

[喵咪BELK实战(2)] elasticsearch+kibana搭建前言上一节我们介绍了日志系统和BELK之后就要到激动人心的安装环境了,实践出真知都知道日志系统很重要只有把它搭建起来才有效果,那我们今天就来一同搭建 BELK 日志系统中的elasticsearch+kibana来进行实时的索引在线查看功能附上:喵了个咪的博客:w-blog.cn官网地址:https://www.elastic.

[喵咪BELK实战(1)]浅谈日志的重要性以及介绍BELK前言哈喽大家好呀!这次主要为大家带来BELK日志系统相关的博文,日志大家都知道,比如nginx请求日志,系统的日志,自己程序写入的日志,可以说是日志无处不在,但是对于这些无处不在的日志我们怎么去查看分析它们呢?这个就比较有意思了,随着系统逐渐增大排查问题的成本越来越高,这个时候就需要引入日志系统来聚合索引和查询日志及时发现问题,轻松追查故障原

PhalGo-Respones在处理请求 Api 请求中 , 除了对 Request 之外最重要的就是 Response 了 , PhalGo 支持两种格式的参数返回一种是 Josn 一种是 XML , 在 PhalGo 中默认使用JSON进行返回 , 可以在入口文件进行全局返回参数配置或在摸个接口内部指定此接口返回的参数类型Response初始化Response 和 Request 一样需要在 A

PhalGo-参数验证过滤phalGo 的参数过滤使用 beego 提供的独立模块 validation 进行封装改造 , 从而达到可以和 request 一同使用的效果 , 通过统一的报错机制对不匹配的参数进行处理.连贯操作当我们自己进行参数验证时,我们需要先获取参数,在判断参数是否存在,判断长度是否在制定范围内,在判断是否符合我们所需要的格式,尤其在Go语言需要花费大量的代码量来实现这一系列功能

PhalGo-参数验证过滤phalGo 的参数过滤使用 beego 提供的独立模块 validation 进行封装改造 , 从而达到可以和 request 一同使用的效果 , 通过统一的报错机制对不匹配的参数进行处理.连贯操作当我们自己进行参数验证时,我们需要先获取参数,在判断参数是否存在,判断长度是否在制定范围内,在判断是否符合我们所需要的格式,尤其在Go语言需要花费大量的代码量来实现这一系列功能

PhalApi-RabbitMQ基于PhalApi专业队列拓展前言RabbitMQ一直都是队列中的标杆,这次有幸PhalApi也能啃上RabbitMQ真是一件大好事,感谢@牧鱼人提供基于php-amqplib/php-amqplib封装的PhalApi-RabbitMQ扩展关于RabbitMQ相关的安装集群配置可以参考笔者博客的MQ模块,地址如下 https://my.oschina.net/we

[喵咪MQ(3)]RabbitMQ集群安装配置在各项生产环境使用中,容灾总是一个很重要的话题,如果单点故障会导致整个系统奔溃或者是丢失数据是不是好气好气的,领导会追着你问这是怎么了?你只能说是我们没有经验什么什么组件故障了,这个是低级玩法,高级玩法是配置好集群容灾,告诉老板死一两台机器宕机了没有事没有影响,所以我们今天就来讲讲RabbitMQ的集群模式…附上:喵了个咪的博客:w-blog.cnRab

[喵咪MQ(1)]RabbitMQ简单介绍准备工作前言哈喽大家好呀! 看标题就知道我们这次要讲MQ,之前博客中有提到的KafKa理论上来说也是一个优秀的MQ队列软件,比较知名的MQ有:Go语言编写的 nsq , 阿里云的RocketMQ , 大名鼎鼎的KafKa 以及 redis(也可以做队列),不过我们这次的主角是RabbitMQ.附上:喵了个咪的博客:w-blog.cnRabbitMQ官网 :h

[喵咪KafKa(3)]PHP拓展See-KafKa前言(Simple 简单 easy 容易 expand 的拓展)KafKa是由Apache基金会维护的一个分布式订阅分发系统,KafKa它最初的目的是为了解决,统一,高效低延时,高通量(同时能传输的数据量)并且高可用一个消息平台,它是分布式消息队列,分布式日志,数据传输通道的不二之选,但是可惜的时PHP的拓展实在不是很好用(php-kafka拓展已

[喵咪KafKa(2)]单机模式运行KafKa前言在上节我们介绍完KafKa之后,今天我们来搭建KafKa三种模式(单机模式,伪集群,集群)中的一种单机模式的搭建,在正常的使用中我们一般吧单机模式作为开发环境的标配,今天就来和喵咪一同搭建一个KafKa的单机环境吧!附上:喵了个咪的博客:w-blog.cnKafKa官网地址:http://kafka.apache.org/Git地址:https://

[喵咪KafKa(1)]KafKa的介绍以及使用场景前言哈喽!大家好呀,真是一坑未平一坑又起,otter还在继续更新的同时,笔者也为大家带来了关于kafka相关的一系列博客,要说到kafka就离不开现在特别火热的大数据技术,了解的童鞋可能只要一些大数据的带名词比如Hadoop,spark,storm,包括最近很火的微服务,kafka也是其中一员,但是不同的是kafka并不负责处理数据,要给kafka

[喵咪海外部署]海外部署访问技术探索当一个公司在开展海外业务的时候,对他的技术就有了挑战,因为海外用户访问会遭遇到各种问题(比如网络丢包,延迟高,国内防火墙等问题),喵咪现所在的公司从去年开展全球化业务至今,在技术上也做了很多探索,在这里和大家一同交流下经验希望可以帮助到大家或正在为全球化苦恼的小伙伴们.PS:没有终极解决方案,只有最符合公司现状和当前业务类型方案,需要结合目前状态选择符合成本的方案

基于PhalApi2的Redis拓展前言Redis在PHP开发中运用场景已经无处不在,小到简单缓存大到数据库或消息队列都可以使用Redis来进行实现,基于PhalApi2的出世,PhalApi2-Redis也紧接着进行了本次适配来提供更好的开发体验,PhalApi2-Redis提供相对于原生PhalApi2-RedisCache缓存更强大的Redis操作以及完善的封装机制,帮助开发者更好的使用Red

[PhalApi实战篇(1)]Redis队列处理异步任务前言先在这里感谢phalapi框架创始人@dogstar,为我们提供了这样一个优秀的开源框架.哈喽大家好呀!之前编写的PhalApi入门篇和进阶篇已经过去了好久了,在此之间也回答了很多小伙伴各种各样的问题,这里也希望吧里面一些问的比较多的和比较有趣的以及笔者在使用PhalApi一些新的体会,都提取出来为大家带来一些能够在实际开发中可以使用的技术

PhalApi-PHPExcel基于PhalApi的PHPExcel拓展前言在之前有提供过一个PhalApi-Excel拓展来提供导出,但是还是有一些不方便,比如没有导入,导出文件体积过大此类问题,也是应为自身业务有使用到重新来提供一个PHPExcel的拓展 来提供更为强大的Excel处理功能附上:官网地址:http://www.phalapi.net/开源中国Git地址:http://git.o