文振熙 -- 云计算技术博客站_文振熙_CSDN博客-phalapi,PhalApi,大数据领域博主

原创 DevOps：从「蒸汽时代」到「高铁时代」，SUNMI DevOps转型之路
原力计划

商米科技成立于 2013 年，总部位于上海市杨浦区创智天地，是一家极具产品创新基因和互联网基因的公司。商米在短时间内迅速成长为一家近1000人的企业，产品研发人数占比一度超过70%。做为一家初创企业，商米研发团队早期也经历过与当下大部分创业公司一样困境：协作基本靠吼、发布基本靠手的阶段。然而，业...

2020-03-14 14:18:16 1303 0

原创 Wayne - 360开源多租户K8S管理平台（使用教程）
原力计划

Wayne是笔者无意之间刷文章了解到的，简单使用之后发现能解决当前眼下诸多问题，出于推动公司容器化进程的原因选择开始使用，当前所有环境都已经在使用中。借助官方的介绍Wayne 是一个通用的、基于 Web 的 Kubernetes 多集群管理平台。通过可视化 Kubernetes 对象模板编辑的方式...

2020-04-22 09:07:24 1019 0

原创 Wayne - 360开源多租户K8S管理平台（介绍和安装）
原力计划

Wayne是笔者无意之间刷文章了解到的，简单使用之后发现能解决当前眼下诸多问题，出于推动公司容器化进程的原因选择开始使用，当前所有环境都已经在使用中。借助官方的介绍Wayne 是一个通用的、基于 Web 的 Kubernetes 多集群管理平台。通过可视化 Kubernetes 对象模板编辑的方式...

2020-04-22 09:06:54 1076 0

原创 Redash - 强大的开源数据可视化平台

我们会经常提到BI系统(Business Intelligence)，它是一个重要的数据出入口，帮助数据，帮助企业获取数据表报制定战略决策。大家熟知的有FineBI和Microsoft的powerBI，但是使用成本都不低需要授权需要客户端，使用配置也相当繁琐。笔者今天给大家带来的是一款开源纯Web...

2020-04-22 09:03:07 1493 0

原创 Nacos - 配置管理中心（阿里开源）

配置中心相信大家都有听过，zookeeper、apollo等等都是配置中心的代表，但大部分都是JAVA系为主的，笔者主要开发语言使用的是Golang当然也有类似于ETCD这样的组件，但是并不方便管理也无法可视化，在无意之间发现了阿里爸爸开源了nacos这个服务发现+配置中心组件，也经过了一段时间的...

2019-10-24 09:10:59 9729 0

原创 Octan - K8S-Dashboard代替品

相信使用过K8S或容器化的大家都有了解过私有容器仓库Harbor，Harbor是VMware大佬开源的一个私有容器镜像仓库，VMware也开源了另外一个工具就是本文要说到的Octant，从笔者的角度上看来它更像一个Dashboard的代替品。附上: 喵了个咪的博客:w-blog.cn Octan...

2019-09-23 17:21:02 1445 0

原创 Kubernetes终端管理工具 — KubeBox

附上: 喵了个咪的博客:w-blog.cn KubeBox官方Git地址:https://github.com/astefanutti/kubebox PS：KubeBox需要依赖本地的kuberctl才能正常启动一、介绍和安装KubeBox 控制K8S现在我们已经可以通过Dashboard...

2019-09-09 14:20:51 719 0

原创 Kubernetes命令行管理工具 — Kubectl

附上: 喵了个咪的博客:w-blog.cn Kubernetes官方文档:https://kubernetes.io/docs/reference/ Kubernetes官方Git地址:https://github.com/kubernetes/kubernetes PS:本系列中使用 Kube...

2019-08-29 15:34:01 736 0

原创 Solr搜索引擎 — SolrCloud安装和集群配置

搞定了一切的一切之后下一步就是正式使用了，但是之前介绍的都是在单台服务器上进行的部署，如果在生产环境出现了单台故障怎么办呢？提供稳定性和性能的最直观的方式就是集群，solr官方提供了cloud的集群方式附上: 喵了个咪的博客：http://w-blog.cn Solr官网：http://luce...

2019-05-27 16:21:02 461 0

原创 Solr搜索引擎 — 中文全拼简拼分词

搞定了中文分词下一个就是要来搞定拼音分词了，拼音分词有分为全拼和简拼附上: 喵了个咪的博客：http://w-blog.cn Solr官网：http://lucene.apache.org/solr/ PS：8.0.0版本已经发布，本文使用此时较为稳定的7.7.1版本一，全拼分词 >...

2019-05-27 16:20:21 504 3

原创 Solr搜索引擎 — 查询命令和两种中文分词使用

已经和mysql建立好了关联，可以查询和更新mysql的数据量，接下来就是进阶的使用方式了附上: 喵了个咪的博客：http://w-blog.cn Solr官网：http://lucene.apache.org/solr/ PS：8.0.0版本已经发布，本文使用此时较为稳定的7.7.1版本 ...

2019-05-24 13:56:31 1369 0

原创 Solr搜索引擎 — 通过mysql配置数据源

上一节我们已经通过两种方式运行了solr，本节演示怎么配置solr的mysql数据源附上: 喵了个咪的博客：http://w-blog.cn Solr官网：http://lucene.apache.org/solr/ PS：8.0.0版本已经发布，本文使用此时较为稳定的7.7.1版本一，准...

2019-05-21 17:26:58 2673 8

原创 Solr搜索引擎 — SolrCloud介绍和环境准备

搞定了一切的一切之后下一步就是正式使用了，但是之前介绍的都是在单台服务器上进行的部署，如果在生产环境出现了单台故障怎么办呢？提供稳定性和性能的最直观的方式就是集群，solr官方提供了cloud的集群方式附上: 喵了个咪的博客：http://w-blog.cn Solr官网：http://luce...

2019-05-20 13:48:00 244 0

原创 Solr搜索引擎 — 两种安装方式

常常在业务开发中会遇到大列表的查询需求或者按照各项条件搜索内容，一般的做法往往都是数据库直接搞定，但是到了一定的程度只有这类需求会带来巨大的开销，一个表格中涉及到了5张表的数据，搜索要求从其中3张表的不同字段做到模糊查询，如果还用传统的方式实现起来就很有难度了逻辑和数据库性能就是一个考验，要是如果...

2019-05-17 11:06:58 218 0

原创 KONG网关 — 插件开发

虽然kong提供了那么多的插件，但是不可能百分百满足了对于网关的需求，在很多系统中不可能吧用户体系用到kong提供的权限验证体系，包括对于一套系统完整的RBAC系统大家都有不同的改进，以及请求加密参数校验等等，所以对于扩展性对于网关的定义需要有一定的能力的，kong是通过nginx+lua开发的通...

2019-05-10 16:30:54 2882 0

原创 KONG网关 — 丰富的插件

为什么kong这么火热呢？当然是它拥有强大的插件群来解决我们本来需要重复手动配置或者需要自己实现的内容，kong在1.X版本加强了对于插件的支持，官方提供的插件就是几十个，通过插件可以带来各种场景更加方便使用比较使用的功能： Oauth2.0 Hmac Auth IP限制 CORS 跨域配置 ...

2019-05-09 10:00:14 785 0

原创 KONG网关 — KongA管理UI使用

kong虽然很强大，但是在管理方式上比较单一只能通过API请求来管理，那么有没有一个UI界面的管理工具呢？这里就要说到kong管理UI新起之秀Konga 附上: 喵了个咪的博客：w-blog.cn kong官网：https://konghq.com/ konga官网：https://github....

2019-05-05 11:21:43 7893 0

原创 KONG网关 — 介绍安装

网关是微服务中不可或缺的一部分，它承载了所有请求流量入口，参数验证拦截，用户权限验证，但是除了JAVA的spring cloud之外，公共网关屈指可数，其中最受关注的就是KONG了，笔者半年前就已经在使用kong的那时候使用的是0.11.2-bate版本（之前还被官方坑了一次），前不久终于等到了1...

2019-04-30 16:46:04 3623 2

原创 Grpc-Gateway - Grpc兼容HTTP协议文档自动生成网关

因为之前的测试结果让笔者对PHP使用GRPC很失望，如果使用HTTP的方式Guzzle还可以提供并发能力来降低接口消耗，Grpc只能阻塞，但是如果使用HTTP的话对于调用限制和GO调用GO来说不太友好，有没有一个两全其美的方式可以使用Grpc的前提下又兼容HTTP调用，让客户端可以更具自身情况自由...

2019-03-18 11:21:31 1435 0

原创 Grpc — 整体性能测试

当然最最最重要的就是性能，在使用RPC的场景下对于多个程序通讯完成业务所消耗的性能是有巨大挑战的，笔者也做了一套完整的性能测试大家可以继续往下看。附上: 喵了个咪的博客：w-blog.cn 博文实例demo：GitHub - sunmi-OS/grpc-php-to-golang-demo gr...

2019-03-06 12:00:19 1797 0

原创 Grpc介绍 — Go-Service To PHP-Client

笔者现在公司项目大部分是PHP进行开发，要完成整体微服务化必须要考虑PHP使用上的可行性，Grpc也是支持PHP作为client端发起Grpc请求，但是依赖的扩展等都相对复杂（毕竟不是亲儿子），那么本文就接受怎么使用PHP调用Grpc服务。附上: 喵了个咪的博客：w-blog.cn 博文实例de...

2019-03-06 11:58:18 653 0

原创 Grpc介绍 — ProToBuf基本使用

RPC（Remote Procedure Call）远程过程调用，关注笔者的同学应该知道之前笔者出过关于Thrift对应的问题，这次主要来说的是Google开源的Grpc，和Thrift有很大的区别Grpc是基于HTTP2.0并且依赖protobuf，为什么又推出关于grpc的文章呢？请大家继续往...

2019-02-28 10:57:47 525 0

原创七, 跨语言微服务框架 - Istio日志采集EFK

ELK日志系统大家不会陌生(zipkin + jaeger , prometheus + grafana)解决了大家对于链路对于统计采集的需求,但是真正的对于日志进行存储还是得专业的上,在Istio中官方提供的方案是EFK(Fluentd + Elasticsearch + Kibana)Flu...

2019-01-28 18:42:39 1086 2

原创六, 跨语言微服务框架 - Istio Ingress和Egress详解(解决Istio无法外网访问问题)

在微服务中另外一个重点就是网关,网关理论包含入口网关和出口网关,传统意义上的网关很难做到出口网络控制,但是对于Istio是一件非常轻松的事情(因为所有的出口流量都会经过Istio),入口网关控制解析路由数据流向,出口网关控制对外访问的限制,在Istio中使用了 Ingress和Egress 来实...

2018-12-07 11:02:08 2414 0

原创五, 跨语言微服务框架 - Istio链路监控和监控可视化

在使用微服务会面临最大的一个问题也就是在服务数量增加带来的排查成本和监控成本,大家为了解决这些成本也衍生出了很多工作,当然在Istio中也很好的融合了这些组件,默认安装下就已经带上了这些组件(zipkin + jaeger , prometheus + grafana),本节就来看看怎么来使用这...

2018-11-30 15:52:54 1241 0

原创四, 跨语言微服务框架 - Istio官方示例(超时控制,熔断器,流量复制)

基础的Istio环境已经搭建完成,我们需要开始了解Istio提供作为微服务网格的各种机制,也就是本文标题的(超时控制,熔断器,流量复制,速率控制)官方很给力的准备的实例项目也不需要大家自己编写demo来进行测试,那就来时跑跑看吧. 附上: 喵了个咪的博客:w-blog.cn Istio官方地址:...

2018-11-23 12:01:44 1281 0

原创三, 跨语言微服务框架 - Istio官方示例(自动注入.请求路由.流量控制.故障注入)

基础的Istio环境已经搭建完成,我们需要开始了解Istio提供作为微服务网格的各种机制,也就是本文标题的自动注入.请求路由.故障注入.流量切换,官方很给力的准备的实例项目也不需要大家自己编写demo来进行测试,那就来时跑跑看吧. 附上: 喵了个咪的博客:w-blog.cn Istio官方地址:...

2018-11-19 11:17:01 1150 0

原创二, 跨语言微服务框架 - Istio环境搭建

当我们知道Istio是一个好东西，能够帮助我们快速实现微服务化中的一些关键节点，那么下一步就需要考虑怎么使用Istio了，Istio现在版本是和Kubernetes强关联在一起的，如果大家还不是太了解Kubernetes可以先从笔者的文章中了解，通过Kubernetes生态Istio可以非常方便...

2018-11-12 11:35:54 1918 0

原创一, 跨语言微服务框架 - Istio 简绍和概念

微服务的概念已经在各大公司实践开了，以Java为代表的spring boot成为了微服务的代表，K8S+Docker成为了微服务运行的最佳环境，微服务的概念已经离我们没有那么遥远了。当然微服务是复杂的，除了组件繁多还需要代码做出很多改造才能享受到它带来的优势，那么有没有一种方式可以不需要太多代...

2018-11-07 18:07:09 2429 0

原创 Hadoop - 企业级大数据管理平台CDH(监控)

附上: 喵了个咪的博客:w-blog.cn cloudera官网: https://www.cloudera.com/ 官方文档地址: https://www.cloudera.com/documentation/enterprise/latest.html 一 , 监控可以在管理...

2018-08-26 10:46:08 4479 0

原创 Hadoop - 企业级大数据管理平台CDH(小技巧一)

附上: 喵了个咪的博客:w-blog.cn cloudera官网: https://www.cloudera.com/ 官方文档地址: https://www.cloudera.com/documentation/enterprise/latest.html 一 , 磁盘扩容磁盘...

2018-08-26 10:45:42 1361 0

原创 Hadoop - 企业级大数据管理平台CDH(HA高可用和Sqoop1)

在使用大数据集群的时候容灾是一件很重要的事情,CM可以非常方便的进行HA配置,CM也支持sqoop1和sqoop2,之前已经配置了sqoop2本节来一起配置sqoop1 附上: 喵了个咪的博客:w-blog.cn cloudera官网: https://www.cloudera.com/...

2018-08-26 09:55:24 619 0

原创 Hadoop - 企业级大数据管理平台CDH(安装Hadoop组件)

当我们已经把cm-service和cm-agent安装完成之后,接下来我们就要到最重要的部分了,安装Hadoop组件附上: 喵了个咪的博客:w-blog.cn cloudera官网: https://www.cloudera.com/ 官方文档地址: https://www.clou...

2018-08-23 09:30:08 806 0

原创 Hadoop - 企业级大数据管理平台CDH(安装cloudera-manager)

准备工作已经完成,接下来我们就要正式的开始在我们服务器集群上搭建CDH 附上: 喵了个咪的博客:w-blog.cn cloudera官网: https://www.cloudera.com/ 官方文档地址: https://www.cloudera.com/documentation/...

2018-08-18 23:55:11 465 0

原创 Hadoop - 企业级大数据管理平台CDH(介绍和准备工作)

2018-08-09 11:15:01 4644 2

原创 Azkaban 任务调度系统(使用和小技巧)

上节主要介绍了安装搭建和简单的运行一个job,但是真正使用到实际场景还是需要了解更多的知识,比如任务怎么互相依赖,可以选择指定的节点来执行吗等等一些相关的操作会在本节中进行介绍附上: 喵了个咪的博客:w-blog.cn Azkaban官网: https://azkaban.github...

2018-07-26 14:12:17 7713 0

原创 Azkaban 任务调度系统(安装搭建)

无论是在业务开发还是在大数据开发中,脚本都是必不可少的存在,在初期我们会使用crontab来解决问题,那么当发现规模变大监控需求可视化需求的到来Crontab已经显然满足不了需求,抱着一颗解决大数据任务脚本和业务任务脚本难题的心态最终在oozie和Azkaban选择了使用Azkaban来作为公...

2018-07-26 14:11:34 3431 0

原创 [喵咪Liunx(7)]Ceph分布式文件共享解决方案

[喵咪Liunx(7)]Ceph分布式文件共享解决方案前言哈喽大家好呀! 这次给大家带来的Liunx软件分享是鼎鼎大名的Ceph分布式文件系统,笔者了解到Ceph也是遇到了一个问题就是在使用Kubeneters的时候在各个容器中都需要使用同一套文件,但是使用NAS盘的方式不管是更新还是...

2018-07-12 09:47:19 980 0

原创 Kubernetes(七) - Volume

Kubernetes(七) - Volume Docker是无状态的不管被销毁多少次都会恢复到最初的状态,但是这就意味着在程序过程中产生的配置也好文件也好会丢失,对于Docker我们经常会使用磁盘挂载的方式来保存一些重要的内容,比如运行在Docker下的数据库的源数据,比如程序的日志文件等,...

2018-05-19 11:07:55 1826 0

原创 Kubernetes(六) - Secret和私有仓库认证

Kubernetes(六) - Secret和私有仓库认证对一个公司来说安全也是最为重要的因为可能一旦出现安全问题可能这个公司就完了,所以对密码管理是一个长久不变的话题,Kubernetes对密码管理提供了Secret组件进行管理,最终映射成环境变量,文件等方式提供使用,统一进行了管理更换...

2018-05-19 11:06:57 3770 0