saltstack（想往云计算/大数据方向发展，学习路线是什么）

本文目录

• 想往云计算/大数据方向发展，学习路线是什么
• IT管理员常用的管理运维工具有哪些
• python学习的前景怎么样
• 学习python就业方向都有哪些

想往云计算/大数据方向发展，学习路线是什么

先搞清云和大数据的概念和关系 ，就自然知道如何学习路径了；

AI、大数据与云计算的关系 说到AI，总是不可避免的联想到大数据与云计算，这三者可谓相辅相成，只有三者结合起来，才有可能成为真正的人工智能。只有我们搞清楚三者之间的关系应用起来就得心应手，而不是盲目冒进。 AI、大数据与云计算的概念 简单来说，AI是基于计算机软硬件，通过模拟人类思考和智能行为的一种理论方法和技术。而云计算则是将服务器、存储器、存储设备以及网络等资源整合起来封装成一种IT服务的模式，为客户提供相关的按需一站式服务。大数据则是将结构化数据和非结构化数据形成的所有数据整合起来，也就是企业内部管理、业务运作数据和外部互联网上的相关数据整合起来用以分析发现数据背后相关关系的信息资产，来优化业务和管理。 从上述三者的简单概念我们不难就发现三者之间都有着一定的关联。云计算是一切新it的基础，企业部署了云计算，通过云把内外资源集中、整合起来，才可能有大数据的分析，所以云是大数据和AI的基础。然后由大数据便自然进化到AI层面。所以大数据又是AI智能化程度升级和进化的基础，拥有大数据，AI才能够不断的进行模拟演练，不断向着真正的人工智能靠拢。 三者存在紧密相关的联系 谷歌的AlphaGo就是这么一个典型的例子，通过大数据中的无数棋谱加以学习，才能够在后面进化到打败人类围棋高手的程度。 只有通过云计算来采集相关的数据而形成大数据，而只有在云上形成的数据才可能称之为大数据，通过云计算则可以对这些数据进行分析，变成有用的信息。 AI与云计算就是一体双生，两者都可以进行计算，AI可以进行学习，而云计算则可以进行分析，甚至可以说，两者的未来都是相同的。 三者之间的关系，在目前来看已经越来越模糊，他们的边界已经无法再进行清晰的定义。人工智能之所以大火，就是因为基于其关键的技术——深度学习，而这项技能，只有在在云计算与大数据日趋成熟之后才得到实质性进展的。 企业数字化转型从向云演进开始 传统企业在新时代的数字化转型的第一要务是向云演进，只有通过云把企业的内外部资源整合起来逐步积累成大数据，基于大数据的分析来优化企业管理和业务以及市场上细分客户，为客户提供好的体验和一站式服务，从而提升企业竞争力，打造智慧企业并逐步具有一定的AI能力，向工业4.0演进，最终实现企业的数字化转型，形成C2B的业务模式！ 大数据和AI的深入理解 大数据，或者称之为巨量资料，指的是需要全新的处理模式才能具有更强的决策力、洞察力和流程优化能力的海量、高增长率和多样化的信息资产。也就是说，从各种各样类型的数据中，快速获得有价值信息的能力，就是大数据技术。而大数据思维创新应用者，通过对大数据的组合引用实现新的商业模式创新，获取潜在空白市场的收入。 大数据的核心在于为客户挖掘数据中蕴藏的价值。 基于云和大数据才使得AI有了长足发展 在云计算与大数据成熟沃土上才有AI的高速发展，AI主要包括计算机实现智能的原理、制造类似与人脑智能的计算机，是计算机能够实现更高层次的应用。并且AI还涉及到计算机科学、心理学、哲学以及语言学等学科。 从思维观点看，AI不仅限于逻辑思维，要考虑形象思维、灵感思维才能促进AI的突破性的发展，数学常被认为是多种学科的基础科学，数学也进入语言、思维领域，AI学科也必须借用数学工具，数学不仅在标准逻辑、模糊数学等范围发挥作用，数学进入AI学科，它们将互相促进而更快地发展。 AI目前市场最为广阔，作为替代人力劳动的工具，在一些场景中，AI的效率要比人类更高，并且还能保持稳定的质量以及更好的服务，从而创造更多的商业价值。 小结 AI、云计算以及大数据，发展到如今，它们的边界也越来越模糊，所产生的的职能重叠性也越来越高，相信在最后，这三者终将会融为一体，将深刻改变人类社会的发展！

IT管理员常用的管理运维工具有哪些

update ELK （日志采集、分析、报警）

update knockd （解决动态IP防火墙设定）

update smokeping（网络质量监控）

update vagrant（虚拟机外挂） TCPcopy这个神器，貌似很多人都还在用着ab模拟测压力，TCPcopy能直接导入线上流量供上线前的风险测试。

下面对使用过的工具会简单进行功能及使用场景介绍，并提及一些所了解的工具。

统一帐号管理你还在自己写脚本批量增加机器的用户、分组和修改密码或者同步主机的/etc/passwd吗？你还在使用脚本批量对用户设置权限吗？如果有一台帐号主机能够提供所有服务器的帐号、密码、权限控制，如此一来，如果想要增加、修改、刪除用户，只要到这台服务器上面处理即可，这样是不是很方便？

1. LDAP

• 统一管理各种平台帐号和密码，包括但不限于各种操作系统（Windows、Linux）认证，Linux系统sudo集成（限制用户的sudo权限以及使用sudo的主机），用户可主机登入限制等
  
• 可与Apache，HTTP，FTP，SAMBA，ZABBIX，Jenkins等集成实现多个平台用同一套帐号密码
  
• 支持密码策略定制（限制用户密码强度、密码过期时间、强制修改、超过验证错误次数锁定帐号）等支持插件式鉴别模块PAM
  
• 不同平台权限的设定、划分

2. jumpserver

一款国内开源的由python编写开源的跳板机(堡垒机)系统，能够实现操作审计（包括文本命令，实时、事后用户操作录像回放），利用ansible批量对机器进行操作。基于ssh协议来管理，客户端无需安装agent，能够让用户通过网页端或者shell操作有权限的机器。

自动化部署

1. Fabric

优点：

• 小巧，无需装agent，基于SSH，可以在本地、远程主机上运行所有的shell命令和python函数。主要提供运行本地、远程命令，上传、下载文件功能。适合用来写不常用、碎片化的工具

缺点：

• 内置模块较少，很多东西要自己编写命令实现。

2. Ansible

优点：

• 基于ssh实现，无需agent

• 日常部署需要的功能基本上有模块支持，比如git、打包解压、copy文件、yum安装等等都已经集成到了核心模块里面，alternatives、xattr等模块也有，当然，理论上所有操作都能用命令模块来完成。

缺点：

• 比较依赖网络的健壮性，网络不好的话经常会有失败的现象

• 运行ansible的主机需要能与远程主机ssh直连，不过可以用Proxycommand或者sshuttle来解决

其他的还有SaltStack、Puppet、Chef、func等。

DNS

1. dnsmasq

• 提供 DNS 缓存，DNS重定向、记录转发，DNS反向解析， DHCP 服务功能，配置简单 可以配置对上层DNS轮询请求记录

• 配置支持通配符，不用批量修改hosts

2. pdnsd

• 提供DNS缓存服务

• 设置向上级DNS请求方式（TCP、UDP，Both）

• 设置多个上级DNS并设置请求规则

• 配置缓存保留时间

3. namebench Google

• 自行研发的一款DNS测速工具

压力测试

1. ApacheBench

创建多并发线程模拟多用户对URL访问进行压力测试

Apache中有个自带的，名为ab的程序，ab可以创建很多的并发访问线程，模拟多个访问者同时对某一URL地址进行访问。

2. TCPcopy、UDPcopy

实时将TCP/UDP数据包copy到另一机器进行压力测试

提到压力测试，可能大多数人首先想到的就是ApacheBench，但ab是模拟访问，模拟毕竟是模拟，然而线上会遇到的错误可能往往无法预知，其实国内已经有人开发了一款线上流量copy的工具，就是TCPcopy、UDPcopy，能够之间copy线上流量到测试环境，大大减少了上线前的风险。支持设置copy流量倍数放大、缩小，修改流量的客户端IP源地址。

3. TCPburn

类似ApacheBench

tcpburn是由网易自主研发的能够模拟千万级别并发用户的一个软件，目的是能够用较少的资源来模拟出大量并发用户，并且能够更加真实地进行压力测试， 以解决网络消息推送服务方面的压力测试的问题和传统压力测试的问题。

4. goreplay

用于对HTTP压力测试的实时流量复制

安全

1. PortSentry

对端口扫描的机器做防御策略

特点：

• 给出虚假的路由信息，把所有的信息流都重定向到一个不存在的主机；

• 自动将对服务器进行端口扫描的主机加到TCP-Wrappers的/etc/hosts.deny文件中

• 利用Netfilter机制、包过滤程序，比如iptables和ipchain等，把所有非法数据包（来自对服务器进行端口扫描的主机）都过滤掉；

• 通过syslog()函数给出一个目志消息，甚至可以返回给扫描者一段警告信息。

2.fail2ban

对SSH密码暴力破解的机器做防御策略

防御 SSH 服务器的暴力破解攻击，对安全性要求过高的服务器还是建议禁止密码登入，使用密钥或者密钥+密码验证。

3. Google Authenticator

可以将第二部验证设置为通过短信或语音电话接收验证码，同时也支持 Android、iPhone 或 BlackBerry 设备来生成验证码。

一款开源的，可基于开放规则（如 HMAP/基于时间）生成一次性密码的软件。Google公司同时也支持插件式鉴别模块PAM，使其能和其他也适用PAM进行验证的工具（如OpenSSH）协同工作。

4. knockd

害怕服务器被入侵，但是奈何经常在不同的地方登入或者登入的IP经常变动？knock一下吧。在服务器端设置只有你知道的“暗语”来让服务器给你芝麻开门。

knockd可以让server监听特定的端口，如果client按指定的顺序及协议（TCP/UDP）访问server指定端口，则运行指定命令，于是我们就可以用它来做一些有趣的事，比如利用IPTABLES动态增加防火墙等等。 另外，knock client也可以用来模拟发包探测网络连通性。比如不确定本机到对端的某个端口是否可通，可以在远程用tcpdump监听对应端口，然后用knock客户端模拟发包。

虚拟化

1.vagrant

每次用想要新建一个虚拟机是不是都得设置虚拟机名称？设置虚拟机类型、版本、选择镜像、内存大小、虚拟机CPU核心数量、设备等一堆东西，然后还要装系统balabala..

然而我只需要在终端下面输入一条vagrant up machine 就能新建一个预配置好的虚拟机哦，实为自己测试和给开发人员创建统一编程环境的一个好选择

• 支持快速新建虚拟机

• 支持快速设置端口转发

• 支持自定义镜像打包（原始镜像方式、增量补丁方式）

• ...基本上日常能用到的基础配置都能快速设置

• 支持开机启动自动运行命令

• 可以自己写扩展

2.docker

每次搭建一套新环境是不是很麻烦？有两个不同程序依赖于同一环境的不同版本怎么办？在程序里指定绝对路径？做软链接？ docker帮你解决了这个烦恼，镜像打包好之后推送到register之后再到对应机器上pull下来，放上代码，done..

日志采集

1. ELK Stack

平常我们可能需要对一些日志进行分析、报警，比如nginx日志，我们想要统计

监控

1. smokeping

IDC选址很头疼吧，不知道某一节点网络质量怎样，不相信供应商给的数据？试试smokeping吧，能够测试某地、多地到某一节点的质量情况（包括丢包率，速率）

python学习的前景怎么样

python的确是一门不错的编程语言，但是它也有一些局限性。

python语言目前在国内比较广泛应用在几个领域：第一，目前比较热的大数据和数据科学种的数据分析。目前大红大紫的spark提供了强大完善的语言包，开发者可以选择性的选择scala，python和JAVA用于开发。如果不用spark平台，python提供的数据分析的库numpy，pandas，matplotlib，scipy也很强大，如果更高端的机器和深度学习，keras，scikit-learn都很热。

第二，使用python开发游戏，主要利用python，cpython库编写为脚本调用c或者c++写的功能，也有纯python的游戏库，比如pygame。

第三，使用python作为web应用开发语言，django，flask框架想必很多人都听说过。而作为服务器开发也不错，tornado可以了解一下。

第四，使用python作为linux，unix服务器自动化运维脚本语言，自动化测试，ansible，saltstack，fabric目前已经成为服务器自动化运维的主流框架，如果想从事测试，selenium，webdrive也够流行。

以上可能是我想到的国内用的最广的python相关的知识。

希望对你有所参考，请用你发财的手给个点赞

学习python就业方向都有哪些

谢谢邀请！

作为一名IT行业的从业者，也经常使用Python从事大数据和机器学习方面的研发，所以我来回答一下这个问题。

首先，Python语言在近些年来受到了广泛的关注，作为为数不多的全场景开发语言之一，整个IT行业也释放出了大量的Python就业岗位，所以当前学习Python语言也是一个不错的选择，尤其是对于计算机基础相对薄弱的初学者来说，学习Python也会相对容易一些。

目前Python程序员主要的就业方向包括以下领域：

第一：Web开发。Web开发一直是Python重要的就业方向，Python作为Web开发的传统三大解决方案之一，在IT行业内有大量的Web开发项目在采用Python语言，所以目前IT行业内有不少Python程序员在从事Web开发岗位。与Java和PHP相比较来说，采用Python进行Web开发最大的特点是开发周期短，调整起来方便。

第二：大数据开发。Python真正开始受到广泛关注的一个重要原因就是Python在大数据领域的广泛使用，Python既可以做大数据平台开发，也可以做大数据分析和大数据运维，所以Python语言是大数据领域的重要工具之一。与Web开发相比较而言，使用Python从事大数据开发需要学习更多的内容，学习周期也要更长一些。

第三：人工智能开发。Python语言也是人工智能开发领域的重要工具，目前Python在机器学习、自然语言处理和计算机视觉领域有广泛的应用。要想使用Python进行人工智能领域的开发，需要具有扎实的数学基础，因为人工智能领域的开发重点就在于算法的设计和实现上。

第四：嵌入式开发。Python目前也是嵌入式开发领域的常见解决方案，越来越多的嵌入式开发平台开始支撑Python语言，这也为Python语言进入物联网领域奠定了基础。

虽然目前Python语言的应用比较广泛，但是目前Python在生产环境下的应用依然没有Java普遍，而且由于不少Java程序员转换到了Python开发岗位上，所以市场上释放出来的Python开发岗位并不算多。但是从发展前景的角度来看，未来Python的发展前景还是非常广阔的。

我从事互联网行业多年，目前也在带计算机专业的研究生，主要的研究方向集中在大数据和人工智能领域，我会陆续写一些关于互联网技术方面的文章，感兴趣的朋友可以关注我，相信一定会有所收获。

如果有互联网、大数据、人工智能等方面的问题，或者是考研方面的问题，都可以在评论区留言！