【简单的py源码】【填大坑捕鱼源码】【华为商城 源码下载】hadoop核心源码解析_hadoop 源码剖析
1.要成为一名专业的核心程序员，从零开始需要怎么一步步来比较好，源码源码要把最底层的解析先学精通吗？(个人认为)求学长
2.yarn源码分析（二）创建Application
3.NameNode高可用模式启动流程详解
要成为一名专业的程序员，从零开始需要怎么一步步来比较好，剖析要把最底层的核心先学精通吗？(个人认为)求学长
前言
你是否觉得自己从学校毕业的时候只做过小玩具一样的程序？走入职场后哪怕没有什么经验也可以把以下这些课外练习走一遍（朋友的抱怨：学校课程总是从理论出发，作业项目都看不出有什么实际作用，源码源码简单的py源码不如从工作中的解析需求出发）
建议：
不要乱买书，不要乱追新技术新名词，剖析基础的核心东西经过很长时间积累而且还会在未来至少年通用。
回顾一下历史，源码源码看看历史上时间线上技术的解析发展，你才能明白明天会是剖析什么样。
一定要动手，核心例子不管多么简单，源码源码建议至少自己手敲一遍看看是解析否理解了里头的细枝末节。
一定要学会思考，思考为什么要这样，而不是填大坑捕鱼源码那样。还要举一反三地思考。
注：你也许会很奇怪为什么下面的东西很偏Unix/Linux，这是因为我觉得Windows下的编程可能会在未来很没有前途，原因如下：
现在的用户界面几乎被两个东西主宰了，1）Web，2）移动设备iOS或Android。Windows的图形界面不吃香了。
越来越多的企业在用成本低性能高的Linux和各种开源技术来构架其系统，Windows的成本太高了。
微软的东西变得太快了，很不持久，他们完全是在玩弄程序员。详情参见《Windows编程革命史》
所以，我个人认为以后的趋势是前端是Web+移动，后端是Linux+开源。开发这边基本上没Windows什么事。
启蒙入门
1、华为商城 源码下载 学习一门脚本语言，例如Python/Ruby
可以让你摆脱对底层语言的恐惧感，脚本语言可以让你很快开发出能用得上的小程序。实践项目:
处理文本文件，或者csv (关键词 python csv, python open, python sys) 读一个本地文件，逐行处理（例如 word count，或者处理log）
遍历本地文件系统 (sys, os, path)，例如写一个程序统计一个目录下所有文件大小并按各种条件排序并保存结果
跟数据库打交道 (python sqlite)，写一个小脚本统计数据库里条目数量
学会用各种print之类简单粗暴的方式进行调试
学会用Google (phrase, domain, use reader to follow tech blogs)
为什么要学脚本语言，因为他们实在是太方便了，很多时候我们需要写点小工具或是脚本来帮我们解决问题，你就会发现正规的编程语言太难用了。
2、 用熟一种程序员的编辑器(不是IDE) 和一些基本工具
Vim / Emacs / Notepad++，学会如何配置代码补全，外观，外部命令等。easyui 新增界面源码
Source Insight (或 ctag)
使用这些东西不是为了Cool，而是这些编辑器在查看、修改代码/配置文章/日志会更快更有效率。
3、 熟悉Unix/Linux Shell和常见的命令行
如果你用windows，至少学会用虚拟机里的linux， vmware player是免费的，装个Ubuntu吧
一定要少用少用图形界面。
学会使用man来查看帮助
文件系统结构和基本操作 ls/chmod/chown/rm/find/ln/cat/mount/mkdir/tar/gzip …
学会使用一些文本操作命令 sed/awk/grep/tail/less/more …
学会使用一些管理命令 ps/top/lsof/netstat/kill/tcpdump/iptables/dd…
了解/etc目录下的各种配置文章，学会查看/var/log下的系统日志，以及/proc下的系统运行信息
了解正则表达式，使用正则表达式来查找文件。
对于程序员来说Unix/Linux比Windows简单多了。（参看我四年前CSDN的博文《其实Unix很简单》）学会使用Unix/Linux你会发现图形界面在某些时候实在是太难用了，相当地相当地降低工作效率。
4、 学习Web基础（HTML/CSS/JS) + 服务器端技术 (LAMP)
未来必然是在线直播间源码Web的世界，学习WEB基础的最佳网站是W3School。
学习HTML基本语法
学习CSS如何选中HTML元素并应用一些基本样式（关键词：box model）
学会用 Firefox + Firebug 或 chrome 查看你觉得很炫的网页结构，并动态修改。
学习使用Javascript操纵HTML元件。理解DOM和动态网页（Dynamic HTML: The Definitive Reference, 3rd Edition - O'Reilly Media) 网上有免费的章节，足够用了。或参看 DOM 。
学会用 Firefox + Firebug 或 chrome 调试Javascript代码（设置断点，查看变量，性能，控制台等）
在一台机器上配置Apache 或 Nginx
学习PHP，让后台PHP和前台HTML进行数据交互，对服务器相应浏览器请求形成初步认识。实现一个表单提交和反显的功能。
把PHP连接本地或者远程数据库 MySQL（MySQL 和 SQL现学现用够了）
跟完一个名校的网络编程课程（例如：(升级版为Kyoto Cabinet)、Flare、MongoDB、CouchDB、Cassandra、Voldemort等。
yarn源码分析（二）创建Application
深入剖析YARN源码中的Application创建机制，核心在于通过client向ResourceManager发起请求。这一过程中，Hadoop RPC协议作为桥梁，确保了客户端与ResourceManager间通信的高效与可靠。客户端通过调用接口ApplicationClientProtocol来执行操作。以`yarnClient.createApplication()`与`yarnClient.submitApplication(appContext)`为例，揭示了创建Application的主要流程。
关注点集中于两个关键步骤：初始化Application及提交Application至ResourceManager。初始化通过`createApplication()`完成，此过程在`YarnClientImpl`类中实现。此方法内部调用`getNewApplication()`以获取ApplicationID，作为后续操作的基础。
获取ApplicationID是创建过程的基石，而其实现细节则深藏于`RMClientService`中。在理解这一部分时，我们需关注`RMClientService`对于长期对象的服务化处理，以及在`YarnClientImpl`中对`submitApplication`调用的具体实现。
当ApplicationID获得后，便正式步入提交阶段。通过`submitApplication()`，客户端与ResourceManager间建立联系，资源分配与应用状态监控得以实现。此过程中的关键在于`rmClient.submitApplication`方法的调用，之后通过轮询`ApplicationReport`来监控提交状态，确保应用成功部署。
深入探究`submitApplication`方法的内部逻辑，我们会发现它在`RMClientService`中调用`rmAppManager.submitApplication`，接着通过事件调度器对新建的Application进行处理。这一处理阶段主要负责保存应用信息，同时引入了YARN中的状态机与事件模型概念，将在后续文章中进行详尽解析。
NameNode高可用模式启动流程详解
临近农历春节之际，年1月日，时光匆匆，我们即将迎来新的一年。在忙碌的节日间隙，回顾过去，虽有收获也有遗憾，但坚信科技以人为本，信息为人类服务。在新的一年里，我们将继续深入解析Hadoop分布式文件系统HDFS，以一系列专题深入探讨其各个方面。正如俗话所说，“好记性不如烂笔头”，让我们从现在开始，记录和分享我们的学习与理解。 ：详细拆解NameNode高可用模式启动流程 ：DataNode启动流程剖析 ：DfsZKFailoverController服务启动原理探讨 ：JournalNode服务初始化和启动背后的逻辑 ：深入理解HDFS高可用、高性能和高可靠的核心原理 ...以此类推，直至：客户端DFSClient类的底层解析 我们的讲解将基于HDFS-2.7.5版本，Hadoop-2.7.5是一个相对稳定的基础。HDFS的元数据管理是NameNode的核心任务，它将关键数据存储在内存中以提供高效服务，但为确保数据安全，NameNode会周期性进行CheckPoint，将部分元数据写入FSImage文件。EditLog则记录了两次CheckPoint之间的操作，确保数据绝对安全。在HA with QJM架构下，NameNode启动过程分为两阶段：Standby状态等待DataNode报告和通过ZKFC与Zookeeper交互完成抢锁切换到Active状态。每个阶段都有详细的步骤分析，涉及NameNode和ZKFC的源码细节。 总结来说，NameNode的启动流程复杂而关键，它首先从FSImage和EditLog中恢复元数据，然后进入Standby状态，通过Zookeeper的协调，最终确定为主节点，确保HDFS的正常服务提供。这个过程确保了数据的持久性和高可用性。
