kayak2015
- 浏览: 38620 次
- 性别:
- 来自: 北京
-
最新评论
文章列表
一、模块概述：
模块往往对应于python程序文件。
1、import 使客户端以一个整体获取一个模块
2、from 允许客户端从一个模块文件中获取特定的变量名
3、imp.reload 在不中止python程序下，提供了一种重新载入模块文件代码的方法。
Python程序架构
在Python中 ，顶层文件包含了程序的主要的控制流程，这就是你需要运行来启动应用的文件。模块文件就是工具的库。
顶层文件使用了在模块文件中定义的工具，而这些模块使用了其他模块所定义的工具
二、导入
Import 导入时会从向上到下执行导入文件，导入模块后，可以执行模块中定义的方法 ...
Mondrain Schema 基本元素
- 博客分类：
- 多维分析
Mondrain Schema 基本元素
<Schema> 是最层元素，mondrian 4.0 以上版本必须加上，metamodelVersion ='4.0'属性
Physical elements
<PhysicalSchema>是用于定义模型中使用的物理表，具体可以包含下面
<Table> 直接使用一个表
<Query> 使用查询的结果集，可以由多个表得到
<InlineTable>内联表
<ColumnDefs>
<
Linux Shell
- 博客分类：
- Linux
shell脚本以#！/bin/sh 开头
一、 查找与替换
1、who | grep -F name 按固定name查询
待续
JAVA核心二（复用类）
- 博客分类：
- JAVA
1：组合，只需要在新的类中产生现有类的对象
初始化引用：在定义对象的地方，能够在构造器被调用前初始化，在构造器中，就在正要使用这些对象前（惰性初始化），使用实例初始化
2：继承，按照现有类的类型来创建新类
如果没有默认的基类构造器，或者想调用一个带参的基类构造器，就需要使用super显示地编写调用
protected关键字：当允许子类访问时，并且非子类不可以访问时
final关键字：对像的引用不可以改变，对像本身是可以被修改的，final参数时，方法中无法修改final指明的对象
final方法的使用原因：把方法锁定，以防任何继承类修改。final和private：priv ...
JAVA核心一（初始化和清理）
- 博客分类：
- JAVA
1：默认构造器
没有创建构造器时，编译器会帮你创建一个默认无参构造器。如果定义一个构造器，编译器就不会再帮你创建。
2：this关键字
this关键字只能在方法内部使用，表示对“调用方法的那个对象”的引用。只有当需要明确指出对当前对象引用时，才需要使用this关键字。当需要返回对当前对象的引用时就常常 return this；this还可以将当前对象传递给其他方法；在构造器中调用构造器可以使用this
3：垃圾回收
java有垃圾回收器只负责回收由new创建无用对象占据的内存资源，对于不通过new创建的使用finalize()方法。
4：成员初始化
对于局部变量，java在使用 ...
mapreduce的类型与格式
- 博客分类：
- Hadoop
1：默认的mapreduce作业
hadoop在不指定mapper和reducer就运行mapreduce，只设置输入路径和输出路径，可以使用默认设置运行mapreduce作业
默认的输入格式是TextInputFormat
默认的mapper是Mapper类
默认的partitioner是hashpartitioner
默认的reducer是Reducer
默认情况下，只有一个reducer
没有设置map任务的数量，原因是该数量等于输入文件被划分成的分块数，取决于输入文件的大小以及文件块的大小
reducer的个数 在本地作业运行器上运行时，只支持0个或1个reducer ...
mapreduce的工作机制
- 博客分类：
- Hadoop
了解mapreduce的工作机制，对编写mapreduce高级编程奠定基础。
一、mapreduce1的最顶层
包含4个独立的实体
客户端：提交mapreduce作业，jobtracker：协调作业的运行，tasktracker：运行作业划分后的任务，分布式文件系统：用来在其他实体间共享作业文件。
二、mapreduce1的过程
1：作业的提交，有客户端提交任务给jobtracker
2：作业的初始化，jobtracker接受到请求后，会进初始化，同时会创建一个表示正在作业的对象，用于封装任务和记录信息，以便跟踪任务的状态和进程。
3：任务的分配，tasktrack ...
一 : pom文件 由下面四个部分组成
1 项目基本信息：这个配置会指导maven构建出相应的组件，并把他存在maven资源库中
2 构建配置：<build>中包含执行maven构建周期目标所需要的插件及相应配置，要配置构建插件，需要把它放在pom.xml文件的<build><plugins>中。
3 依赖管理：<dependencies> maven可以帮你管理这些依赖项，这些第三方类库都有它们自己的pom.xml文件，会声明各自的依赖项，maven可以据此找出任何需要下载的其他类库。这些依赖项一开始主要分为两个作用域（co ...
设置环境变量 vim .bashrc
使环境变量生效 source .bashrc
二、ubuntu的快捷键
1. Ctrl + W: 关闭当前 Nautilus 窗口
2. Ctrl+T: 在 Nautilus 打开新的 Tab
3. Ctrl + H: 切换隐藏文件（夹）显示或者不显示
4. Ctrl+E: 发送当前文档给某个 Email
5. Ctrl+Q: 退出应用
6. Ctrl + 1/2: 修改文件夹视图为图标或者列表模式
7. Ctrl + Shift + W: 关闭所有的 Nautilus 窗口
8. Ctrl + Shift + N: 创建新 ...
mapreduce应用开发
- 博客分类：
- Hadoop
一：用于配置的api
hadoop中的组件是通过hadoop自己的配置api来配置的。一个Configurate类的实例代表配置属性及其取值的一个集合。Configurate从资源配置文件中对取属性值。
如果有个多个资源文件来定义一个配置，后来添加资源文 ...
@WebService
- 博客分类：
- webService
一： SOAP(简单对象访问协议)是在分散或分布式的环境中交换信息的简单的协议，是一个基于XML的协议
二：WebService工作原理
当客户端调用一个WebService的方法时，首先将方法名称和需要传递的参数包装成XML，也就是SOAP包，通过HTTP协议传递到服务器端，然后服务器端解析这段XML，得到被调用的方法名称和传递过来的参数，进而调用WebService相应的方法，方法执行完毕后，将返回结果再次包装为XML，也就是SOAP响应，发送到客户端，最后客户端解析这段XML，最终得到返回结果。
三：使用cxf和spring来实现webService
hadoop的hdfs的设计
- 博客分类：
- Hadoop
一、hdfs的设计，hdfs以流式数据访问模式来存储超大文件
1：hdfs的构建思路，一次写入，多次读取
2：hdfs是为高数据吞吐量应用优化的，这可能会以提高时间延迟为代价
3：由于namenode将文件系统的元数据存储在内存中，因此该文件系统所能存储的文件总数受限于namenode的内存容量。（大量的小文件）
4：hdfs中的文件可能只有一个writer，而且写操作总是将数据添加在文件的末尾，不支持具有多个写入者的操作，也不支持在文件的任意位置修改。
二、hdfs的概念
磁盘块：
文件系统块：
hdfs上的文件也被划分为块大小的多个分块，作为独立的存储单元，但 ...
一：与传统虚拟机的区别
1：传统的虚拟机，通过中间层，将一台或多台独立的机器,虚拟运行物理硬件之上。
Docker是运行在操作系统内核之上，依赖操作系统，只能运行linux系统
2：容器的资源占用小
3：Docker是将应用程序自动部署到容器，使用go语言
4: Docker在虚拟化的容器中，增加一个应用程序部署引擎。轻量级
5: 平台即服务（PaaS）
6: 软件即服务（SaaS）
二：Docker的基本组成
Docker Client 客户端
Docker Daemon 守护进程
Docker Image 镜像 （Docker容器的核心,镜像就容器的源代 ...
一、MySQL索引原理
通过不断的缩小想要获得数据的范围来筛选出最终想要的结果
二、磁盘IO与预读
磁盘读取数据靠的是机械运动，每次读取数据花费的时间可以分为寻道时间，旋转延迟，传输时间三个部分。
Spring注解自动装配
- 博客分类：
- Spring应用开发
一：spring提供了4种自动装配策略
1：byName: 把与Bean的属性具有相同名字（或者ID）的其他Bean自动装配到 Bean的对应属性中。
2：byType：把与Bean的属性具有相同类型的其他Bean自动装载到Bean的对应属性中。
3：constructor:把与Bean的构造器入参具有相同类型的其他Bean自动装配到Bean构造器的对应参数中。
4：autodelect:先使用constructor，如果没有找到载使用byName
二：使用注解自动装配
1：Spring自带的@Autowired注解，默认按byType类型注入，可以用在setter方法，一 ...