ITeye博客

河流的空间

duming115 · 共 30 篇文章

亿拍天下, 工作笔记

2013.09.02 1.http://stackoverflow.com/questions/2329364/how-to-embed-images-in-a-single-html-php-file embed images in a single HTML, 嵌入图像到html页面中. 2.http://webcodertools.com/imagetobase64converter/Create 图片转化为base64编码. 3.范例 2013.09.11 android 模拟器中访问的url通过Fiddler抓取, http://www.taobaotesting.com/blog…

2013-09-02 16:26 · 评论(2)

大数据的随想

http://www.happyfuns.com/happyvod/?url=magnet%3a%3fxt%3durn%3abtih%3a0e2fe983ad21cc55e8c2b5147171635f7c7f5113%26dn%3dBBC%2b%25e5%259c%25b0%25e5%25b9%25b3%25e7%25ba%25bf%2b%25e5%25a4%25a7%25e6%2595%25b0%25e6%258d%25ae%25e6%2597%25b6%25e4%25bb%25a3%2bBBC%2bHorizon%2b(2013)%2bThe%2bAge%2bof%2bBig%2bDa…

2013-08-14 20:55 · 评论(0)

Hadoop4.3 源码笔记

写在最前: http://www.swazzy.com/docs/hadoop/index.php 可以输入hadoop类, 查看它的UML关系图. https://issues.apache.org/jira/browse/MAPREDUCE-279 Hadoop Map-Reduce 2.0(Yarn)的架构文档,详细说明等. 2013.07.14 LeaseManager--文件写入时中断, 各数据节点需要进行那些操作, 找到写入数据最少的节点, 提交到NameNode, 详细看类说明. 2013.08.08 HDFS portion of ZK-based FailoverContr…

2013-07-14 09:13 · cloudera · 评论(0)

MongoDB使用

2012.09.19 db.users.find().limit(100); it 可以将其余的显示出来. 查看索引 db.users.getIndexes(); 性能耗时查询 db.setProfilingLevel(2); db.setProfilingLevel( level , slowms ); db.setProfilingLevel( 1 , 10 ); 查询 db.system.profile.find( { millis : { $gt : 5 } } ); db.system.profile.find().sort({$natural:-1}).limit(1) 使用 /…

2012-09-19 15:57 · MongoDB · 评论(0)

Oracle 相关

set NLS_LANG=american_america.AL32UTF8

2012-04-17 13:47 · 评论(0)

solr 查询参数

2012.02.17 q.op=AND 设置分词使用AND或者OR

2012-02-17 17:07 · apache-solr · 评论(0)

hadoop 下的debug

2011.12.20 hadoop 集群环境中对namenode,datanode,jobtracker,tasktracker的监控甚至是debug. 要修改hadoop-env.sh文件: export HADOOP_TASKTRACKER_OPTS=" -Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jmxremote.ssl=false -Dcom.sun.management.jmxremote.port=9051 -Xdebug -Xnoagent -Djava.compiler=NON…

2011-12-20 11:08 · cloudera · 评论(1)

HBase 命令

2011.11.03 HBase 命令的调用类org.apache.hadoop.hbase.mapreduce.Driver hadoop jar hbase-0.90.3-cdh3u1.jar completebulkload /99bec08188cd8083d51d952d81012139 history_cn_lzo 在表不存在是会根据hfile的start key来创建表的及region,但是不能设定table的其它信息. hadoop jar hbase-0.90.3-cdh3u1.jar completebulkload /99bec08188cd8083d51d952d81…

2011-11-03 18:13 · HBase(0.89.20100726) · 评论(0)

Hive 创建表

Hive 创建表时正则表达式与java代码中一致,RegexSerDe 中用\来表示反转码 create table inst_cn_3 ( ip string, time string, mac string, lan string, ver string, lc string, pn string, reg string, vrf string, line string) ROW FORMAT SERDE 'org.apache.hadoop.hive.contrib.serde2.RegexSerDe' WITH SERDEPROPERTIES ( "input.regex" = "-…

2011-05-16 18:02 · cloudera · 评论(0)

Chukwa

创建hive表,加载hive生成的数据 CREATE TABLE raw_sequence (line STRING) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' LINES TERMINATED BY '\n' STORED AS INPUTFORMAT 'org.apache.hadoop.chukwa.inputtools.ChukwaInputFormat' OUTPUTFORMAT 'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat'; org.apache.had…

2011-05-06 17:54 · 分布式存储和计算 · 评论(1)

错误报告格式

Date of problem System type/component (e.g., Hadoop namenode) Short description of problem Impact (complete loss of data) Priority/Urgency to Fix (High, medium, low) Date problem solved Man hours required to repair

2011-04-27 09:11 · 错误报告 · 评论(0)

Nginx

2011.04.26 1.Nginx 控制传递的包大小.

2011-04-26 09:31 · Http Servers · 评论(0)

Hadoop cloudera CDH3B4

问题: hadoop的客户端运行hadoop命令,但是没有在指定的日志文件中输出,指定的日志文件也不存在目录下. 解决: hadoop的日志输出由conf/log4j.properties控制,log4j.properties文件中指定hadoop.log.dir=. ,运行hadoop时,会由conf/hadoop-env.sh中指定的export HADOOP_LOG_DIR 指定到特定目录下输出,默认为hadoop的logs目录. 如果log4j.logger的级别很高,不生成输出的日志信息,那么日志文件也就不会生成(resin的logs/access.log也是),加入log4j.l…

2011-03-10 11:36 · 分布式存储和计算 · 评论(0)

Mysql 中的时间

select from_unixtime(1297426454); --> 2011-02-11 20:14:14 select date_format(from_unixtime(1297426454),'%Y-%m-%d %H:%i'); --> 2011-02-11 20:14 2012.02.24 数据库连接池, validationQuery http://confluence.atlassian.com/display/JIRA/Surviving+Connection+Closures MySQL select 1 Microsoft SQL Server select 1 O…

2011-02-15 12:17 · 数据库 · 评论(0)

linux下抓取http请求

/usr/sbin/tcpdump -n -x dst host 192.168.0.94 and dst port 9000 > ~/tcpdump.log

2011-02-14 15:41 · Unix · 评论(0)