ice小站黑夜永无止境                   --- 100,507人访问过RSSHomeicefish hack 小平台scrapy 爬虫小结HDP2.6 虚拟机非docker环境部署手册 （二）HDP2.6 虚拟机非docker环境部署手册 （一）HDP2.6 虚拟机docker部署手册注意事项 （二）HDP2.6 虚拟机docker部署手册注意事项 （一）php程序升级漫谈BCTF write_up12月112018scrapy 爬虫小结pip install Scrapy安装报错：python版本：Python 2.7.8 (default, Jun 30 2014, 16:03:49) [MSC v.1500 32 bit (Intel)] on win32安装，执行如下命令： pip install scrapy报错如下：error:Microsoft Visual C++ 9.0 required(Unable[......]阅读更多39 次访问过By icefish  •Python  •03月22018HDP2.6 虚拟机非docker环境部署手册 （二）HDP2.6 虚拟机非docker环境部署手册 （二）第十六步：如果报错/usr/hdp/current/ slider-client/lib路径不存在类似：在路径下查看路径正常不，此处应为link，如果为目录则应删除，重建链接文件rm -r /usr/hdp/current/ slider-clientln -s /usr/hdp/2.6.3.0-235/slider /usr/hdp/current/slider-client第十七步：如果报错metrics-collector启动失败，关闭服务，查看相[……]阅读更多268 次访问过By icefish  •大数据相关, 软件部署  •03月22018HDP2.6 虚拟机非docker环境部署手册 （一）写在最前面的话，一定要看：虽然docker版本的hdp看似好部署，但实际上docker版本的在很多地方存在严重问题，反倒会花费大量的时间进行修改，所以如果真的生产环境要用，最好要自己部署这套HDP环境，虽然复杂但是效果好很多。非docker版本hdp部署手册第零步：部署环境最好是互联网环境，或者计划采用的服务器可以短暂连接互联网，不然的话就得和我一样不断地apt-get了第一步：规划项目所需要使用机器，物理内存最好大于16G，硬盘大于100GB，并规划将要使用的虚拟机独立IP第二步：下载HDP源，这里有两种方式。https://zh.hortonworks.com/网[……]阅读更多372 次访问过By icefish  •大数据相关, 软件部署  •012月152017HDP2.6 虚拟机docker部署手册注意事项 （二）docker版本hdp部署手册(二)第十二步：如果对默认的vm镜像硬盘大小不够使用，可以采用vm虚拟机增加硬盘的方式，在sandbox，分别采用fdisk –lu和df –h 查看并采用fdisk  /dev/sdb进行分区，n-e-1，mkfs ext4 /dev/sdb进行格式化，最后利用mount /dev/sdb /hdfsdata进行挂载。并通过ambari的hdfs管理页面中configs->datanode->datanode directories进行添加。&nbs[……]阅读更多411 次访问过By icefish  •大数据相关, 软件部署  •012月152017HDP2.6 虚拟机docker部署手册注意事项 （一）docker版本hdp部署手册写在最前面的话，一定要看：虽然docker版本的hdp看似好部署，但实际上docker版本的在很多地方存在严重问题，反倒会花费大量的时间进行修改，所以如果真的生产环境要用，不推荐使用这个版本，这个版本适合个人单服务器进行hadoop学习使用。第一步：规划项目所需要使用机器，物理内存最好大于16G，硬盘大于100GB，并规划将要使用的虚拟机独立IP第二步：下载HDP源，这里有两种方式。https://zh.hortonworks.com/网站提供 了两类下载，一类是虚拟机镜像，包括了vmware、virtualBox、dock[……]阅读更多791 次访问过By icefish  •大数据相关, 软件部署  •09月262016php程序升级漫谈0x01，最近在给一个06年的php程序做迁移，刚开始一步到位，直接最新版的xampp部署，发现了以下几个问题0x02 第一个问题发现php页面不解析，查看页面发现现有页面为<? php code ?>形式，经查询这里需要修改php.ini 的short_open_tag=On， asp_tags=Off，即打开短标签，让其支持短标签php代码模式0x03  第二个问题报错，Call to undefined function session_register() in XXXX。很奇怪之前都可以，经查询ssion_register()属于上古用法，php5.3[……]阅读更多535 次访问过By icefish  •Web  •03月112014BCTF write_up0x01 最难的题目: 100下载后，发现时exe文件，od加载，经调试发现有反调试设置，直接上StrongOD，这下反调试就跳过了，然后发现运行中不停的弹框Nop掉这句messageBoxA，然后这个程序就可以顺利跑了。。跑好久后，可以看到即，把仅有的字符串拼接，得到这道题的Flag是TH3_H4rd3st_H3r30x02 小菜一碟: 200OD加载，这道题明显就是要输个字符串然后验证正确，定位到输入后的验证地址这里可以看到要求输入是16位纯数字，而且输入后在内存中，会进行修正，即假设输入为a1-a16，则会在a5和a6中[……]阅读更多1,722 次访问过By icefish  •Android, hacker, Linux, Python, 漏洞分析  •72月82014Qing云体验报告0x01 自从节前听说了青云这么个牛逼的云平台，便想去试试看，节后正好有时间了可以看看怎么样了。0x02 注册登录后，有如下的几个模块主机：顾名思义可以创建各种主机，linux，windows，注意windows的高版本主机都是没有注册的。。。。硬盘：可以自定义各种大小的存储硬盘，并挂载在主机上，简单实用网络：可以设计自己独有的网络拓扑，路由器等，这里玩法很多，包括了vpn，端口转发等等常见功能公网IP：这个可是个好东西，可以生成公网ip，然后绑定到对应的主机或路由上。负载均衡：这个没什么好说的，没用过，看名字大家都懂防火墙：这个也是看名字都懂，不过要