- 浏览: 2602016 次
- 来自: 杭州
文章分类
- 全部博客 (1190)
- webwork (4)
- 网摘 (18)
- java (104)
- hibernate (1)
- Linux (85)
- 职业发展 (1)
- activeMQ (2)
- netty (15)
- svn (1)
- webx3 (12)
- mysql (81)
- css (1)
- HTML (6)
- apache (3)
- 测试 (2)
- javascript (1)
- 储存 (1)
- jvm (5)
- code (13)
- 多线程 (12)
- Spring (18)
- webxs (2)
- python (119)
- duitang (0)
- mongo (3)
- nosql (4)
- tomcat (4)
- memcached (20)
- 算法 (28)
- django (28)
- shell (1)
- 工作总结 (5)
- solr (42)
- beansdb (6)
- nginx (3)
- 性能 (30)
- 数据推荐 (1)
- maven (8)
- tonado (1)
- uwsgi (5)
- hessian (4)
- ibatis (3)
- Security (2)
- HTPP (1)
- gevent (6)
- 读书笔记 (1)
- Maxent (2)
- mogo (0)
- thread (3)
- 架构 (5)
- NIO (5)
- 正则 (1)
- lucene (5)
- feed (4)
- redis (17)
- TCP (6)
- test (0)
- python,code (1)
- PIL (3)
- guava (2)
- jython (4)
- httpclient (2)
- cache (3)
- signal (1)
- dubbo (8)
- HTTP (4)
- json (3)
- java socket (1)
- io (2)
- socket (22)
- hash (2)
- Cassandra (1)
- 分布式文件系统 (5)
- Dynamo (2)
- gc (8)
- scp (1)
- rsync (1)
- mecached (0)
- mongoDB (29)
- Thrift (1)
- scribe (2)
- 服务化 (3)
- 问题 (83)
- mat (1)
- classloader (2)
- javaBean (1)
- 文档集合 (27)
- 消息队列 (3)
- nginx,文档集合 (1)
- dboss (12)
- libevent (1)
- 读书 (0)
- 数学 (3)
- 流程 (0)
- HBase (34)
- 自动化测试 (1)
- ubuntu (2)
- 并发 (1)
- sping (1)
- 图形 (1)
- freemarker (1)
- jdbc (3)
- dbcp (0)
- sharding (1)
- 性能测试 (1)
- 设计模式 (2)
- unicode (1)
- OceanBase (3)
- jmagick (1)
- gunicorn (1)
- url (1)
- form (1)
- 安全 (2)
- nlp (8)
- libmemcached (1)
- 规则引擎 (1)
- awk (2)
- 服务器 (1)
- snmpd (1)
- btrace (1)
- 代码 (1)
- cygwin (1)
- mahout (3)
- 电子书 (1)
- 机器学习 (5)
- 数据挖掘 (1)
- nltk (6)
- pool (1)
- log4j (2)
- 总结 (11)
- c++ (1)
- java源代码 (1)
- ocr (1)
- 基础算法 (3)
- SA (1)
- 笔记 (1)
- ml (4)
- zokeeper (0)
- jms (1)
- zookeeper (5)
- zkclient (1)
- hadoop (13)
- mq (2)
- git (9)
- 问题,io (1)
- storm (11)
- zk (1)
- 性能优化 (2)
- example (1)
- tmux (1)
- 环境 (2)
- kyro (1)
- 日志系统 (3)
- hdfs (2)
- python_socket (2)
- date (2)
- elasticsearch (1)
- jetty (1)
- 树 (1)
- 汽车 (1)
- mdrill (1)
- 车 (1)
- 日志 (1)
- web (1)
- 编译原理 (1)
- 信息检索 (1)
- 性能,linux (1)
- spam (1)
- 序列化 (1)
- fabric (2)
- guice (1)
- disruptor (1)
- executor (1)
- logback (2)
- 开源 (1)
- 设计 (1)
- 监控 (3)
- english (1)
- 问题记录 (1)
- Bitmap (1)
- 云计算 (1)
- 问题排查 (1)
- highchat (1)
- mac (3)
- docker (1)
- jdk (1)
- 表达式 (1)
- 网络 (1)
- 时间管理 (1)
- 时间序列 (1)
- OLAP (1)
- Big Table (0)
- sql (1)
- kafka (1)
- md5 (1)
- springboot (1)
- spring security (1)
- Spring Boot (3)
- mybatis (1)
- java8 (1)
- 分布式事务 (1)
- 限流 (1)
- Shadowsocks (0)
- 2018 (1)
- 服务治理 (1)
- 设计原则 (1)
- log (0)
- perftools (1)
最新评论
-
Aqu415:
,默认是netty还是hassion?
dubbo入门 -
siphlina:
课程——基于Python数据分析与机器学习案例实战教程分享网盘 ...
Python机器学习库 -
san_yun:
leibnitz 写道hi,我想知道,无论在92还是94版本, ...
hbase的行锁与多版本并发控制(MVCC) -
leibnitz:
hi,我想知道,无论在92还是94版本,更新时(如Puts)都 ...
hbase的行锁与多版本并发控制(MVCC) -
107x:
不错,谢谢!
Latent Semantic Analysis(LSA/ LSI)算法简介
做性能测试的时候都希望能模拟用户的行为,ningx记录了用户的行为,比如nginx一般会记录如下:
222.210.49.198 - 209sdj3lufa7sf32 -c2b3lp - [14/Sep/2012:22:59:02 +0800]"GET /search/?page=33&kw=%E6%B5%B7%E8%B4%BC&type=feed&_type= HTTP/1.1" 200 14466 "http://www.duitang.com/search/?kw=%E6%B5%B7%E8%B4%BC&type=feed" "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.84 Safari/535.11 LBBROWSER"
写了一个简单的python脚本从nginx读取URL来做性能测试:
# -*- coding: utf-8 -*- import re import urllib2 import json import threading import Queue import os host="http://7199.t.duitang.com" thread_count = 1 running = True def check(uri): try: url = "%s%s"%(host,uri) content = urllib2.urlopen(url=url,timeout=2) #print '%s %s'%(content.code,uri) #print content.info() #print content.msg #print content.readlines() #json.loads(content.readlines()) #print 'ok' except Exception,e: #print e print '%s %s'%(e,uri) #out = StringIO() #print_exc(file=out) #logger.info("check %s fail %s"%(server,out.getvalue())) class Executor(threading.Thread): def __init__(self,queue): threading.Thread.__init__(self) self.queue = queue def run(self): while running: url = self.queue.get() print queue.qsize() check(url) self.queue.task_done() def analysis(readline,queue): r = re.compile("\d+") mc_url = re.compile("GET /[a-zA-Z/0-9_?=&]*") result = {} for read in readline: ip=url=http_code=http_time = None match = mc_url.search(read) if match: url = str(match.group())[4:].strip() queue.put(url) def clean(a,b): print 'exit' running=False exit(1) from signal import signal,SIGTERM,SIGINT,SIGQUIT signal(SIGTERM,clean) signal(SIGINT,clean) signal(SIGQUIT,clean) if __name__ == "__main__": queue = Queue.Queue() for i in range(thread_count): t = Executor(queue) t.setDaemon(True) t.start() f = open("by_category","r") analysis(f.readlines(),queue) print "total %s" %queue.qsize() queue.join() print 'exit' running = False
发表评论
-
RingBufferTester
2015-05-17 11:26 673package mytest; import java ... -
python读取图片exif信息
2014-11-06 10:53 2356f = open("/home/admin/tlo ... -
Python程序的执行原理
2014-04-14 15:44 16791. 过程概述 Python先把代码(.py文件)编译成字 ... -
clean code--两种不同代码写法。
2014-02-20 15:32 692clean code--两种不同代码写法。 ... -
CRC32 quick code
2014-02-19 11:25 473CRC32 使用的example code // CRC ... -
solr query code
2014-02-14 10:36 643http://10.246.45.41:51276/sol ... -
solr code quick start
2014-02-07 10:19 890客户端项目依赖: <project xmlns=& ... -
查看网络的脚本
2014-01-22 14:52 617贴一段code net.sh #!/bin/ba ... -
hbase example code
2014-01-16 16:58 1017本地连接hbase: Configuration con ... -
python和linux命令交互方式总结
2014-01-09 10:11 1733python和linux命令交互有两种方式: 1. 直接 ... -
hdfs例子之读写MapFile
2014-01-03 10:16 2105package mytest; import jav ... -
如何创建一个短链服务
2013-12-26 16:23 0参考: http://stackoverflow.com ... -
hbase API code
2013-12-26 16:11 0package mytest; import jav ... -
几种file copy的性能对比
2013-12-16 10:45 1621测试了几种file copy的性能: package m ... -
python 解析命令参数(argument)组件argparse
2013-12-11 17:35 1344参考: http://youngsterxyf.githu ... -
pyhon命令行工具optparse
2013-11-10 16:27 960使用python optparse 可以创建命令行工具,下面 ... -
Python在豆瓣的应用
2013-10-21 10:46 1165Python在豆瓣的应用,hongqiangning分享 ... -
用python爬虫抓站的一些技巧总结
2013-10-10 14:12 1649学用python也有3个多月了,用得最多的还是各类爬虫 ... -
python小技巧
2013-10-10 11:50 6861. 声明长度256的数组 a=[0]*256 ... -
使用tesseract-ocr破解网站验证码
2013-10-09 10:25 1188原文:使用tesseract-ocr破解网站验证码 ...
相关推荐
Nginx日志描述 通过访问日志,你可以得到用户地域来源、跳转来源、使用终端、某个URL访问量等相关信息;通过错误日志,你可以得到系统某个服务或server的性能瓶颈等。因此,将日志好好利用,你可以得到很多有价值的...
windows 下nginx 日志切割 结合windows任务计划,实现每天备份日志,并reopen nginx
windows版Nginx日志分析工具2.1.0
nginx日志自动定时切割及清除脚本
Filebeat实时收集Nginx日志说明之所以使用 beats 家族的 Filebeat 来替代 Logstash 是因为 Logstash实在太消耗资源了
nginx日志测试使用 access.log.zip
Nginx日志切割脚本
介绍几款nginx日志分析图形化工具.zip
nginx日志分析命令,可以帮你使用命令获取nginx服务器上所需日志内容
网上查了一下nginx日志记录post请求的内容的方法,主要都是通过LUA实现的,我不知道什么是LUA,因此仅用proxy_pass指令实现保存post请求的内容
基于docker-compose的loki+grafana+nginx一键部署
实验一:Nginx日志配置 实验目的 熟悉nginx并进行nginx日志配置 实验内容 查看配置文件信息 打开nginx主配置文件 配置nginx日志 实验环境 kali系统 实验步骤 1.查看nginx版本情况 在kali中输入“nginx -t”来查看...
也许在目前许多学者都不知道如何分析Nginx日志,Linux系统日志下的Nginx 日志可以查看系统运行记录和出错说明,对Nginx 日志的分析可以了解系统运行的状态。那么Linux系统Nginx日志怎么分析呢?下面小编为你详解一下...
Nginx如何配置url_hash转发方式.docx
awk测试从nginx查询qps的测试日志
本解本实现了使用shell脚本实现nginx日志分割,大家如果没资源分下载,可以转至:https://mp.csdn.net/mdeditor/85233117# 去查看源代码。谢谢大家
goaccess nginx日志分析工具
ELK处理nginx日志,比较详细的介绍了利用geoip将nginx的访问日志中客户端IP分布地址区域给展现出来,非常直观,有兴趣的朋友可以按照文档做做实验玩玩
这是一份普通的nginx的access日志文件,内容包括ip,time,ua等等,可以用做日志测试。放上来的目的是方便暂时找不到数据源的同学。由于CSDN的资源积分动态调整不可修改,我没办法修改下载积分。
将在 logs目录下生成类似 2014-01-21.access.log 的log文件,这个日期会根据服务器的时间变化) 配置可参照 nginx目录下的 conf/nginx.conf 文件进行log配置 源码留给有特殊需要的朋友自己编译。此源码就是修改后的...