让WordPress使用Redis缓存来进行加速

Redis是一个高级的key-value存储系统,类似memcached,所有内容都存在内存中,因此每秒钟可以超过10万次GET操作。

我下面提出的解决方案是在Redis中缓存所有输出的HTML 内容而无需再让WordPress重复执行页面脚本。这里使用Redis代替Varnish设置简单,而且可能更快。

安装 Redis

如果你使用的是 Debian 或者衍生的操作系统可使用如下命令安装 Redis:

apt-get install redis-server

或者阅读 安装指南

使用 Predis 作为 Redis 的 PHP 客户端

你需要一个客户端开发包以便 PHP 可以连接到 Redis 服务上。

这里我们推荐 Predis. 上传 predis.php 到 WordPress 的根目录。

前端缓存的PHP脚本

步骤1:在WordPress 的根目录创建新文件 index-with-redis.php ,内容如下:

<?php

// Change these two variables:

$seconds_of_caching = 60*60*24*7; // 7 days.

$ip_of_this_website = ‘204.62.14.112’;

/*

– This file is written by Jim Westergren, copyright all rights reserved.
– See more here: www.jimwestergren.com/wordpress-with-redis-as-a-frontend-cache/
– The code is free for everyone to use how they want but please mention my name and link to my article when writing about this.
– Change $ip_of_this_website to the IP of your website above.
– Add ?refresh=yes to the end of a URL to refresh it’s cache
– You can also enter the redis client via the command prompt with the command “redis-cli” and then remove all cache with the command “flushdb”.

*/

// Very necessary if you use Cloudfare:

if (isset($_SERVER[‘HTTP_CF_CONNECTING_IP’])) {
$_SERVER[‘REMOTE_ADDR’] = $_SERVER[‘HTTP_CF_CONNECTING_IP’];
}

// This is from WordPress:

define(‘WP_USE_THEMES’, true);

// Start the timer:

function getmicrotime($t) {
list($usec, $sec) = explode(” “,$t);
return ((float)$usec + (float)$sec);
}

$start = microtime();

// Initiate redis and the PHP client for redis:

include(“predis.php”);
$redis = new Predis\Client(”);

// few variables:

$current_page_url = “http://”.$_SERVER[‘HTTP_HOST’].$_SERVER[‘REQUEST_URI’];

$current_page_url = str_replace(‘?refresh=yes’, ”, $current_page_url);

$redis_key = md5($current_page_url);

// This first case is either manual refresh cache by adding ?refresh=yes after the URL or somebody posting a comment

if (isset($_GET[‘refresh’]) || substr($_SERVER[‘REQUEST_URI’], -12) == ‘?refresh=yes’ || ($_SERVER[‘HTTP_REFERER’] == $current_page_url && $_SERVER[‘REQUEST_URI’] != ‘/’ && $_SERVER[‘REMOTE_ADDR’] != $ip_of_this_website)) {
require(‘./wp-blog-header.php’);
$redis->del($redis_key);

// Second case: cache exist in redis, let’s display it

} else if ($redis->exists($redis_key)) {

$html_of_current_page = $redis->get($redis_key);

echo $html_of_current_page;

echo “<!– This is cache –>”;

// third: a normal visitor without cache. And do not cache a preview page from the wp-admin:

} else if ($_SERVER[‘REMOTE_ADDR’] != $ip_of_this_website && strstr($current_page_url, ‘preview=true’) == false) {
require(‘./wp-blog-header.php’);
$html_of_current_page = file_get_contents($current_page_url);
$redis->setex($redis_key, $seconds_of_caching, $html_of_current_page);
echo “<!– Cache has been set –>”;

// last case: the normal WordPress. Should only be called with file_get_contents:

} else {
require(‘./wp-blog-header.php’);
}

// Let’s display some page generation time (note: CloudFlare may strip out comments):

$end = microtime();
$t2 = (getmicrotime($end) – getmicrotime($start));
if ($_SERVER[‘REMOTE_ADDR’] != $ip_of_this_website) {
echo “<!– Cache system by Jim Westergren. Page generated in “.round($t2,5).” seconds. –>”;
}
?>

或者直接下载 index-with-redis.php

步骤2:将上述代码中的 IP 地址替换成你网站的 IP 地址

步骤3:在.htaccess 中将所有出现 index.php 的地方改为 index-with-redis.php ,如果你使用的是 Nginx 则修改 nginx.conf 中的 index.php 为 index-with-redis.php(并重载 Nginx : killall -s HUP nginx)。

性能测试

1.没有Redis 的情况下,平均首页执行1.614 秒,文章页0.174 秒(无任何缓存插件)

2.使用Redis 的情况下,平均页面执行时间0.00256秒

我已经在我的博客中使用了如上的方法进行加速很长时间了,一切运行良好。

其他建议

我的环境是Nginx + PHP-FPM + APC + Cloudflare + Redis. 安装在一个 nano VPS 中,无缓存插件。

请确认使用了gzip压缩,可加快访问速度。

访问 wp-admin

要访问 wp-admin 必须使用 /wp-admin/index.php 代替原来的 /wp-admin/.

原文:jimwestergren 编译:oschina

LuManager开启探针读取内存等数据

前两天,有网友遇到同样的问题,现在解决了,特记录下来,让后来者参考。

因为跨目录访问了,需要设置一个cgi端口,这个端口在 左上角 网站(虚拟主机) –> FastCGI端口 ( 请填写9000-20000之间的数字 )那里设置,只有商业授权版才有。

LUM后台 –> 配置与优化 –> 修改配置文件

/usr/local/php_fcgi/lib/php.ini: FastCGI模式的PHP配置文件

open_basedir = "/proc:/home:/tmp:/var/tmp"

在LUM 2.0.68版测试通过。

多谢洞哥的指导,谢谢。

关于均衡负载等优化的聊天记录

服务器负载高吗

负载很低

LVS的话谁对调优有心得啊,求教
高峰有10W链接,有时候好像会有点卡

用淘宝的内核

关闭dynamic ticks
关闭网卡LRO和GRO
关闭irqbalance,手动捆绑中断

网卡开了多队列了

经测试irqbalance会造成多核分发不均匀,手动捆绑效果明显
net.core.netdev_max_backlog = 500000 #该参数决定了,网络设备接收数据包的速率比内核处理这些包的速率快时,允许送到队列的数据包的最大数目

什么内核?

淘宝自己定制的内核
kernel-2.6.32-220.23.1.tb121212.el6.x86_64.rpm

关于ssh审计的聊天记录

对用户的命令进行审计,并且通过syslog集中管理

r_ip=`who am i`
HISTTIMEFORMAT="$r_ip-$USER %Y-%m-%d %T>"
export PROMPT_COMMAND="history 1|tee -a /tmp/cmd_tmp|logger -t cmd_log -p local3.notice"

添加到/etc/profile 里面去到了

你们怎样对账号进行审计工作的呢?
只要是用户登录了 就会记录下用户的行为
哪怕是ssh su 后都可以追查到,不过对用户编写脚本后无法查看脚本内的具体命令

tee -a /tmp/cmd_tmp 这一段可以不要使用
或者你指定一个位置 将权限设置成222

因为默认是谁创建文件权限就只能属于谁 命令中会在本机保留一份 /var/log/mesages里面保留一份
你也可以设置你的syslog服务器不要保留到/var/log/mesages 直接发送到syslog服务器这样就只能是管理员才能看到了

wget的所有参数列表

用法: wget [选项]… [URL]…

长选项所必须的参数在使用短选项时也是必须的。

启动:
-V, –version 显示 Wget 的版本信息并退出。
-h, –help 打印此帮助。
-b, –background 启动后转入后台。
-e, –execute=COMMAND 运行一个“.wgetrc”风格的命令。

日志和输入文件:
-o, –output-file=FILE 将日志信息写入 FILE。
-a, –append-output=FILE 将信息添加至 FILE。
-d, –debug 打印大量调试信息。
-q, –quiet 安静模式 (无信息输出)。
-v, –verbose 详尽的输出 (此为默认值)。
-nv, –no-verbose 关闭详尽输出,但不进入安静模式。
-i, –input-file=FILE 下载本地或外部 FILE 中的 URLs。
-F, –force-html 把输入文件当成 HTML 文件。
-B, –base=URL 解析与 URL 相关的
HTML 输入文件 (由 -i -F 选项指定)。
–config=FILE Specify config file to use.

下载:
-t, –tries=NUMBER 设置重试次数为 NUMBER (0 代表无限制)。
–retry-connrefused 即使拒绝连接也是重试。
-O, –output-document=FILE 将文档写入 FILE。
-nc, –no-clobber skip downloads that would download to
existing files (overwriting them).
-c, –continue 断点续传下载文件。
–progress=TYPE 选择进度条类型。
-N, –timestamping 只获取比本地文件新的文件。
–no-use-server-timestamps 不用服务器上的时间戳来设置本地文件。
-S, –server-response 打印服务器响应。
–spider 不下载任何文件。
-T, –timeout=SECONDS 将所有超时设为 SECONDS 秒。
–dns-timeout=SECS 设置 DNS 查寻超时为 SECS 秒。
–connect-timeout=SECS 设置连接超时为 SECS 秒。
–read-timeout=SECS 设置读取超时为 SECS 秒。
-w, –wait=SECONDS 等待间隔为 SECONDS 秒。
–waitretry=SECONDS 在获取文件的重试期间等待 1..SECONDS 秒。
–random-wait 获取多个文件时,每次随机等待间隔
0.5*WAIT…1.5*WAIT 秒。
–no-proxy 禁止使用代理。
-Q, –quota=NUMBER 设置获取配额为 NUMBER 字节。
–bind-address=ADDRESS 绑定至本地主机上的 ADDRESS (主机名或是 IP)。
–limit-rate=RATE 限制下载速率为 RATE。
–no-dns-cache 关闭 DNS 查寻缓存。
–restrict-file-names=OS 限定文件名中的字符为 OS 允许的字符。
–ignore-case 匹配文件/目录时忽略大小写。
-4, –inet4-only 仅连接至 IPv4 地址。
-6, –inet6-only 仅连接至 IPv6 地址。
–prefer-family=FAMILY 首先连接至指定协议的地址
FAMILY 为 IPv6,IPv4 或是 none。
–user=USER 将 ftp 和 http 的用户名均设置为 USER。
–password=PASS 将 ftp 和 http 的密码均设置为 PASS。
–ask-password 提示输入密码。
–no-iri 关闭 IRI 支持。
–local-encoding=ENC IRI (国际化资源标识符) 使用 ENC 作为本地编码。
–remote-encoding=ENC 使用 ENC 作为默认远程编码。
–unlink remove file before clobber.

目录:
-nd, –no-directories 不创建目录。
-x, –force-directories 强制创建目录。
-nH, –no-host-directories 不要创建主目录。
–protocol-directories 在目录中使用协议名称。
-P, –directory-prefix=PREFIX 以 PREFIX/… 保存文件
–cut-dirs=NUMBER 忽略远程目录中 NUMBER 个目录层。

HTTP 选项:
–http-user=USER 设置 http 用户名为 USER。
–http-password=PASS 设置 http 密码为 PASS。
–no-cache 不在服务器上缓存数据。
–default-page=NAME 改变默认页
(默认页通常是“index.html”)。
-E, –adjust-extension 以合适的扩展名保存 HTML/CSS 文档。
–ignore-length 忽略头部的‘Content-Length’区域。
–header=STRING 在头部插入 STRING。
–max-redirect 每页所允许的最大重定向。
–proxy-user=USER 使用 USER 作为代理用户名。
–proxy-password=PASS 使用 PASS 作为代理密码。
–referer=URL 在 HTTP 请求头包含‘Referer: URL’。
–save-headers 将 HTTP 头保存至文件。
-U, –user-agent=AGENT 标识为 AGENT 而不是 Wget/VERSION。
–no-http-keep-alive 禁用 HTTP keep-alive (永久连接)。
–no-cookies 不使用 cookies。
–load-cookies=FILE 会话开始前从 FILE 中载入 cookies。
–save-cookies=FILE 会话结束后保存 cookies 至 FILE。
–keep-session-cookies 载入并保存会话 (非永久) cookies。
–post-data=STRING 使用 POST 方式;把 STRING 作为数据发送。
–post-file=FILE 使用 POST 方式;发送 FILE 内容。
–content-disposition 当选中本地文件名时
允许 Content-Disposition 头部 (尚在实验)。
–auth-no-challenge 发送不含服务器询问的首次等待
的基本 HTTP 验证信息。

HTTPS (SSL/TLS) 选项:
–secure-protocol=PR 选择安全协议,可以是 auto、SSLv2、
SSLv3 或是 TLSv1 中的一个。
–no-check-certificate 不要验证服务器的证书。
–certificate=FILE 客户端证书文件。
–certificate-type=TYPE 客户端证书类型,PEM 或 DER。
–private-key=FILE 私钥文件。
–private-key-type=TYPE 私钥文件类型,PEM 或 DER。
–ca-certificate=FILE 带有一组 CA 认证的文件。
–ca-directory=DIR 保存 CA 认证的哈希列表的目录。
–random-file=FILE 带有生成 SSL PRNG 的随机数据的文件。
–egd-file=FILE 用于命名带有随机数据的 EGD 套接字的文件。

FTP 选项:
–ftp-user=USER 设置 ftp 用户名为 USER。
–ftp-password=PASS 设置 ftp 密码为 PASS。
–no-remove-listing 不要删除‘.listing’文件。
–no-glob 不在 FTP 文件名中使用通配符展开。
–no-passive-ftp 禁用“passive”传输模式。
–retr-symlinks 递归目录时,获取链接的文件 (而非目录)。

递归下载:
-r, –recursive 指定递归下载。
-l, –level=NUMBER 最大递归深度 (inf 或 0 代表无限制,即全部下载)。
–delete-after 下载完成后删除本地文件。
-k, –convert-links 让下载得到的 HTML 或 CSS 中的链接指向本地文件。
-K, –backup-converted 在转换文件 X 前先将它备份为 X.orig。
-m, –mirror -N -r -l inf –no-remove-listing 的缩写形式。
-p, –page-requisites 下载所有用于显示 HTML 页面的图片之类的元素。
–strict-comments 用严格方式 (SGML) 处理 HTML 注释。

递归接受/拒绝:
-A, –accept=LIST 逗号分隔的可接受的扩展名列表。
-R, –reject=LIST 逗号分隔的要拒绝的扩展名列表。
-D, –domains=LIST 逗号分隔的可接受的域列表。
–exclude-domains=LIST 逗号分隔的要拒绝的域列表。
–follow-ftp 跟踪 HTML 文档中的 FTP 链接。
–follow-tags=LIST 逗号分隔的跟踪的 HTML 标识列表。
–ignore-tags=LIST 逗号分隔的忽略的 HTML 标识列表。
-H, –span-hosts 递归时转向外部主机。
-L, –relative 只跟踪有关系的链接。
-I, –include-directories=LIST 允许目录的列表。
–trust-server-names use the name specified by the redirection
url last component.
-X, –exclude-directories=LIST 排除目录的列表。
-np, –no-parent 不追溯至父目录。

解决wget下载文件名乱码的一些方法

在下载用apache或者nginx做的索引目录时,遇到文件名乱码问题。搜索了不少资料,尝试了好几种方案,大家可以结合使用。

一般情况下加上–restrict-file-names=nocontrol参数就可以用了。

其实除了下面方法一和方法二外,还有一个大家可以自由发挥的,我是没有研究透,编码实在太让自己头疼了。

有一个前提,要注意索引目录显示出来的是什么编码,比如有些网站是UTF-8(这个应该比较正规,中文不会出现很大麻烦,可以用方法二搞定),有些是GBK,可能跟文件的编码,或者apache、nginx的设置有关吧。

1、下载的时候保存成ascii,跟方法三类似

wget --restrict-file-names=ascii -m www.xxx.com/

2、用一个重命名软件,菲菲更名宝贝RenamePro8.0,相当好用。在“高级文件名变”更里面有一个“文件名编码与解码”,“ANSI编码URL字符串转换为文字”,大家可以多试试。
下载: RenamePro8.zip

3、如果不行,可以研究一下wget的一些参数,相关的有两个。
–local-encoding=ENC IRI (国际化资源标识符) 使用 ENC 作为本地编码。
–remote-encoding=ENC 使用 ENC 作为默认远程编码。

方法一
moper:这种方法是把文件名转换成ascii,加了一个–restrict-file-name=ascii参数,然后再用python写的一段程序,转换成win能够接受的编码。其实我们只需加另一个参数–restrict-file-names=nocontrol,就可以了。
完整命令为

wget --restrict-file-names=nocontrol -m http://ebook.elain.org

(我解释的不专业请看正文,发觉编码好混乱哎)

《使用 wget 整站下载》
转自http://blog.csdn.net/kowity/article/details/6899256

最近发现一个很好的网站:http://ebook.elain.org,里面有大量的技术书籍。于是想使用 wget 把整个网站都下载下来。但是 wget 对中文的 url 支持得不够好,直接使用:

  wget -m http://ebook.elain.org

下载的话,中文文件名就会乱码,比如“2010架构师大会PPT”就变成了“2010鏋舵瀯甯堝ぇ浼歅PT”。

  wget --restrict-file-name=ascii -m http://ebook.elain.org

下载的话,中文文件名会编码成URL形式,比如比如“2010架构师大会PPT”就变成了“2010%E6%9E%B6%E6%9E%84%E5%B8%88%E5%A4%A7%E4%BC%9APPT”。主要是因为在网页上,中文 URL会以 UTF-8 来编码,而 Windows 存储文件名是用GBK编码。也就是说“2010鏋舵瀯甯堝ぇ浼歅PT”实际上是以 GBK 编码来显示的 UTF-8 编码的文件名。这样我们只要用 Python 写个编码转换器就可以了。代码如下:

import os, urllib, sys, getopt

class Renamer:
    
    input_encoding = ""
    output_encoding = ""
    path = ""
    is_url = False
    
    def __init__(self, input, output, path, is_url):
        self.input_encoding = input
        self.output_encoding = output
        self.path = path
        self.is_url = is_url
    
    def start(self):
        self.rename_dir(self.path)

    def rename(self, root, path):
        try:
            if self.is_url:
                new = urllib.unquote(path).decode(self.input_encoding).encode(self.output_encoding)
            else:
                new = path.decode(self.input_encoding).encode(self.output_encoding)
            os.rename(os.path.join(root, path), os.path.join(root, new))
        except:
            pass

    def rename_dir(self, path):
        for root, dirs, files in os.walk(path):
            for f in files:
                self.rename(root, f)

            if dirs == []:
                for f in files:
                    self.rename(root, f)
            else:
                for d in dirs:
                    self.rename_dir(os.path.join(root, d))
                    self.rename(root, d)
def usage():
    print '''This program can change encode of files or directories.
    Usage:   rename.exe [OPTION]...
    Options:
        -h, --help                  this document.
        -i, --input-encoding=ENC    set original encoding, default is UTF-8.
        -o, --output-encoding=ENC   set output encoding, default is GBK.
        -p, --path=PATH             choose the path which to process.
        -u, --is-url                whether as a URL
    '''


def main(argv):
    input_encoding = "utf-8"
    output_encoding = "gbk"
    path = ""
    is_url = True
    
    try:
        opts, args = getopt.getopt(argv, "hi:o:p:u", ["help", "input-encoding=", "output-encoding=", "path=", "is-url"])
    except getopt.GetoptError:
        usage()
        sys.exit(2)
    for opt, arg in opts:
        if opt in ("-h", "--help"):
            usage()
            sys.exit()
        elif opt in ("-i", "--input-encoding"):
            input_encoding = arg
        elif opt in ("-o", "--output-encoding"):
            output_encoding = arg
        elif opt in ("-p", "--path"):
            path = arg
        elif opt in ("-u", "--is-url"):
            is_url = True

    rn = Renamer(input_encoding, output_encoding, path, is_url)
    rn.start()

if __name__ == '__main__':
    main(sys.argv[1:])

如果 wget 是使用以下命令行来下载:

  wget --restrict-file-name=ascii -m http://ebook.elain.org

那么下载下来的文件是“2010%E6%9E%B6%E6%9E%84%E5%B8%88%E5%A4%A7%E4%BC%9APPT”形式,运行脚本时就使用以下命令:

  rename.py -i utf-8 -o gbk -p R:\ebook.elain.org -u

方法二
改wget源代码

moper:不推荐这种方法,因为比较麻烦,我也没有测试,可能这种效果会好一些吧。

文章一《wget中文乱码解决方案》

用wget下载网页时,若文件名含有非ASCII字符或其他特殊字符,就会出现所谓的乱码。若想解决中文乱码的问题,可以修改wget的源代码。
对URL字符串进行编码的源代码文件是url.c。其中,url_file_name()的功能是根据URL判断应该以什么文件名保存文件。而该函数又调用了append_uri_pathel(),该函数调用了FILE_CHAR_TEST()宏,它用于判断URL中的字符是不是特殊字符(也就是需要进行URL编码的字符。当然,包括中文)。问题就出在这个宏身上了。为了不对中文转义,需要将中文字符当作普通字符对待。将如下所示的FILE_CHAR_TEST()宏:

#define FILE_CHAR_TEST(c, mask) \
    ((opt.restrict_files_nonascii && !c_isascii ((unsigned char)(c))) || \
    (filechr_table[(unsigned char)(c)] & (mask)))

修改为:

#define FILE_CHAR_TEST(c, mask) \
(((opt.restrict_files_nonascii && !c_isascii ((unsigned char)(c))) || \
(filechr_table[(unsigned char)(c)] & (mask))) \
&& !((c|0x0fffffff) == 0xffffffff)) /* 排除中文 */

文章二《解決wget中文亂碼問題的非完善方案》

1. 出現亂碼的原因

  http請求的流程如下:
  (1) 瀏覽器按URL編碼規則將URL(包括post或get提交的那一部分)字符串編碼之後發送給服務器;
  (2) 服務器將所收到的字符串轉換為unicode編碼,處理完瀏覽器的請求後再把它發送給瀏覽器;
  (3) 瀏覽器按指定的編碼顯示網頁。
  在不同的字符編碼格式下,瀏覽器對包含諸如中文之類的非ACSII字符的URL字符串的解析結果是不一樣的。從而,URL編碼對象就不一樣了。wget下載網頁文件時,實質上是一個瀏覽器。它同樣會對所提交的URL字符串按URL編碼規則編碼。因此,所下載的文件的文件名就是經過編碼(先是按URL規則編碼,接著是unicode編碼,最後是unicode到瀏覽器端所設定的編碼)之後的字符串。如果瀏覽器端採用的是unicode編碼,則結果是一串由’%’、數字和字母組成的字符串;否則,將unicode編碼格式的URL字符串解析為瀏覽器端的編碼格式,這可能會產生非ACSII字符。我們所說的亂碼,包括這兩種情況。也就是說,跟原來的文件名不一樣,我們就管它出現亂碼。

2. 解決方案

  由于上述原因,我們有必要修改wget的源代碼。對URL字符串進行編碼的源代碼文件是url.c。其中,url_file_name()的功能是根據URL判斷應該以什 文件名保存文件。而該函數又調用了append_uri_pathel(),該函數調用了FILE_CHAR_TEST()宏,它用于判斷URL中的字符是不是特殊字符(也就是需要進行URL編碼的字符。當然,包括中文)。問題就出在這個宏身上了。為了不對中文轉義,需要將中文字符當作普通字符對待。將如下所示的FILE_CHAR_TEST()宏:

  #define FILE_CHAR_TEST(c, mask) \
    ((opt.restrict_files_nonascii && !c_isascii ((unsigned char)(c))) || \
    (filechr_table[(unsigned char)(c)] & (mask)))

修改為:

  #define FILE_CHAR_TEST(c, mask) \
    (((opt.restrict_files_nonascii && !c_isascii ((unsigned char)(c))) || \
    (filechr_table[(unsigned char)(c)] & (mask))) \
    && !((c|0x0fffffff) == 0xffffffff)) /* 排除中文 */

  另外,如果使用unicode編碼方案的話,就不會出現上述第二種亂碼。因此,可以將瀏覽器端的字符編碼環境設置為unicode。這裡,選擇UTF-8編碼方案(UCS Transformation Format)。方法是在main.c的i18n_initialize最後加上:

'setlocale(LC_CTYPE, "zh_CN.UTF-8");'


  這不是一個很好的解決方案。另外,它沒辦法解決其他語言的亂碼問題。當然,可以將url_file_name()中的URL編碼部份統統拿掉。這樣做的結果是,不出現亂碼,現時亦違背了URL編碼的初衷--安全。不過我還沒想到更簡單的方案。這是一種暫行方案。希望官方的解決方案的出現不會路漫漫其修遠兮。。。

用wget下载整个网站或索引目录

一直不知道nginx或者apache建立的索引目录是怎么下载的,偶然听到一个朋友说wget可以,在网上一查果真行,哎哎,终于可以满足自己的下载欲望了。记录命令使用情况如下。

$ wget -c -r -nd -np -k -L -p -A c,h www.xxx.com/doc/path/

-c 断点续传
-r 递归下载,下载指定网页某一目录下(包括子目录)的所有文件
-nd 递归下载时不创建一层一层的目录,把所有的文件下载到当前目录
-np 递归下载时不搜索上层目录。

如wget -c -r www.xxx.com/doc/path/ 没有加参数-np,就会同时下载path的上一级目录pub下的其它文件

-k 将绝对链接转为相对链接,下载整个站点后脱机浏览网页,最好加上这个参数

-L 递归时不进入其它主机,如wget -c -r www.xxx.com/ 如果网站内有一个这样的链接: www.yyy.com,不加参数-L,就会像大火烧山一样,会递归下载www.yyy.com网站
-p 下载网页所需的所有文件,如图片等
-A 指定要下载的文件样式列表,多个样式用逗号分隔
-i 后面跟一个文件,文件内指明要下载的URL。

下载有索引目录
wget -m http: //www.xxx.com/dir/ 这个最强力了!前提是目录必须是索引目录!

下载一个目录,例如网站的yourdir

wget -U “Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; GTB5)” -r -p -k -np -Pmydir -nc -o down.log http://www.xxx.com/yourdir/index.html

如果要想下载整个网站,最好去除-np参数。

wget -U “Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; GTB5)” -r -p -k -nc -o down.log http://www.xxx.com/index.html

-U 修改agent,伪装成IE货firefox等
-r 递归;对于HTTP主机,wget首先下载URL指定的文件,然后(如果该文件是一个HTML文档的话)递归下载该文件所引用(超级连接)的所有文件(递归深度由参数-l指定)。对FTP主机,该参数意味着要下载URL指定的目录中的所有文件,递归方法与HTTP主机类似。
-c 指定断点续传功能。实际上,wget默认具有断点续传功能,只有当你使用别的ftp工具下载了某一文件的一部分,并希望wget接着完成此工作的时候,才需要指定此参数。
-nc 不下载已经存在的文件
-np 表示不跟随链接,只下载指定目录及子目录里的东西;
-p 下载页面显示所需的所有文件。比如页面中包含了图片,但是图片并不在/yourdir目录中,而在/images目录下,有此参数,图片依然会被正常下载。
-k 修复下载文件中的绝对连接为相对连接,这样方便本地阅读。

关于sendmail发邮件出现由某某代发的解决方法

其实写这一篇文章是滥竽充数的,因为根本没有一个试验成功的方法。不过感觉大家的方法和思路还是对的,所以就先记录下来,也许是自己的系统有点bug吧,如果没有用人家的一键包的,可以自己尝试下,应该会有点思路,不保证可以哦,只是收集了网上的。

先来说一下情况,出现的可能是(由 root@localhost.localdomain 代发),这样的提醒。
1、更改hostname可以修改相应的localhost.localdomain为hostname。
2、如果不想改,可以通过在命令行发送的时候指定发件人地址

echo -e "To: xxxx@gmail.com" | sendmail -f user@XXX.com -t -i

或者

echo -e "To: xxxx@gmail.com\nFrom: user@XXX.com" | sendmail -t

那么收件箱显示的发件人是user@XXX.com

3、如果你是用php内置函数通过sendmail发送信件的话,可以在php.ini中修改:

sendmail_path = /usr/sbin/sendmail -fuser@XXX.com -t -i

注意-f和后面user@XXX.com中间没有空格。

上面出现root@localhost.localdomain中的root是这样解释的。sendmail发送邮件时,如果没有指定附加参数,默认它会把当前主机名作为邮件服务器、 以及命令它发邮件的Linux用户名作为发件者,加入到邮件头部信息。

如果不想修改网站程序,也可以通过设置php.ini来实现。在php.ini中设置sendmail_path为如下的形式:

sendmail_path = /usr/sbin/sendmail -t -i -f'user@XXX.com'

有网上的说,必须-f在前面,否则不生效,一直没有测试成功,所以也不确定。

另外大家可以搜一下”php_admin_value sendmail_path”,似乎这个东西也可以设置,不知道是不是虚拟主机用的。

详细如下:
php-fpm配置

php_admin_value[sendmail_path] = /usr/sbin/sendmail -t -i -f user@XXX.com //设置php mail发送

还有一个似乎是apache的虚拟主机设置,此处也可以设置sendmail_path。

将sendmail_path参数 在虚拟主机里面的设置:


    ServerAdmin admin@XXX.com
    DocumentRoot "F:/web/website/XXX/www/"
    ServerName www.XXX.com
    ErrorLog "logs/www.XXX.com-error.log"
    CustomLog "logs/www.XXX.com-access.log" common
    php_admin_value sendmail_path "F:/web/sendmail/sendmail.exe -t -i"

另外要注意的地方是sendmail_path只在unix下有效。不知道linux是不是有效?

用linux建立一个公网dns

首先介绍一下,dns服务器有三种类型。
一、转发dns
二、权威dns
三、非权威dns

建立步骤:

1、注册一个域名,建议在大的商家注册,不要在代理商注册,因为如果在代理商注册,域名转移将会是一个很痛苦的过程。

2、有一台服务器,具有固定IP。

3、在域名注册商注册dns服务器。此处不是说注册域名,而是在域名注册商处获得你的dns授权,即成为权威dns。godaddy的步骤如下:

(1)登陆 Account Manager。
(2)在 My Products 项目中, 点 Domain Manager。
(3)进入domain detail,拉到最下面,左边有一个 Host Summary 栏。
(4)点标题旁边的 add 连接。
(5)在 Host name 输入你的子域,例如你要创建ns1.moper.me,那就输入ns1。 注意: 不要设置”www”做为Dns的主机名。
(6)在 Host IP 里,输入IP地址,总共13个框,输入1个或多个。

一般.COM 和.NET是4~8小时生效,其他的域名为 24 到 48 小时生效。不过,一般5分钟左右就能查到这个DNS记录了。

最后你可以在http://www.internic.net/whois.html查询一下是否已经注册成功。

4、安装bind,本次搭建环境为centos6.2。
输入

yum -y install bind*

安装装所有关于bind的包。

5、设定bind
主要分为三部分

第一,设定/etc/named.conf

运行

cp /etc/named.conf /etc/named.conf.raw

复制一份默认的named.conf配置。

运行

vi /etc/named.conf

设定named.conf档案,档案内容如下:

options {
        listen-on port 53 { any; };
        listen-on-v6 port 53 { ::1; };
        directory       "/var/named";
        dump-file       "/var/named/data/cache_dump.db";
        statistics-file "/var/named/data/named_stats.txt";
        memstatistics-file "/var/named/data/named_mem_stats.txt";
        allow-query     { any; };
        recursion yes;
        allow-transfer  { none; };
        dnssec-enable yes;
        dnssec-validation yes;
        dnssec-lookaside auto;

        /* Path to ISC DLV key */
        bindkeys-file "/etc/named.iscdlv.key";

        managed-keys-directory "/var/named/dynamic";
};

logging {
        channel default_debug {
                file "data/named.run";
                severity dynamic;
        };
};

zone "." IN {
        type hint;
        file "named.ca";
};
zone "moper.me" IN {
        type master;
        file "named.moper.me";
};
include "/etc/named.rfc1912.zones";
include "/etc/named.root.key";

只设定了moper.me的正解析。

(2)设定named.ca
此档案在centos6.2里的bind已经自带了。当然您也可以使用最新的http://www.root-servers.org/

(3)设定正解析named.moper.me

vi /var/named/named.moper.me
$TTL    600
@ IN SOA  ns1.moper.me. admin.moper.me. (2013082502 3H 15M 1W 1D)
@ IN NS ns1.moper.me.
ns1.moper.me.  IN A XXX.XXX.XXX.XXX
@ IN MX 10 mxdomain.qq.com.
www.moper.me. IN A XXX.XXX.XXX.XXX

第一个XXX的IP是要作为dns1的IP,第二个xxx的IP是加一个A记录,即主机头www加域名解析到XXX这个IP。

配置完成,启动bind使配置生效。

/etc/init.d/named start
chkconfig named on

参考资料
http://linux.vbird.org/linux_server/0350dns.php
http://bbs.unixidc.com/read.php?tid=853
http://hzyevaxl.blog.163.com/blog/static/9353763200942710221763/

linux执行host命令出现command not found

我们查询DNS设置的时候常常会用到host命令,Centos5默认安装没有安装这个命令,当显示-bash: host: command not found的时候,我们就需要安装对应的包,才能使用host。host这个程序是包含在bind-utils包里面的,所以要先安装 bind-utils。

yum -y install bind-utils