php字符转码解决新浪抓取资料乱码的问题

作者:快乐男生   时间:2019-07-18 13:42:01   来源:原创   阅读:73   评论:0  
  1. function unescape($str) {
  2. $str = rawurldecode($str);
  3. preg_match_all("/(?:%u.{4})|.+/",$str,$r);
  4. $ar = $r[0];
  5. foreach($ar as $k=>$v) {
  6. if(substr($v,0,2) == '%u' && strlen($v) == 6)
  7. $ar[$k] = iconv("UCS-2","utf-8",pack("H4",substr($v,-4)));
  8. }
  9. return join("",$ar);
  10. }
复制代码

有点小问题,又换一个函数,好像功能要强大一些。

  1. function unescape($str) {
  2. $str = rawurldecode($str);
  3. preg_match_all("/%u.{4}|&#x.{4};|&#\d+;|&#\d+?|.+/U",$str,$r);
  4. $ar = $r[0];
  5. foreach($ar as $k=>$v) {
  6. if(substr($v,0,2) == "%u")
  7. $ar[$k] = iconv("UCS-2","utf-8",pack("H4",substr($v,-4)));
  8. elseif(substr($v,0,3) == "&#x")
  9. $ar[$k] = iconv("UCS-2","utf-8",pack("H4",substr($v,3,-1)));
  10. elseif(substr($v,0,2) == "&#") {
  11. $ar[$k] = iconv("UCS-2","utf-8",pack("n",preg_replace("/[^\d]/","",$v)));
  12. }
  13. }
  14. return join("",$ar);
  15. }
复制代码

用了一段时间,发现在本地可以使用,但是我们的线上环境不能够使用。 线上是*nux,本地是XP了,还有,就是PHP版本不一样了。 后来,又在手册里面发现有一个类似的函数 而且还支持utf8,个人觉得应该通用性更好吧。

  1. //php字符转码
  2. function utf8RawUrlDecode ($source) {
  3. $decodedStr = "";
  4. $pos = 0;
  5. $len = strlen ($source);
  6. while ($pos < $len) {
  7. $charAt = substr ($source, $pos, 1);
  8. if ($charAt == '%') {
  9. $pos++;
  10. $charAt = substr ($source, $pos, 1);
  11. if ($charAt == 'u') {
  12. // we got a unicode character
  13. $pos++;
  14. $unicodeHexVal = substr ($source, $pos, 4);
  15. $unicode = hexdec ($unicodeHexVal);
  16. $entity = "&#". $unicode . ';';
  17. $decodedStr .= utf8_encode ($entity);
  18. $pos += 4;
  19. }
  20. else {
  21. // we have an escaped ascii character
  22. $hexVal = substr ($source, $pos, 2);
  23. $decodedStr .= chr (hexdec ($hexVal));
  24. $pos += 2;
  25. }
  26. } else {
  27. $decodedStr .= $charAt;
  28. $pos++;
  29. }
  30. }
  31. return $decodedStr;
  32. }
复制代码

使用此函数成功解决问题。

  • 点赞
  • 收藏
  • 分享

评论 (0人参与

最新评论
暂无评论
写博客