csvってcshでもできるんだぜ。

csv化のお話。
うちのチームではなぜかいろんなデータの検証のためにcsvを作るときに
皆perlを作ろうとするので、cshでもできるんだぜの例を一つ。

たいした話じゃないんですが、最近こんなcshスクリプトをよく書いています。

testdataというファイルが80バイト1レコードで
1～8バイトがユーザID,9～29バイトがパスワード、残りはただのスペースだったとします。
とりあえずコード。

#!/bin/csh -v
# 80バイト1レコードのNULL文字なしのファイルからcsv形式に変換
# 2011/01/17 watanabefg
#
setenv INFILE ~/testdata
setenv TMPFILE ~/testdata.fold
setenv OUTFILE ~/outfile
fold -80 $INFILE > $TMPFILE
foreach rec ( `cat $TMPFILE` )
    setenv USER_ID `echo $rec|cut -c1-8`
    setenv PASSWD  `echo $rec|cut -c9-29`
    echo $USER_ID,$PASSWD >> $OUTFILE
end

＜ざっくり解説＞
まず改行のために80バイトでfoldして、ファイルに吐きます。
それをcatしたものをforeachで1行ずつ処理します。
foreachのループの中では、ユーザIDとパスワードを取って、カンマ区切りで出力ファイルに吐いています。

やっぱりこっちの方がシンプルで好きだなぁ。
echoで吐く文字列を変えるだけで結構いろいろ応用が効きます。SQL作ったり、新しいデータ作ったり。
エラーのときの処理とか入れてないし、問題はあるのであくまで小手先のテクニックとしてお試しあれ。

★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★
何かぼんやりと勉強会をしたいなぁと思っています。
ネタ募集中です。
関西で開催する予定ですので、関西の方はお楽しみに！
★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★

コメント

コメントを投稿

このブログの人気の投稿

GAEでOAuthというかTwitter認証してみた。

イメージ
結構てこずりましたが、Google App Engine for Pythonで OAuth認証というかTwitter認証をしてみました。 Softbankの夏モデル携帯でTwitterが機能の一つとして入っているものが発表され、 これからTwitterの人口はどんどん増えるはずなので、 OpenIDみたいな統合認証のようにOAuthを使えたらなぁという思いでコーディングしてみました。 元ネタは サンプルコードで分かるGAE＆Twitter API開発 。 その節はお世話になりました。 oauth.py, simple_cookie.pyなどは上記のリンク先から取得してください。 verify後にリロードするとバグっていたので、self.redirect('/')で直しました。 #!/usr/bin/env python # -*- coding:utf-8 -*- __author__ = "Hironori Watanabe" import time import datetime import logging import os import oauth import wsgiref.handlers from google.appengine.ext import webapp from google.appengine.ext.webapp import util from google.appengine.ext.webapp import template from simple_cookie import Cookies from google.appengine.ext import db _DEBUG = True INDEX_TEMPLATE_NAME = 'index.html' LOGIN_TEMPLATE_NAME = 'login.html' HOME_TEMPLATE_NAME = 'home.html' # twitterのconsumer_keyとconsumer_secret_keyを指定 CONSUMER_KEY = "xxxxx自分のコンシューマキーを入れてねxxxxx" CONSUM...
続きを読む

perlのMIME::Liteならメール送信はすぐ書ける。その２

メール送信のモジュールMIME::Liteを利用してそういえばこんなの作りました。のコード。 PHPMailerと比較してPerlは結構コーディングが楽だと感じました。 #!/usr/bin/perl # # $Id: perlmailer.pl 35560 2010-05-29 01:08:30Z watanabefg $ # use strict; use warnings; use Encode; use utf8; use MIME::Lite; use File::Basename; my $mail_from = $ENV{'MAIL_FROM'}; my $mail_to = $ENV{'MAIL_TO'}; my $mail_subject = decode('shiftjis', $ENV{'MAIL_SUBJECT'}); my $mail_body = decode('shiftjis', $ENV{'MAIL_BODY'}); my @mail_attach = (); my $message = MIME::Lite->new( From => $mail_from, To => $mail_to, Subject => encode('MIME-Header-ISO_2022_JP', $mail_subject), Type => 'multipart/mixed', ); # メール本文 $message->attach( Type => 'text/plain; charset="ISO-2022-JP"', Data => encode('ISO-2022-JP', $mail_body), ); # 添付ファイルを取得 if ($ENV{'MAIL_ATTACH'} ne ""){ @mail_attach = split(/\,/, $ENV{'MAIL_ATTACH'}); } if ($#m...
続きを読む

PerlのMIME::Liteならメール送信はすぐ書ける。その１

今日はPerlで、メール送信するスクリプトを書いてました。 かなり前になりますが、JCode.pmを使って ISO-2022-JPにエンコーディングしてたんですが、 今となってはuse Encode;でいけるようになってるんですね。 機種依存文字も使わず、メール本文も決まっているため、 それほど関係はなかったのですが少し参考にさせてもらいました。 Perlで日本語を送信 こっちはドンピシャな記事でした。 メールを送るなど ちょっとカスタマイズした部分を追記。 Cシェルの中身を抜粋。 setenv MAIL_ATTACH filename1,filename2,filename3 perl ./perlmailer.pl  perlmailer.plをうろ覚えで記載。(間違ってたらごめんなさい。) @mail_attach = split(/\,/,$ENV{"MAIL_ATTACH"}); foreach $attach_file ( @mail_attach ) {     # 添付ファイルの処理 } 何がやりたいかというと、ある条件でgrepしたログファイルを添付して、 デイリーの夜間バッチでメール送信したかったのです。 そのため、添付ファイルはいくつでもつけれるように、 ファイル名をカンマ区切りでつなげてシェルからperlmailer.plをキックしてみました。 バッチの場合は大体環境変数に持っていくと、可読性もメンテナンス性も上がり、 プログラムがうまく書ける気がします。 ★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★ 何かぼんやりと勉強会をしたいなぁと思っています。 ネタ募集中です。 関西で開催する予定ですので、関西の方はお楽しみに！ ★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★
続きを読む